]> git.donarmstrong.com Git - debbugs.git/blobdiff - cgi/common.pl
* Move makesourceversions to Debbugs::Packages
[debbugs.git] / cgi / common.pl
index d45b9debc80d45801771551e6dc5bfe72867c4ae..b3656c87f31490f3b69390e34c3686063aaca499 100644 (file)
 
 use DB_File;
 use Fcntl qw/O_RDONLY/;
+use Mail::Address;
+use MLDBM qw(DB_File Storable);
+use POSIX qw/ceil/;
 
+use URI::Escape;
+
+$config_path = '/etc/debbugs';
+$lib_path = '/usr/lib/debbugs';
+require "$lib_path/errorlib";
+
+use Debbugs::Packages qw(:versions :mapping);
+use Debbugs::Versions;
+use Debbugs::MIME qw(decode_rfc1522);
+use Debbugs::Common qw(:util);
+use Debbugs::Status qw(:read :versions);
+use Debbugs::CGI qw(:all);
+use Debbugs::Config qw(:globals);
+
+$MLDBM::RemoveTaint = 1;
+
+my %common_bugusertags;
+my $common_mindays = 0;
+my $common_maxdays = -1;
 my $common_archive = 0;
 my $common_repeatmerged = 1;
 my %common_include = ();
 my %common_exclude = ();
 my $common_raw_sort = 0;
 my $common_bug_reverse = 0;
-my $common_pending_reverse = 0;
-my $common_severity_reverse = 0;
 
-my @common_pending_include = ();
-my @common_pending_exclude = ();
-my @common_severity_include = ();
-my @common_severity_exclude = ();
+my $common_leet_urls = 0;
+
+my %common_reverse = (
+    'pending' => 0,
+    'severity' => 0,
+);
+my %common = (
+    'show_list_header' => 1,
+    'show_list_footer' => 1,
+);
+
+sub exact_field_match {
+    my ($field, $values, $status) = @_; 
+    my @values = @$values;
+    my @ret = grep {$_ eq $status->{$field} } @values;
+    $#ret != -1;
+}
+sub contains_field_match {
+    my ($field, $values, $status) = @_; 
+    foreach my $data (@$values) {
+        return 1 if (index($status->{$field}, $data) > -1);
+    }
+    return 0;        
+}
+
+sub detect_user_agent {
+    my $userAgent = $ENV{HTTP_USER_AGENT};
+    return { 'name' => 'unknown' } unless defined $userAgent;
+    return { 'name' => 'links' } if ( $userAgent =~ m,^ELinks,);
+    return { 'name' => 'lynx' } if ( $userAgent =~ m,^Lynx,);
+    return { 'name' => 'wget' } if ( $userAgent =~ m,^Wget,);
+    return { 'name' => 'gecko' } if ( $userAgent =~ m,^Mozilla.* Gecko/,);
+    return { 'name' => 'ie' } if ( $userAgent =~ m,^.*MSIE.*,);
+    return { 'name' => 'unknown' };
+}
+
+my %field_match = (
+    'subject' => \&contains_field_match,
+    'tags' => sub {
+        my ($field, $values, $status) = @_; 
+       my %values = map {$_=>1} @$values;
+       foreach my $t (split /\s+/, $status->{$field}) {
+            return 1 if (defined $values{$t});
+        }
+        return 0;
+    },
+    'severity' => \&exact_field_match,
+    'pending' => \&exact_field_match,
+    'originator' => \%contains_field_match,
+    'forwarded' => \%contains_field_match,
+    'owner' => \%contains_field_match,
+);
+my @common_grouping = ( 'severity', 'pending' );
+my %common_grouping_order = (
+    'pending' => [ qw( pending forwarded pending-fixed fixed done absent ) ],
+    'severity' => \@gSeverityList,
+);
+my %common_grouping_display = (
+    'pending' => 'Status',
+    'severity' => 'Severity',
+);
+my %common_headers = (
+    'pending' => {
+       "pending"       => "outstanding",
+       "pending-fixed" => "pending upload",
+       "fixed"         => "fixed in NMU",
+       "done"          => "resolved",
+       "forwarded"     => "forwarded to upstream software authors",
+       "absent"        => "not applicable to this version",
+    },
+    'severity' => \%gSeverityDisplay,
+);
+
+my $common_version;
+my $common_dist;
+my $common_arch;
 
 my $debug = 0;
+my $use_bug_idx = 0;
+my %bugidx;
+
+sub array_option($) {
+    my ($val) = @_;
+    my @vals;
+    @vals = ( $val ) if (ref($val) eq "" && $val );
+    @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
+    @vals = @{$val} if (ref($val) eq "ARRAY" );
+    return @vals;
+}
+
+sub filter_include_exclude($\%) {
+    my ($val, $filter_map) = @_;
+    my @vals = array_option($val);
+    my @data = map {
+        if (/^([^:]*):(.*)$/) { if ($1 eq 'subj') { ['subject', $2]; } else { [$1, $2] } } else { ['tags', $_] }
+    } split /[\s,]+/, join ',', @vals;
+    foreach my $data (@data) {
+       &quitcgi("Invalid filter key: '$data->[0]'") if (!exists($field_match{$data->[0]}));
+        push @{$filter_map->{$data->[0]}}, $data->[1];
+    }
+}
+
+sub filter_option($$\%) {
+    my ($key, $val, $filter_map) = @_;
+    my @vals = array_option($val);
+    foreach $val (@vals) {
+        push @{$filter_map->{$key}}, $val;
+    }
+}
 
 sub set_option {
     my ($opt, $val) = @_;
+    if ($opt eq "use-bug-idx") {
+       $use_bug_idx = $val;
+       if ( $val ) {
+           $common_headers{pending}{open} = $common_headers{pending}{pending};
+           my $bugidx = tie %bugidx, MLDBM => "$gSpoolDir/realtime/bug.idx", O_RDONLY
+               or quitcgi( "$0: can't open $gSpoolDir/realtime/bug.idx ($!)\n" );
+           $bugidx->RemoveTaint(1);
+       } else {
+           untie %bugidx;
+       }
+    }
+    if ($opt =~ m/^show_list_(foot|head)er$/) { $common{$opt} = $val; }
     if ($opt eq "archive") { $common_archive = $val; }
     if ($opt eq "repeatmerged") { $common_repeatmerged = $val; }
-    if ($opt eq "exclude") { %common_exclude = %{$val}; }
-    if ($opt eq "include") { %common_include = %{$val}; }
+    if ($opt eq "exclude") {
+       filter_include_exclude($val, %common_exclude);
+    }
+    if ($opt eq "include") {
+       filter_include_exclude($val, %common_include);
+    }
     if ($opt eq "raw") { $common_raw_sort = $val; }
     if ($opt eq "bug-rev") { $common_bug_reverse = $val; }
-    if ($opt eq "pend-rev") { $common_pending_reverse = $val; }
-    if ($opt eq "sev-rev") { $common_severity_reverse = $val; }
+    if ($opt eq "pend-rev") { $common_reverse{pending} = $val; }
+    if ($opt eq "sev-rev") { $common_reverse{severity} = $val; }
     if ($opt eq "pend-exc") {
-       my @vals;
-       @vals = ( $val ) if (ref($val) eq "" && $val );
-       @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
-       @vals = @{$val} if (ref($val) eq "ARRAY" );
-       @common_pending_exclude = @vals if (@vals);
+       filter_option('pending', $val, %common_exclude);
     }
     if ($opt eq "pend-inc") {
-       my @vals;
-       @vals = ( $val, ) if (ref($val) eq "" && $val );
-       @vals = ( $$val, ) if (ref($val) eq "SCALAR" && $$val );
-       @vals = @{$val} if (ref($val) eq "ARRAY" );
-       @common_pending_include = @vals if (@vals);
+       filter_option('pending', $val, %common_include);
     }
     if ($opt eq "sev-exc") {
-       my @vals;
-       @vals = ( $val ) if (ref($val) eq "" && $val );
-       @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
-       @vals = @{$val} if (ref($val) eq "ARRAY" );
-       @common_severity_exclude = @vals if (@vals);
+       filter_option('severity', $val, %common_exclude);
     }
     if ($opt eq "sev-inc") {
-       my @vals;
-       @vals = ( $val ) if (ref($val) eq "" && $val );
-       @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
-       @vals = @{$val} if (ref($val) eq "ARRAY" );
-       @common_severity_include = @vals if (@vals);
+       filter_option('severity', $val, %common_include);
     }
+    if ($opt eq "version") { $common_version = $val; }
+    if ($opt eq "dist") { $common_dist = $val; }
+    if ($opt eq "arch") { $common_arch = $val; }
+    if ($opt eq "maxdays") { $common_maxdays = $val; }
+    if ($opt eq "mindays") { $common_mindays = $val; }
+    if ($opt eq "bugusertags") { %common_bugusertags = %{$val}; }
 }
 
 sub readparse {
-    my ($in, $key, $val, %ret);
+    my ($key, $val, %ret);
+    my $in = "";
+    if ($#ARGV >= 0) {
+        $in .= ";" . join("&", map { s/&/%26/g; s/;/%3b/g; $_ } @ARGV);
+    }
     if (defined $ENV{"QUERY_STRING"} && $ENV{"QUERY_STRING"} ne "") {
-        $in=$ENV{QUERY_STRING};
-    } elsif(defined $ENV{"REQUEST_METHOD"}
-        && $ENV{"REQUEST_METHOD"} eq "POST")
+        $in .= ";" . $ENV{QUERY_STRING};
+    }
+    if (defined $ENV{"REQUEST_METHOD"} && $ENV{"REQUEST_METHOD"} eq "POST"
+          && defined $ENV{"CONTENT_TYPE"}
+         && $ENV{"CONTENT_TYPE"} eq "application/x-www-form-urlencoded")
     {
-        read(STDIN,$in,$ENV{CONTENT_LENGTH});
-    } else {
-        return;
+       my $inx;
+        read(STDIN,$inx,$ENV{CONTENT_LENGTH});
+       $in .= ";" . $inx;
+    }
+    return unless ($in ne "");
+
+    if (defined $ENV{"HTTP_COOKIE"}) {
+        my $x = $ENV{"HTTP_COOKIE"};
+       $x =~ s/;\s+/;/g;
+        $in = "$x;$in";
     }
+    $in =~ s/&/;/g;
+    $in =~ s/;;+/;/g; $in =~ s/^;//; $in =~ s/;$//;
     foreach (split(/[&;]/,$in)) {
         s/\+/ /g;
         ($key, $val) = split(/=/,$_,2);
@@ -83,11 +227,16 @@ sub readparse {
        }
         $ret{$key}=$val;
     }
+
 $debug = 1 if (defined $ret{"debug"} && $ret{"debug"} eq "aj");
+
+    $common_leet_urls = 1
+       if (defined $ret{"leeturls"} && $ret{"leeturls"} eq "yes");
+
     return %ret;
 }
 
-sub quit {
+sub quitcgi {
     my $msg = shift;
     print "Content-Type: text/html\n\n";
     print "<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY>\n";
@@ -106,6 +255,35 @@ sub quit {
 #    exit 0;
 #}
 
+# Split a package string from the status file into a list of package names.
+sub splitpackages {
+    my $pkgs = shift;
+    return unless defined $pkgs;
+    return map lc, split /[ \t?,()]+/, $pkgs;
+}
+
+# Generate a comma-separated list of HTML links to each package given in
+# $pkgs. $pkgs may be empty, in which case an empty string is returned, or
+# it may be a comma-separated list of package names.
+sub htmlpackagelinks {
+     return htmlize_packagelinks(@_);
+}
+
+# Generate a comma-separated list of HTML links to each address given in
+# $addresses, which should be a comma-separated list of RFC822 addresses.
+# $urlfunc should be a reference to a function like mainturl or submitterurl
+# which returns the URL for each individual address.
+sub htmladdresslinks {
+     htmlize_addresslinks(@_);
+}
+
+# Generate a comma-separated list of HTML links to each maintainer given in
+# $maints, which should be a comma-separated list of RFC822 addresses.
+sub htmlmaintlinks {
+    my ($prefixfunc, $maints) = @_;
+    return htmladdresslinks($prefixfunc, \&mainturl, $maints);
+}
+
 sub htmlindexentry {
     my $ref = shift;
     my %status = %{getbugstatus($ref)};
@@ -121,23 +299,41 @@ sub htmlindexentrystatus {
 
     if  ($status{severity} eq 'normal') {
         $showseverity = '';
-    } elsif (grep($status{severity} eq $_, @debbugs::gStrongSeverities)) {
+    } elsif (isstrongseverity($status{severity})) {
         $showseverity = "<strong>Severity: $status{severity}</strong>;\n";
     } else {
         $showseverity = "Severity: <em>$status{severity}</em>;\n";
     }
 
-    $result .= "Package: <a href=\"" . pkgurl($status{"package"}) . "\">"
-               . "<strong>" . htmlsanit($status{"package"}) . "</strong></a>;\n"
-               if (length($status{"package"}));
+    $result .= htmlpackagelinks($status{"package"}, 1);
+
+    my $showversions = '';
+    if (@{$status{found_versions}}) {
+        my @found = @{$status{found_versions}};
+        local $_;
+        s{/}{ } foreach @found;
+        $showversions .= join ', ', map htmlsanit($_), @found;
+    }
+    if (@{$status{fixed_versions}}) {
+        $showversions .= '; ' if length $showversions;
+        $showversions .= '<strong>fixed</strong>: ';
+        my @fixed = @{$status{fixed_versions}};
+        local $_;
+        s{/}{ } foreach @fixed;
+        $showversions .= join ', ', map htmlsanit($_), @fixed;
+    }
+    $result .= " ($showversions)" if length $showversions;
+    $result .= ";\n";
+
     $result .= $showseverity;
-    $result .= "Reported by: <a href=\"" . submitterurl($status{originator})
-               . "\">" . htmlsanit($status{originator}) . "</a>";
+    $result .= htmladdresslinks("Reported by: ", \&submitterurl,
+                                $status{originator});
+    $result .= ";\nOwned by: " . htmlsanit($status{owner})
+               if length $status{owner};
     $result .= ";\nTags: <strong>" 
                 . htmlsanit(join(", ", sort(split(/\s+/, $status{tags}))))
                 . "</strong>"
                        if (length($status{tags}));
-
     my @merged= split(/ /,$status{mergedwith});
     my $mseparator= ";\nmerged with ";
     for my $m (@merged) {
@@ -147,10 +343,19 @@ sub htmlindexentrystatus {
 
     if (length($status{done})) {
         $result .= ";\n<strong>Done:</strong> " . htmlsanit($status{done});
-    } elsif (length($status{forwarded})) {
-        $result .= ";\n<strong>Forwarded</strong> to "
-                   . htmlsanit($status{forwarded});
-    } else {
+        $days = ceil($gRemoveAge - -M buglog($status{id}));
+        if ($days >= 0) {
+            $result .= ";\n<strong>Will be archived:</strong>" . ( $days == 0 ? " today" : $days == 1 ? " in $days day" : " in $days days" );
+        } else {
+            $result .= ";\n<strong>Archived</strong>";
+        }
+    }
+
+    unless (length($status{done})) {
+        if (length($status{forwarded})) {
+            $result .= ";\n<strong>Forwarded</strong> to "
+                       . maybelink($status{forwarded});
+        }
         my $daysold = int((time - $status{date}) / 86400);   # seconds to days
         if ($daysold >= 7) {
             my $font = "";
@@ -160,8 +365,8 @@ sub htmlindexentrystatus {
             $efont = "</$font>" if ($font);
             $font = "<$font>" if ($font);
 
-            my $yearsold = int($daysold / 364);
-            $daysold = $daysold - $yearsold * 364;
+            my $yearsold = int($daysold / 365);
+            $daysold -= $yearsold * 365;
 
             $result .= ";\n $font";
             my @age;
@@ -179,42 +384,43 @@ sub htmlindexentrystatus {
     return $result;
 }
 
-sub submitterurl {
-    my $ref = shift || "";
-    my $params = "submitter=" . emailfromrfc822($ref);
-    $params .= "&archive=yes" if ($common_archive);
-    $params .= "&repeatmerged=no" unless ($common_repeatmerged);
-    return urlsanit($debbugs::gCGIDomain . "pkgreport.cgi" . "?" . $params);
+sub urlargs {
+    my $args = '';
+    $args .= ";archive=yes" if $common_archive;
+    $args .= ";repeatmerged=no" unless $common_repeatmerged;
+    $args .= ";mindays=${common_mindays}" unless $common_mindays == 0;
+    $args .= ";maxdays=${common_maxdays}" unless $common_maxdays == -1;
+    $args .= ";version=$common_version" if defined $common_version;
+    $args .= ";dist=$common_dist" if defined $common_dist;
+    $args .= ";arch=$common_arch" if defined $common_arch;
+    return $args;
 }
 
-sub mainturl {
-    my $ref = shift || "";
-    my $params = "maint=" . emailfromrfc822($ref);
-    $params .= "&archive=yes" if ($common_archive);
-    $params .= "&repeatmerged=no" unless ($common_repeatmerged);
-    return urlsanit($debbugs::gCGIDomain . "pkgreport.cgi" . "?" . $params);
-}
+sub submitterurl { pkg_url(submitter => emailfromrfc822($_[0] || "")); }
+sub mainturl { pkg_url(maint => emailfromrfc822($_[0] || "")); }
+sub pkgurl { pkg_url(pkg => $_[0] || ""); }
+sub srcurl { pkg_url(src => $_[0] || ""); }
+sub tagurl { pkg_url(tag => $_[0] || ""); }
 
-sub pkgurl {
+sub pkg_etc_url {
     my $ref = shift;
-    my $params = "pkg=$ref";
-    $params .= "&archive=yes" if ($common_archive);
-    $params .= "&repeatmerged=no" unless ($common_repeatmerged);
-    
-    return urlsanit($debbugs::gCGIDomain . "pkgreport.cgi" . "?" . "$params");
-}
-
-sub srcurl {
-    my $ref = shift;
-    my $params = "src=$ref";
-    $params .= "&archive=yes" if ($common_archive);
-    $params .= "&repeatmerged=no" unless ($common_repeatmerged);
-    return urlsanit($debbugs::gCGIDomain . "pkgreport.cgi" . "?" . "$params");
+    my $code = shift;
+    if ($common_leet_urls) {
+        $code = "package" if ($code eq "pkg");
+        $code = "source" if ($code eq "src");
+        return urlsanit("/x/$code/$ref");
+    } else {
+        my $addurlargs = shift || 1;
+        my $params = "$code=$ref";
+        $params .= urlargs() if $addurlargs;
+        return urlsanit("pkgreport.cgi" . "?" . $params);
+    }
 }
 
 sub urlsanit {
     my $url = shift;
     $url =~ s/%/%25/g;
+    $url =~ s/#/%23/g;
     $url =~ s/\+/%2b/g;
     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
@@ -231,58 +437,86 @@ sub htmlsanit {
 sub bugurl {
     my $ref = shift;
     my $params = "bug=$ref";
-    foreach my $val (@_) {
-       $params .= "\&msg=$1" if ($val =~ /^msg=([0-9]+)/);
-       $params .= "\&archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
-    }
-    $params .= "&archive=yes" if ($common_archive);
-    $params .= "&repeatmerged=no" unless ($common_repeatmerged);
+    my $filename = '';
 
-    return urlsanit($debbugs::gCGIDomain . "bugreport.cgi" . "?" . "$params");
-}
+    if ($common_leet_urls) {
+        my $msg = "";
+        my $mbox = "";
+       my $att = "";
+        foreach my $val (@_) {
+           $mbox = "/mbox" if ($val eq "mbox");
+           $msg = "/$1" if ($val =~ /^msg=([0-9]+)/);
+           $att = "/$1" if ($val =~ /^att=([0-9]+)/);
+           $filename = "/$1" if ($val =~ /^filename=(.*)$/);
+        }
+       my $ext = "";
+       if ($mbox ne "") {
+           $ext = $mbox;
+       } elsif ($att ne "") {
+           $ext = "$att$filename";
+       }
+       return urlsanit("/x/$ref$msg$ext");
+    } else {
+        foreach my $val (@_) {
+           $params .= ";mbox=yes" if ($val eq "mbox");
+           $params .= ";msg=$1" if ($val =~ /^msg=([0-9]+)/);
+           $params .= ";att=$1" if ($val =~ /^att=([0-9]+)/);
+           $filename = $1 if ($val =~ /^filename=(.*)$/);
+           $params .= ";archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
+        }
+        $params .= ";archive=yes" if ($common_archive);
+        $params .= ";repeatmerged=no" unless ($common_repeatmerged);
 
-sub dlurl {
-    my $ref = shift;
-    my $params = "bug=$ref";
-    my $filename = '';
-    foreach my $val (@_) {
-       $params .= "\&$1=$2" if ($val =~ /^(msg|att)=([0-9]+)/);
-       $filename = $1 if ($val =~ /^filename=(.*)$/);
-    }
-    $params .= "&archive=yes" if ($common_archive);
+        my $pathinfo = '';
+        $pathinfo = '/'.uri_escape($filename) if $filename ne '';
 
-    return urlsanit($debbugs::gCGIDomain . "bugreport.cgi/$filename?$params");
+        return urlsanit("bugreport.cgi" . $pathinfo . "?" . $params);
+    }
 }
 
-sub mboxurl {
-    my $ref = shift;
-    return urlsanit($debbugs::gCGIDomain . "bugreport.cgi" . "?" . "bug=$ref&mbox=yes");
-}
+sub dlurl { bugurl(@_); }
+sub mboxurl { return bugurl($ref, "mbox"); }
 
 sub allbugs {
-    my @bugs = ();
-
-    opendir(D, "$debbugs::gSpoolDir/db") or &quit("opendir db: $!");
-    @bugs = sort {$a<=>$b} grep s/\.status$//,
-                (grep m/^[0-9]+\.status$/,
-                (readdir(D)));
-    closedir(D);
+    return @{getbugs(sub { 1 })};
+}
 
-    return @bugs;
+sub bugmatches(\%\%) {
+    my ($hash, $status) = @_;
+    foreach my $key( keys( %$hash ) ) {
+        my $value = $hash->{$key};
+       my $sub = $field_match{$key};
+       return 1 if ($sub->($key, $value, $status));
+    }
+    return 0;
+}
+sub bugfilter($%) {
+    my ($bug, %status) = @_;
+    our (%seenmerged);
+    if (%common_include) {
+       return 1 if (!bugmatches(%common_include, %status));
+    }
+    if (%common_exclude) {
+       return 1 if (bugmatches(%common_exclude, %status));
+    }
+    my @merged = sort {$a<=>$b} $bug, split(/ /, $status{mergedwith});
+    my $daysold = int((time - $status{date}) / 86400);   # seconds to days
+    return 1 unless ($common_mindays <= $daysold);
+    return 1 unless ($common_maxdays == -1 || $daysold <= $common_maxdays);
+    return 1 unless ($common_repeatmerged || !$seenmerged{$merged[0]});
+    $seenmerged{$merged[0]} = 1;
+    return 0;
 }
 
 sub htmlizebugs {
     $b = $_[0];
     my @bugs = @$b;
-    my @rawsort;
-
-    my %section = ();
+    my $anydone = 0;
 
-    my %displayshowpending = ("pending", "outstanding",
-                             "pending-fixed", "pending upload",
-                             "fixed", "fixed in NMU",
-                              "done", "resolved",
-                              "forwarded", "forwarded to upstream software authors");
+    my @status = ();
+    my %count;
+    my $header = '';
+    my $footer = '';
 
     if (@bugs == 0) {
         return "<HR><H2>No reports found!</H2></HR>\n";
@@ -293,97 +527,110 @@ sub htmlizebugs {
     } else {
        @bugs = sort {$a<=>$b} @bugs;
     }
+    my %seenmerged;
     foreach my $bug (@bugs) {
        my %status = %{getbugstatus($bug)};
         next unless %status;
-       my @merged = sort {$a<=>$b} ($bug, split(/ /, $status{mergedwith}));
-       next unless ($common_repeatmerged || $bug == $merged[0]);
-       if (%common_include) {
-           my $okay = 0;
-           foreach my $t (split /\s+/, $status{tags}) {
-               $okay = 1, last if (defined $common_include{$t});
-           }
-           if (defined $common_include{subj}) {
-                if (index($status{subject}, $common_include{subj}) > -1) {
-                    $okay = 1;
-                }
-            }
-           next unless ($okay);
-        }
-       if (%common_exclude) {
-           my $okay = 1;
-           foreach my $t (split /\s+/, $status{tags}) {
-               $okay = 0, last if (defined $common_exclude{$t});
-           }
-           if (defined $common_exclude{subj}) {
-                if (index($status{subject}, $common_exclude{subj}) > -1) {
-                    $okay = 0;
-                }
-            }
-           next unless ($okay);
-       }
-       next if @common_pending_include and
-            not grep { $_ eq $status{pending} } @common_pending_include;
-       next if @common_severity_include and
-            not grep { $_ eq $status{severity} } @common_severity_include;
-       next if grep { $_ eq $status{pending} } @common_pending_exclude;
-       next if grep { $_ eq $status{severity} } @common_severity_exclude;
+       next if bugfilter($bug, %status);
 
        my $html = sprintf "<li><a href=\"%s\">#%d: %s</a>\n<br>",
            bugurl($bug), $bug, htmlsanit($status{subject});
        $html .= htmlindexentrystatus(\%status) . "\n";
-       $section{$status{pending} . "_" . $status{severity}} .= $html;
-       push @rawsort, $html if $common_raw_sort;
+       my $key = join( '_', map( {$status{$_}} @common_grouping ) );
+       $section{$key} .= $html;
+       $count{"_$key"}++;
+       foreach my $grouping ( @common_grouping ) {
+           $count{"${grouping}_$status{$grouping}"}++;
+       }
+       $anydone = 1 if $status{pending} eq 'done';
+       push @status, [ $bug, \%status, $html ];
     }
 
     my $result = "";
-    my $anydone = 0;
     if ($common_raw_sort) {
-       $result .= "<UL>\n" . join("", @rawsort ) . "</UL>\n";
+       $result .= "<UL>\n" . join("", map( { $_->[ 2 ] } @status ) ) . "</UL>\n";
     } else {
-       my @pendingList = qw(pending forwarded pending-fixed fixed done);
-       @pendingList = reverse @pendingList if $common_pending_reverse;
-#print STDERR join(",",@pendingList)."\n";
-#print STDERR join(",",@common_pending_include).":$#common_pending_include\n";
-    foreach my $pending (@pendingList) {
-       my @severityList = @debbugs::gSeverityList;
-       @severityList = reverse @severityList if $common_severity_reverse;
-#print STDERR join(",",@severityList)."\n";
-
-#        foreach my $severity(@debbugs::gSeverityList) {
-        foreach my $severity(@severityList) {
-            $severity = $debbugs::gDefaultSeverity if ($severity eq '');
-            next unless defined $section{${pending} . "_" . ${severity}};
-            $result .= "<HR><H2>$debbugs::gSeverityDisplay{$severity} - $displayshowpending{$pending}</H2>\n";
-            #$result .= "(A list of <a href=\"http://${debbugs::gWebDomain}/db/si/$pending$severity\">all such bugs</a> is available).\n";
-           $result .= "(A list of all such bugs used to be available).\n";
-            $result .= "<UL>\n";
-           $result .= $section{$pending . "_" . $severity}; 
+       my (@order, @headers);
+       for( my $i = 0; $i < @common_grouping; $i++ ) {
+           my $grouping_name = $common_grouping[ $i ];
+           my @items = @{ $common_grouping_order{ $grouping_name } };
+           @items = reverse( @items ) if ( $common_reverse{ $grouping_name } );
+           my @neworder = ();
+           my @newheaders = ();
+           if ( @order ) {
+               foreach my $grouping ( @items ) {
+                   push @neworder, map( { "${_}_$grouping" } @order );
+                   push @newheaders, map( { "$_ - $common_headers{$grouping_name}{$grouping}" } @headers );
+               }
+               @order = @neworder;
+               @headers = @newheaders;
+           } else {
+               push @order, @items;
+               push @headers, map( { $common_headers{$common_grouping[$i]}{$_} } @items );
+           }
+       }
+       $header .= "<ul>\n";
+       for ( my $i = 0; $i < @order; $i++ ) {
+           my $order = $order[ $i ];
+           next unless defined $section{$order};
+           my $count = $count{"_$order"};
+           my $bugs = $count == 1 ? "bug" : "bugs";
+           $header .= "<li><a href=\"#$order\">$headers[$i]</a> ($count $bugs)</li>\n";
+       }
+       $header .= "</ul>\n";
+       for ( my $i = 0; $i < @order; $i++ ) {
+           my $order = $order[ $i ];
+           next unless defined $section{$order};
+           if ($common{show_list_header}) {
+               my $count = $count{"_$order"};
+               my $bugs = $count == 1 ? "bug" : "bugs";
+               $result .= "<HR><H2><a name=\"$order\"></a>$headers[$i] ($count $bugs)</H2>\n";
+           } else {
+               $result .= "<HR><H2>$headers[$i]</H2>\n";
+           }
+           $result .= "<UL>\n";
+           $result .= $section{$order};
            $result .= "</UL>\n";
-            $anydone = 1 if ($pending eq "done");
-         }
+       }    
+       $footer .= "<ul>\n";
+       foreach my $grouping ( @common_grouping ) {
+           my $local_result = '';
+           foreach my $key ( @{$common_grouping_order{ $grouping }} ) {
+               my $count = $count{"${grouping}_$key"};
+               next if !$count;
+               $local_result .= "<li>$count $common_headers{$grouping}{$key}</li>\n";
+           }
+           if ( $local_result ) {
+               $footer .= "<li>$common_grouping_display{$grouping}<ul>\n$local_result</ul></li>\n";
+           }
+       }
+       $footer .= "</ul>\n";
     }
 
-    }
-    $result .= $debbugs::gHTMLExpireNote if ($anydone);
+    $result = $header . $result if ( $common{show_list_header} );
+    $result .= $gHTMLExpireNote if $gRemoveAge and $anydone;
+    $result .= "<hr>" . $footer if ( $common{show_list_footer} );
     return $result;
 }
 
 sub countbugs {
     my $bugfunc = shift;
     if ($common_archive) {
-        open I, "<$debbugs::gSpoolDir/index.archive" or &quit("bugindex: $!");
+        open I, "<$gSpoolDir/index.archive"
+            or &quitcgi("$gSpoolDir/index.archive: $!");
     } else {
-        open I, "<$debbugs::gSpoolDir/index.db" or &quit("bugindex: $!");
+        open I, "<$gSpoolDir/index.db"
+            or &quitcgi("$gSpoolDir/index.db: $!");
     }
 
     my %count = ();
     while(<I>) 
     {
         if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
-            my $x = $bugfunc->(pkg => $1, bug => $2, status => $4, 
+            my @x = $bugfunc->(pkg => $1, bug => $2, status => $4, 
                                submitter => $5, severity => $6, tags => $7);
-           $count{$x}++;
+            local $_;
+            $count{$_}++ foreach @x;
        }
     }
     close I;
@@ -396,28 +643,35 @@ sub getbugs {
 
     my @result = ();
 
-    if (!$common_archive && defined $opt && 
-        -e "$debbugs::gSpoolDir/by-$opt.idx") 
-    {
+    my $fastidx;
+    if (!defined $opt) {
+        # leave $fastidx undefined;
+    } elsif (!$common_archive) {
+        $fastidx = "$gSpoolDir/by-$opt.idx";
+    } else {
+        $fastidx = "$gSpoolDir/by-$opt-arc.idx";
+    }
+
+    if (defined $fastidx && -e $fastidx) {
         my %lookup;
 print STDERR "optimized\n" if ($debug);
-        tie %lookup, DB_File => "$debbugs::gSpoolDir/by-$opt.idx", O_RDONLY
-            or die "$0: can't open $debbugs::gSpoolDir/by-$opt.idx ($!)\n";
+        tie %lookup, MLDBM => $fastidx, O_RDONLY
+            or die "$0: can't open $fastidx ($!)\n";
        while ($key = shift) {
             my $bugs = $lookup{$key};
             if (defined $bugs) {
-                push @result, (unpack 'N*', $bugs);
+                push @result, keys %{$bugs};
             }
         }
        untie %lookup;
 print STDERR "done optimized\n" if ($debug);
     } else {
         if ( $common_archive ) {
-            open I, "<$debbugs::gSpoolDir/index.archive" 
-                or &quit("bugindex: $!");
+            open I, "<$gSpoolDir/index.archive" 
+                or &quitcgi("$gSpoolDir/index.archive: $!");
         } else {
-            open I, "<$debbugs::gSpoolDir/index.db" 
-                or &quit("bugindex: $!");
+            open I, "<$gSpoolDir/index.db" 
+                or &quitcgi("$gSpoolDir/index.db: $!");
         }
         while(<I>) {
             if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
@@ -464,7 +718,7 @@ sub getmaintainers {
     return $_maintainer if $_maintainer;
     my %maintainer;
 
-    open(MM,"$gMaintainerFile") or &quit("open $gMaintainerFile: $!");
+    open(MM,"$gMaintainerFile") or &quitcgi("open $gMaintainerFile: $!");
     while(<MM>) {
        next unless m/^(\S+)\s+(\S.*\S)\s*$/;
        ($a,$b)=($1,$2);
@@ -472,51 +726,26 @@ sub getmaintainers {
        $maintainer{$a}= $b;
     }
     close(MM);
-    open(MM,"$gMaintainerFileOverride") or &quit("open $gMaintainerFileOverride: $!");
-    while(<MM>) {
-       next unless m/^(\S+)\s+(\S.*\S)\s*$/;
-       ($a,$b)=($1,$2);
-       $a =~ y/A-Z/a-z/;
-       $maintainer{$a}= $b;
+    if (defined $gMaintainerFileOverride) {
+       open(MM,"$gMaintainerFileOverride") or &quitcgi("open $gMaintainerFileOverride: $!");
+       while(<MM>) {
+           next unless m/^(\S+)\s+(\S.*\S)\s*$/;
+           ($a,$b)=($1,$2);
+           $a =~ y/A-Z/a-z/;
+           $maintainer{$a}= $b;
+       }
+       close(MM);
     }
-    close(MM);
     $_maintainer = \%maintainer;
     return $_maintainer;
 }
 
-my $_pkgsrc;
-my $_pkgcomponent;
-sub getpkgsrc {
-    return $_pkgsrc if $_pkgsrc;
-    my %pkgsrc;
-    my %pkgcomponent;
-
-    open(MM,"$gPackageSource") or &quit("open $gPackageSource: $!");
-    while(<MM>) {
-       next unless m/^(\S+)\s+(\S+)\s+(\S.*\S)\s*$/;
-       ($a,$b,$c)=($1,$2,$3);
-       $a =~ y/A-Z/a-z/;
-       $pkgsrc{$a}= $c;
-       $pkgcomponent{$a}= $b;
-    }
-    close(MM);
-    $_pkgsrc = \%pkgsrc;
-    $_pkgcomponent = \%pkgcomponent;
-    return $_pkgsrc;
-}
-
-sub getpkgcomponent {
-    return $_pkgcomponent if $_pkgcomponent;
-    getpkgsrc();
-    return $_pkgcomponent;
-}
-
 my $_pseudodesc;
 sub getpseudodesc {
     return $_pseudodesc if $_pseudodesc;
     my %pseudodesc;
 
-    open(PSEUDO, "< $gPseudoDescFile") or &quit("open $gPseudoDescFile: $!");
+    open(PSEUDO, "< $gPseudoDescFile") or &quitcgi("open $gPseudoDescFile: $!");
     while(<PSEUDO>) {
        next unless m/^(\S+)\s+(\S.*\S)\s*$/;
        $pseudodesc{lc $1} = $2;
@@ -526,31 +755,31 @@ sub getpseudodesc {
     return $_pseudodesc;
 }
 
-sub getbugdir {
-    my ( $bugnum, $ext ) = @_;
-    my $archdir = sprintf "%02d", $bugnum % 100;
-    foreach ( ( "$gSpoolDir/db-h/$archdir", "$gSpoolDir/db", "$gSpoolDir/archive/$archdir", "/debian/home/joeyh/tmp/infomagic-95/$archdir" ) ) {
-       return $_ if ( -r "$_/$bugnum.$ext" );
-    }
-    return undef;
-}
-    
 sub getbugstatus {
     my $bugnum = shift;
 
     my %status;
 
-    my $dir = getbugdir( $bugnum, "status" );
-    return {} if ( !$dir );
-    open S, "< $dir/$bugnum.status";
-    my @lines = qw(originator date subject msgid package tags done
-                       forwarded mergedwith severity);
-    while(<S>) {
-        chomp;
-       $status{shift @lines} = $_;
+    if ( $use_bug_idx eq 1 && exists( $bugidx{ $bugnum } ) ) {
+       %status = %{ $bugidx{ $bugnum } };
+       $status{ pending } = $status{ status };
+       $status{ id } = $bugnum;
+       return \%status;
     }
-    close(S);
-    $status{shift @lines} = '' while(@lines);
+
+    my $location = getbuglocation( $bugnum, 'summary' );
+    return {} if ( !$location );
+    %status = %{ readbug( $bugnum, $location ) };
+    $status{ id } = $bugnum;
+
+
+    if (defined $common_bugusertags{$bugnum}) {
+        $status{keywords} = "" unless defined $status{keywords};
+        $status{keywords} .= " " unless $status{keywords} eq "";
+        $status{keywords} .= join(" ", @{$common_bugusertags{$bugnum}});
+    }
+    $status{tags} = $status{keywords};
+    my %tags = map { $_ => 1 } split ' ', $status{tags};
 
     $status{"package"} =~ s/\s*$//;
     $status{"package"} = 'unknown' if ($status{"package"} eq '');
@@ -558,30 +787,104 @@ sub getbugstatus {
 
     $status{"pending"} = 'pending';
     $status{"pending"} = 'forwarded'       if (length($status{"forwarded"}));
-    $status{"pending"} = 'pending-fixed'    if ($status{"tags"} =~ /\bpending\b/);
-    $status{"pending"} = 'fixed'           if ($status{"tags"} =~ /\bfixed\b/);
-    $status{"pending"} = 'done'                    if (length($status{"done"}));
+    $status{"pending"} = 'pending-fixed'    if ($tags{pending});
+    $status{"pending"} = 'fixed'           if ($tags{fixed});
+
+    my @versions;
+    if (defined $common_version) {
+        @versions = ($common_version);
+    } elsif (defined $common_dist) {
+        @versions = getversions($status{package}, $common_dist, $common_arch);
+    }
+
+    # TODO: This should probably be handled further out for efficiency and
+    # for more ease of distinguishing between pkg= and src= queries.
+    my @sourceversions = makesourceversions($status{package}, $common_arch,
+                                            @versions);
+
+    if (@sourceversions) {
+        # Resolve bugginess states (we might be looking at multiple
+        # architectures, say). Found wins, then fixed, then absent.
+        my $maxbuggy = 'absent';
+        for my $version (@sourceversions) {
+            my $buggy = buggyversion($bugnum, $version, \%status);
+            if ($buggy eq 'found') {
+                $maxbuggy = 'found';
+                last;
+            } elsif ($buggy eq 'fixed' and $maxbuggy ne 'found') {
+                $maxbuggy = 'fixed';
+            }
+        }
+        if ($maxbuggy eq 'absent') {
+            $status{"pending"} = 'absent';
+        } elsif ($maxbuggy eq 'fixed') {
+            $status{"pending"} = 'done';
+        }
+    }
+    
+    if (length($status{done}) and
+            (not @sourceversions or not @{$status{fixed_versions}})) {
+        $status{"pending"} = 'done';
+    }
 
     return \%status;
 }
 
-sub getsrcpkgs {
-    my $src = shift;
-    return () if !$src;
-    my %pkgsrc = %{getpkgsrc()};
-    my @pkgs;
-    foreach ( keys %pkgsrc ) {
-       push @pkgs, $_ if $pkgsrc{$_} eq $src;
-    }
-    return @pkgs;
-}
-   
 sub buglog {
     my $bugnum = shift;
+    my $location = getbuglocation($bugnum, 'log');
+    return getbugcomponent($bugnum, 'log', $location) if ($location);
+    $location = getbuglocation($bugnum, 'log.gz');
+    return getbugcomponent($bugnum, 'log.gz', $location);
+}
+
+
+my %_versionobj;
+sub buggyversion {
+    my ($bug, $ver, $status) = @_;
+    return '' unless defined $gVersionPackagesDir;
+    my $src = getpkgsrc()->{$status->{package}};
+    $src = $status->{package} unless defined $src;
+
+    my $tree;
+    if (exists $_versionobj{$src}) {
+        $tree = $_versionobj{$src};
+    } else {
+        $tree = Debbugs::Versions->new(\&DpkgVer::vercmp);
+        my $srchash = substr $src, 0, 1;
+        if (open VERFILE, "< $gVersionPackagesDir/$srchash/$src") {
+            $tree->load(\*VERFILE);
+            close VERFILE;
+        }
+        $_versionobj{$src} = $tree;
+    }
 
-    my $dir = getbugdir( $bugnum, "log" );
-    return "" if ( !$dir );
-    return "$dir/$bugnum.log";
+    my @found = makesourceversions($status->{package}, undef,
+                                   @{$status->{found_versions}});
+    my @fixed = makesourceversions($status->{package}, undef,
+                                   @{$status->{fixed_versions}});
+
+    return $tree->buggy($ver, \@found, \@fixed);
+}
+
+
+sub getversiondesc {
+    my $pkg = shift;
+
+    if (defined $common_version) {
+        return "version $common_version";
+    } elsif (defined $common_dist) {
+        my @distvers = getversions($pkg, $common_dist, $common_arch);
+        @distvers = sort @distvers;
+        local $" = ', ';
+        if (@distvers > 1) {
+            return "versions @distvers";
+        } elsif (@distvers == 1) {
+            return "version @distvers";
+        }
+    }
+
+    return undef;
 }
 
 1;