cgi/common.pl

   1 #!/usr/bin/perl -w
   2
   3 use DB_File;
   4 use Fcntl qw/O_RDONLY/;
   5 use Mail::Address;
   6 use MLDBM qw/DB_File/;
   7 use POSIX qw/ceil/;
   8
   9 use URI::Escape;
  10
  11 $config_path = '/etc/debbugs';
  12 $lib_path = '/usr/lib/debbugs';
  13 require "$lib_path/errorlib";
  14
  15 use Debbugs::Packages;
  16 use Debbugs::Versions;
  17 use Debbugs::MIME qw(decode_rfc1522);
  18
  19 $MLDBM::RemoveTaint = 1;
  20
  21 my $common_mindays = 0;
  22 my $common_maxdays = -1;
  23 my $common_archive = 0;
  24 my $common_repeatmerged = 1;
  25 my %common_include = ();
  26 my %common_exclude = ();
  27 my $common_raw_sort = 0;
  28 my $common_bug_reverse = 0;
  29
  30 my $common_leet_urls = 0;
  31
  32 my %common_reverse = (
  33     'pending' => 0,
  34     'severity' => 0,
  35 );
  36 my %common = (
  37     'show_list_header' => 1,
  38     'show_list_footer' => 1,
  39 );
  40
  41 sub exact_field_match {
  42     my ($field, $values, $status) = @_;
  43     my @values = @$values;
  44     my @ret = grep {$_ eq $status->{$field} } @values;
  45     $#ret != -1;
  46 }
  47 sub contains_field_match {
  48     my ($field, $values, $status) = @_;
  49     foreach my $data (@$values) {
  50         return 1 if (index($status->{$field}, $data) > -1);
  51     }
  52     return 0;
  53 }
  54
  55 sub detect_user_agent {
  56     my $userAgent = $ENV{HTTP_USER_AGENT};
  57     return { 'name' => 'unknown' } unless defined $userAgent;
  58     return { 'name' => 'links' } if ( $userAgent =~ m,^ELinks,);
  59     return { 'name' => 'lynx' } if ( $userAgent =~ m,^Lynx,);
  60     return { 'name' => 'wget' } if ( $userAgent =~ m,^Wget,);
  61     return { 'name' => 'gecko' } if ( $userAgent =~ m,^Mozilla.* Gecko/,);
  62     return { 'name' => 'ie' } if ( $userAgent =~ m,^.*MSIE.*,);
  63     return { 'name' => 'unknown' };
  64 }
  65
  66 my %field_match = (
  67     'subject' => \&contains_field_match,
  68     'tags' => sub {
  69         my ($field, $values, $status) = @_;
  70         my %values = map {$_=>1} @$values;
  71         foreach my $t (split /\s+/, $status->{$field}) {
  72             return 1 if (defined $values{$t});
  73         }
  74         return 0;
  75     },
  76     'severity' => \&exact_field_match,
  77     'pending' => \&exact_field_match,
  78     'originator' => \%contains_field_match,
  79     'forwarded' => \%contains_field_match,
  80     'owner' => \%contains_field_match,
  81 );
  82 my @common_grouping = ( 'severity', 'pending' );
  83 my %common_grouping_order = (
  84     'pending' => [ qw( pending forwarded pending-fixed fixed done absent ) ],
  85     'severity' => \@debbugs::gSeverityList,
  86 );
  87 my %common_grouping_display = (
  88     'pending' => 'Status',
  89     'severity' => 'Severity',
  90 );
  91 my %common_headers = (
  92     'pending' => {
  93         "pending"       => "outstanding",
  94         "pending-fixed" => "pending upload",
  95         "fixed"         => "fixed in NMU",
  96         "done"          => "resolved",
  97         "forwarded"     => "forwarded to upstream software authors",
  98         "absent"        => "not applicable to this version",
  99     },
 100     'severity' => \%debbugs::gSeverityDisplay,
 101 );
 102
 103 my $common_version;
 104 my $common_dist;
 105 my $common_arch;
 106
 107 my $debug = 0;
 108 my $use_bug_idx = 0;
 109 my %bugidx;
 110
 111 sub array_option($) {
 112     my ($val) = @_;
 113     my @vals;
 114     @vals = ( $val ) if (ref($val) eq "" && $val );
 115     @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
 116     @vals = @{$val} if (ref($val) eq "ARRAY" );
 117     return @vals;
 118 }
 119
 120 sub filter_include_exclude($\%) {
 121     my ($val, $filter_map) = @_;
 122     my @vals = array_option($val);
 123     my @data = map {
 124         if (/^([^:]*):(.*)$/) { if ($1 eq 'subj') { ['subject', $2]; } else { [$1, $2] } } else { ['tags', $_] }
 125     } split /[\s,]+/, join ',', @vals;
 126     foreach my $data (@data) {
 127         &quitcgi("Invalid filter key: '$data->[0]'") if (!exists($field_match{$data->[0]}));
 128         push @{$filter_map->{$data->[0]}}, $data->[1];
 129     }
 130 }
 131
 132 sub filter_option($$\%) {
 133     my ($key, $val, $filter_map) = @_;
 134     my @vals = array_option($val);
 135     foreach $val (@vals) {
 136         push @{$filter_map->{$key}}, $val;
 137     }
 138 }
 139
 140 sub set_option {
 141     my ($opt, $val) = @_;
 142     if ($opt eq "use-bug-idx") {
 143         $use_bug_idx = $val;
 144         if ( $val ) {
 145             $common_headers{pending}{open} = $common_headers{pending}{pending};
 146             my $bugidx = tie %bugidx, MLDBM => "$debbugs::gSpoolDir/realtime/bug.idx", O_RDONLY
 147                 or quitcgi( "$0: can't open $debbugs::gSpoolDir/realtime/bug.idx ($!)\n" );
 148             $bugidx->RemoveTaint(1);
 149         } else {
 150             untie %bugidx;
 151         }
 152     }
 153     if ($opt =~ m/^show_list_(foot|head)er$/) { $common{$opt} = $val; }
 154     if ($opt eq "archive") { $common_archive = $val; }
 155     if ($opt eq "repeatmerged") { $common_repeatmerged = $val; }
 156     if ($opt eq "exclude") {
 157         filter_include_exclude($val, %common_exclude);
 158     }
 159     if ($opt eq "include") {
 160         filter_include_exclude($val, %common_include);
 161     }
 162     if ($opt eq "raw") { $common_raw_sort = $val; }
 163     if ($opt eq "bug-rev") { $common_bug_reverse = $val; }
 164     if ($opt eq "pend-rev") { $common_reverse{pending} = $val; }
 165     if ($opt eq "sev-rev") { $common_reverse{severity} = $val; }
 166     if ($opt eq "pend-exc") {
 167         filter_option('pending', $val, %common_exclude);
 168     }
 169     if ($opt eq "pend-inc") {
 170         filter_option('pending', $val, %common_include);
 171     }
 172     if ($opt eq "sev-exc") {
 173         filter_option('severity', $val, %common_exclude);
 174     }
 175     if ($opt eq "sev-inc") {
 176         filter_option('severity', $val, %common_include);
 177     }
 178     if ($opt eq "version") { $common_version = $val; }
 179     if ($opt eq "dist") { $common_dist = $val; }
 180     if ($opt eq "arch") { $common_arch = $val; }
 181     if ($opt eq "maxdays") { $common_maxdays = $val; }
 182     if ($opt eq "mindays") { $common_mindays = $val; }
 183 }
 184
 185 sub readparse {
 186     my ($in, $key, $val, %ret);
 187     if ($#ARGV >= 0) {
 188         $in = join("&", map { s/&/%26/g; s/;/%3b/g; $_ } @ARGV);
 189     } elsif (defined $ENV{"QUERY_STRING"} && $ENV{"QUERY_STRING"} ne "") {
 190         $in=$ENV{QUERY_STRING};
 191     } elsif(defined $ENV{"REQUEST_METHOD"}
 192         && $ENV{"REQUEST_METHOD"} eq "POST")
 193     {
 194         read(STDIN,$in,$ENV{CONTENT_LENGTH});
 195     } else {
 196         return;
 197     }
 198     if (defined $ENV{"HTTP_COOKIE"}) {
 199         my $x = $ENV{"HTTP_COOKIE"};
 200         $x =~ s/;\s+/;/g;
 201         $in = "$x;$in";
 202     }
 203     foreach (split(/[&;]/,$in)) {
 204         s/\+/ /g;
 205         ($key, $val) = split(/=/,$_,2);
 206         $key=~s/%(..)/pack("c",hex($1))/ge;
 207         $val=~s/%(..)/pack("c",hex($1))/ge;
 208         if ( exists $ret{$key} ) {
 209             if ( !exists $ret{"&$key"} ) {
 210                 $ret{"&$key"} = [ $ret{$key} ];
 211             }
 212             push @{$ret{"&$key"}},$val;
 213         }
 214         $ret{$key}=$val;
 215     }
 216
 217 $debug = 1 if (defined $ret{"debug"} && $ret{"debug"} eq "aj");
 218
 219     $common_leet_urls = 1
 220        if (defined $ret{"leeturls"} && $ret{"leeturls"} eq "yes");
 221
 222     return %ret;
 223 }
 224
 225 sub quitcgi {
 226     my $msg = shift;
 227     print "Content-Type: text/html\n\n";
 228     print "<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY>\n";
 229     print "An error occurred. Dammit.\n";
 230     print "Error was: $msg.\n";
 231     print "</BODY></HTML>\n";
 232     exit 0;
 233 }
 234
 235 #sub abort {
 236 #    my $msg = shift;
 237 #    my $Archive = $common_archive ? "archive" : "";
 238 #    print header . start_html("Sorry");
 239 #    print "Sorry bug #$msg doesn't seem to be in the $Archive database.\n";
 240 #    print end_html;
 241 #    exit 0;
 242 #}
 243
 244 # Split a package string from the status file into a list of package names.
 245 sub splitpackages {
 246     my $pkgs = shift;
 247     return unless defined $pkgs;
 248     return map lc, split /[ \t?,()]+/, $pkgs;
 249 }
 250
 251 my %_parsedaddrs;
 252 sub getparsedaddrs {
 253     my $addr = shift;
 254     return () unless defined $addr;
 255     return @{$_parsedaddrs{$addr}} if exists $_parsedaddrs{$addr};
 256     @{$_parsedaddrs{$addr}} = Mail::Address->parse($addr);
 257     return @{$_parsedaddrs{$addr}};
 258 }
 259
 260 # Generate a comma-separated list of HTML links to each package given in
 261 # $pkgs. $pkgs may be empty, in which case an empty string is returned, or
 262 # it may be a comma-separated list of package names.
 263 sub htmlpackagelinks {
 264     my $pkgs = shift;
 265     return unless defined $pkgs and $pkgs ne '';
 266     my $strong = shift;
 267     my @pkglist = splitpackages($pkgs);
 268
 269     my $openstrong  = $strong ? '<strong>' : '';
 270     my $closestrong = $strong ? '</strong>' : '';
 271
 272     return 'Package' . (@pkglist > 1 ? 's' : '') . ': ' .
 273            join(', ',
 274                 map {
 275                     '<a href="' . pkgurl($_) . '">' .
 276                     $openstrong . htmlsanit($_) . $closestrong . '</a>'
 277                 } @pkglist
 278            );
 279 }
 280
 281 # Generate a comma-separated list of HTML links to each address given in
 282 # $addresses, which should be a comma-separated list of RFC822 addresses.
 283 # $urlfunc should be a reference to a function like mainturl or submitterurl
 284 # which returns the URL for each individual address.
 285 sub htmladdresslinks {
 286     my ($prefixfunc, $urlfunc, $addresses) = @_;
 287     if (defined $addresses and $addresses ne '') {
 288         my @addrs = getparsedaddrs($addresses);
 289         my $prefix = (ref $prefixfunc) ? $prefixfunc->(scalar @addrs)
 290                                        : $prefixfunc;
 291         return $prefix .
 292                join ', ', map { sprintf '<a href="%s">%s</a>',
 293                                         $urlfunc->($_->address),
 294                                         htmlsanit($_->format) || '(unknown)'
 295                               } @addrs;
 296     } else {
 297         my $prefix = (ref $prefixfunc) ? $prefixfunc->(1) : $prefixfunc;
 298         return sprintf '%s<a href="%s">(unknown)</a>', $prefix, $urlfunc->('');
 299     }
 300 }
 301
 302 # Generate a comma-separated list of HTML links to each maintainer given in
 303 # $maints, which should be a comma-separated list of RFC822 addresses.
 304 sub htmlmaintlinks {
 305     my ($prefixfunc, $maints) = @_;
 306     return htmladdresslinks($prefixfunc, \&mainturl, $maints);
 307 }
 308
 309 sub htmlindexentry {
 310     my $ref = shift;
 311     my %status = %{getbugstatus($ref)};
 312     return htmlindexentrystatus(%status) if (%status);
 313     return "";
 314 }
 315
 316 sub htmlindexentrystatus {
 317     my $s = shift;
 318     my %status = %{$s};
 319
 320     my $result = "";
 321
 322     if  ($status{severity} eq 'normal') {
 323         $showseverity = '';
 324     } elsif (isstrongseverity($status{severity})) {
 325         $showseverity = "<strong>Severity: $status{severity}</strong>;\n";
 326     } else {
 327         $showseverity = "Severity: <em>$status{severity}</em>;\n";
 328     }
 329
 330     $result .= htmlpackagelinks($status{"package"}, 1);
 331
 332     my $showversions = '';
 333     if (@{$status{found_versions}}) {
 334         my @found = @{$status{found_versions}};
 335         local $_;
 336         s{/}{ } foreach @found;
 337         $showversions .= join ', ', map htmlsanit($_), @found;
 338     }
 339     if (@{$status{fixed_versions}}) {
 340         $showversions .= '; ' if length $showversions;
 341         $showversions .= '<strong>fixed</strong>: ';
 342         my @fixed = @{$status{fixed_versions}};
 343         local $_;
 344         s{/}{ } foreach @fixed;
 345         $showversions .= join ', ', map htmlsanit($_), @fixed;
 346     }
 347     $result .= " ($showversions)" if length $showversions;
 348     $result .= ";\n";
 349
 350     $result .= $showseverity;
 351     $result .= htmladdresslinks("Reported by: ", \&submitterurl,
 352                                 $status{originator});
 353     $result .= ";\nOwned by: " . htmlsanit($status{owner})
 354                if length $status{owner};
 355     $result .= ";\nTags: <strong>"
 356                  . htmlsanit(join(", ", sort(split(/\s+/, $status{tags}))))
 357                  . "</strong>"
 358                        if (length($status{tags}));
 359
 360     my @merged= split(/ /,$status{mergedwith});
 361     my $mseparator= ";\nmerged with ";
 362     for my $m (@merged) {
 363         $result .= $mseparator."<A href=\"" . bugurl($m) . "\">#$m</A>";
 364         $mseparator= ", ";
 365     }
 366
 367     if (length($status{done})) {
 368         $result .= ";\n<strong>Done:</strong> " . htmlsanit($status{done});
 369         $days = ceil($debbugs::gRemoveAge - -M buglog($status{id}));
 370         if ($days >= 0) {
 371             $result .= ";\n<strong>Will be archived:</strong>" . ( $days == 0 ? " today" : $days == 1 ? " in $days day" : " in $days days" );
 372         } else {
 373             $result .= ";\n<strong>Archived</strong>";
 374         }
 375     }
 376
 377     unless (length($status{done})) {
 378         if (length($status{forwarded})) {
 379             $result .= ";\n<strong>Forwarded</strong> to "
 380                        . maybelink($status{forwarded});
 381         }
 382         my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 383         if ($daysold >= 7) {
 384             my $font = "";
 385             my $efont = "";
 386             $font = "em" if ($daysold > 30);
 387             $font = "strong" if ($daysold > 60);
 388             $efont = "</$font>" if ($font);
 389             $font = "<$font>" if ($font);
 390
 391             my $yearsold = int($daysold / 365);
 392             $daysold -= $yearsold * 365;
 393
 394             $result .= ";\n $font";
 395             my @age;
 396             push @age, "1 year" if ($yearsold == 1);
 397             push @age, "$yearsold years" if ($yearsold > 1);
 398             push @age, "1 day" if ($daysold == 1);
 399             push @age, "$daysold days" if ($daysold > 1);
 400             $result .= join(" and ", @age);
 401             $result .= " old$efont";
 402         }
 403     }
 404
 405     $result .= ".";
 406
 407     return $result;
 408 }
 409
 410 sub urlargs {
 411     my $args = '';
 412     $args .= ";archive=yes" if $common_archive;
 413     $args .= ";repeatmerged=no" unless $common_repeatmerged;
 414     $args .= ";mindays=${common_mindays}" unless $common_mindays == 0;
 415     $args .= ";maxdays=${common_maxdays}" unless $common_maxdays == -1;
 416     $args .= ";version=$common_version" if defined $common_version;
 417     $args .= ";dist=$common_dist" if defined $common_dist;
 418     $args .= ";arch=$common_arch" if defined $common_arch;
 419     return $args;
 420 }
 421
 422 sub submitterurl { pkg_etc_url(emailfromrfc822($_[0] || ""), "submitter"); }
 423 sub mainturl { pkg_etc_url(emailfromrfc822($_[0] || ""), "maint"); }
 424 sub pkgurl { pkg_etc_url($_[0] || "", "pkg"); }
 425 sub srcurl { pkg_etc_url($_[0] || "", "src"); }
 426 sub tagurl { pkg_etc_url($_[0] || "", "tag"); }
 427
 428 sub pkg_etc_url {
 429     my $ref = shift;
 430     my $code = shift;
 431     if ($common_leet_urls) {
 432         $code = "package" if ($code eq "pkg");
 433         $code = "source" if ($code eq "src");
 434         return urlsanit("/x/$code/$ref");
 435     } else {
 436         my $params = "$code=$ref";
 437         $params .= urlargs();
 438         return urlsanit("pkgreport.cgi" . "?" . $params);
 439     }
 440 }
 441
 442 sub urlsanit {
 443     my $url = shift;
 444     $url =~ s/%/%25/g;
 445     $url =~ s/#/%23/g;
 446     $url =~ s/\+/%2b/g;
 447     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 448     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
 449     return $url;
 450 }
 451
 452 sub htmlsanit {
 453     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 454     my $in = shift || "";
 455     $in =~ s/([<>&"])/\&$saniarray{$1};/g;
 456     return $in;
 457 }
 458
 459 sub maybelink {
 460     my $in = shift;
 461     if ($in =~ /^[a-zA-Z0-9+.-]+:/) { # RFC 1738 scheme
 462         return qq{<a href="$in">} . htmlsanit($in) . '</a>';
 463     } else {
 464         return htmlsanit($in);
 465     }
 466 }
 467
 468 sub bugurl {
 469     my $ref = shift;
 470     my $params = "bug=$ref";
 471     my $filename = '';
 472
 473     if ($common_leet_urls) {
 474         my $msg = "";
 475         my $mbox = "";
 476         my $att = "";
 477         foreach my $val (@_) {
 478             $mbox = "/mbox" if ($val eq "mbox");
 479             $msg = "/$1" if ($val =~ /^msg=([0-9]+)/);
 480             $att = "/$1" if ($val =~ /^att=([0-9]+)/);
 481             $filename = "/$1" if ($val =~ /^filename=(.*)$/);
 482         }
 483         my $ext = "";
 484         if ($mbox ne "") {
 485             $ext = $mbox;
 486         } elsif ($att ne "") {
 487             $ext = "$att$filename";
 488         }
 489         return urlsanit("/x/$ref$msg$ext");
 490     } else {
 491         foreach my $val (@_) {
 492             $params .= ";mbox=yes" if ($val eq "mbox");
 493             $params .= ";msg=$1" if ($val =~ /^msg=([0-9]+)/);
 494             $params .= ";att=$1" if ($val =~ /^att=([0-9]+)/);
 495             $filename = $1 if ($val =~ /^filename=(.*)$/);
 496             $params .= ";archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
 497         }
 498         $params .= ";archive=yes" if ($common_archive);
 499         $params .= ";repeatmerged=no" unless ($common_repeatmerged);
 500
 501         my $pathinfo = '';
 502         $pathinfo = '/'.uri_escape($filename) if $filename ne '';
 503
 504         return urlsanit("bugreport.cgi" . $pathinfo . "?" . $params);
 505     }
 506 }
 507
 508 sub dlurl { bugurl(@_); }
 509 sub mboxurl { return bugurl($ref, "mbox"); }
 510
 511 sub allbugs {
 512     return @{getbugs(sub { 1 })};
 513 }
 514
 515 sub bugmatches(\%\%) {
 516     my ($hash, $status) = @_;
 517     foreach my $key( keys( %$hash ) ) {
 518         my $value = $hash->{$key};
 519         my $sub = $field_match{$key};
 520         return 1 if ($sub->($key, $value, $status));
 521     }
 522     return 0;
 523 }
 524 sub bugfilter($%) {
 525     my ($bug, %status) = @_;
 526     our (%seenmerged);
 527     if (%common_include) {
 528         return 1 if (!bugmatches(%common_include, %status));
 529     }
 530     if (%common_exclude) {
 531         return 1 if (bugmatches(%common_exclude, %status));
 532     }
 533     my @merged = sort {$a<=>$b} $bug, split(/ /, $status{mergedwith});
 534     my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 535     return 1 unless ($common_mindays <= $daysold);
 536     return 1 unless ($common_maxdays == -1 || $daysold <= $common_maxdays);
 537     return 1 unless ($common_repeatmerged || !$seenmerged{$merged[0]});
 538     $seenmerged{$merged[0]} = 1;
 539     return 0;
 540 }
 541
 542 sub htmlizebugs {
 543     $b = $_[0];
 544     my @bugs = @$b;
 545     my $anydone = 0;
 546
 547     my @status = ();
 548     my %count;
 549     my $header = '';
 550     my $footer = '';
 551
 552     if (@bugs == 0) {
 553         return "<HR><H2>No reports found!</H2></HR>\n";
 554     }
 555
 556     if ( $common_bug_reverse ) {
 557         @bugs = sort {$b<=>$a} @bugs;
 558     } else {
 559         @bugs = sort {$a<=>$b} @bugs;
 560     }
 561     my %seenmerged;
 562     foreach my $bug (@bugs) {
 563         my %status = %{getbugstatus($bug)};
 564         next unless %status;
 565         next if bugfilter($bug, %status);
 566
 567         my $html = sprintf "<li><a href=\"%s\">#%d: %s</a>\n<br>",
 568             bugurl($bug), $bug, htmlsanit($status{subject});
 569         $html .= htmlindexentrystatus(\%status) . "\n";
 570         my $key = join( '_', map( {$status{$_}} @common_grouping ) );
 571         $section{$key} .= $html;
 572         $count{"_$key"}++;
 573         foreach my $grouping ( @common_grouping ) {
 574             $count{"${grouping}_$status{$grouping}"}++;
 575         }
 576         $anydone = 1 if $status{pending} eq 'done';
 577         push @status, [ $bug, \%status, $html ];
 578     }
 579
 580     my $result = "";
 581     if ($common_raw_sort) {
 582         $result .= "<UL>\n" . join("", map( { $_->[ 2 ] } @status ) ) . "</UL>\n";
 583     } else {
 584         my (@order, @headers);
 585         for( my $i = 0; $i < @common_grouping; $i++ ) {
 586             my $grouping_name = $common_grouping[ $i ];
 587             my @items = @{ $common_grouping_order{ $grouping_name } };
 588             @items = reverse( @items ) if ( $common_reverse{ $grouping_name } );
 589             my @neworder = ();
 590             my @newheaders = ();
 591             if ( @order ) {
 592                 foreach my $grouping ( @items ) {
 593                     push @neworder, map( { "${_}_$grouping" } @order );
 594                     push @newheaders, map( { "$_ - $common_headers{$grouping_name}{$grouping}" } @headers );
 595                 }
 596                 @order = @neworder;
 597                 @headers = @newheaders;
 598             } else {
 599                 push @order, @items;
 600                 push @headers, map( { $common_headers{$common_grouping[$i]}{$_} } @items );
 601             }
 602         }
 603         $header .= "<ul>\n";
 604         for ( my $i = 0; $i < @order; $i++ ) {
 605             my $order = $order[ $i ];
 606             next unless defined $section{$order};
 607             my $count = $count{"_$order"};
 608             my $bugs = $count == 1 ? "bug" : "bugs";
 609             $header .= "<li><a href=\"#$order\">$headers[$i]</a> ($count $bugs)</li>\n";
 610         }
 611         $header .= "</ul>\n";
 612         for ( my $i = 0; $i < @order; $i++ ) {
 613             my $order = $order[ $i ];
 614             next unless defined $section{$order};
 615             if ($common{show_list_header}) {
 616                 my $count = $count{"_$order"};
 617                 my $bugs = $count == 1 ? "bug" : "bugs";
 618                 $result .= "<HR><H2><a name=\"$order\"></a>$headers[$i] ($count $bugs)</H2>\n";
 619             } else {
 620                 $result .= "<HR><H2>$headers[$i]</H2>\n";
 621             }
 622             $result .= "<UL>\n";
 623             $result .= $section{$order};
 624             $result .= "</UL>\n";
 625         }
 626         $footer .= "<ul>\n";
 627         foreach my $grouping ( @common_grouping ) {
 628             my $local_result = '';
 629             foreach my $key ( @{$common_grouping_order{ $grouping }} ) {
 630                 my $count = $count{"${grouping}_$key"};
 631                 next if !$count;
 632                 $local_result .= "<li>$count $common_headers{$grouping}{$key}</li>\n";
 633             }
 634             if ( $local_result ) {
 635                 $footer .= "<li>$common_grouping_display{$grouping}<ul>\n$local_result</ul></li>\n";
 636             }
 637         }
 638         $footer .= "</ul>\n";
 639     }
 640
 641     $result = $header . $result if ( $common{show_list_header} );
 642     $result .= $debbugs::gHTMLExpireNote if $debbugs::gRemoveAge and $anydone;
 643     $result .= "<hr>" . $footer if ( $common{show_list_footer} );
 644     return $result;
 645 }
 646
 647 sub countbugs {
 648     my $bugfunc = shift;
 649     if ($common_archive) {
 650         open I, "<$debbugs::gSpoolDir/index.archive"
 651             or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 652     } else {
 653         open I, "<$debbugs::gSpoolDir/index.db"
 654             or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 655     }
 656
 657     my %count = ();
 658     while(<I>)
 659     {
 660         if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 661             my @x = $bugfunc->(pkg => $1, bug => $2, status => $4,
 662                                submitter => $5, severity => $6, tags => $7);
 663             local $_;
 664             $count{$_}++ foreach @x;
 665         }
 666     }
 667     close I;
 668     return %count;
 669 }
 670
 671 sub getbugs {
 672     my $bugfunc = shift;
 673     my $opt = shift;
 674
 675     my @result = ();
 676
 677     my $fastidx;
 678     if (!defined $opt) {
 679         # leave $fastidx undefined;
 680     } elsif (!$common_archive) {
 681         $fastidx = "$debbugs::gSpoolDir/by-$opt.idx";
 682     } else {
 683         $fastidx = "$debbugs::gSpoolDir/by-$opt-arc.idx";
 684     }
 685
 686     if (defined $fastidx && -e $fastidx) {
 687         my %lookup;
 688 print STDERR "optimized\n" if ($debug);
 689         tie %lookup, DB_File => $fastidx, O_RDONLY
 690             or die "$0: can't open $fastidx ($!)\n";
 691         while ($key = shift) {
 692             my $bugs = $lookup{$key};
 693             if (defined $bugs) {
 694                 push @result, (unpack 'N*', $bugs);
 695             } elsif (defined $lookup{"count $key"}) {
 696                 my $which = 0;
 697                 while (1) {
 698                     $bugs = $lookup{"$which $key"};
 699                     last unless defined $bugs;
 700                     push @result, (unpack 'N*', $bugs);
 701                     $which += 100;
 702                 }
 703             }
 704         }
 705         untie %lookup;
 706 print STDERR "done optimized\n" if ($debug);
 707     } else {
 708         if ( $common_archive ) {
 709             open I, "<$debbugs::gSpoolDir/index.archive"
 710                 or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 711         } else {
 712             open I, "<$debbugs::gSpoolDir/index.db"
 713                 or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 714         }
 715         while(<I>) {
 716             if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 717                 if ($bugfunc->(pkg => $1, bug => $2, status => $4,
 718                             submitter => $5, severity => $6, tags => $7))
 719                 {
 720                     push (@result, $2);
 721                 }
 722             }
 723         }
 724         close I;
 725     }
 726     @result = sort {$a <=> $b} @result;
 727     return \@result;
 728 }
 729
 730 sub emailfromrfc822 {
 731     my $email = shift;
 732     $email =~ s/\s*\(.*\)\s*//;
 733     $email = $1 if ($email =~ m/<(.*)>/);
 734     return $email;
 735 }
 736
 737 sub maintencoded {
 738     my $input = shift;
 739     my $encoded = '';
 740
 741     while ($input =~ m/\W/) {
 742         $encoded.=$`.sprintf("-%02x_",unpack("C",$&));
 743         $input= $';
 744     }
 745
 746     $encoded.= $input;
 747     $encoded =~ s/-2e_/\./g;
 748     $encoded =~ s/^([^,]+)-20_-3c_(.*)-40_(.*)-3e_/$1,$2,$3,/;
 749     $encoded =~ s/^(.*)-40_(.*)-20_-28_([^,]+)-29_$/,$1,$2,$3/;
 750     $encoded =~ s/-20_/_/g;
 751     $encoded =~ s/-([^_]+)_-/-$1/g;
 752     return $encoded;
 753 }
 754
 755 my $_maintainer;
 756 sub getmaintainers {
 757     return $_maintainer if $_maintainer;
 758     my %maintainer;
 759
 760     open(MM,"$debbugs::gMaintainerFile") or &quitcgi("open $debbugs::gMaintainerFile: $!");
 761     while(<MM>) {
 762         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 763         ($a,$b)=($1,$2);
 764         $a =~ y/A-Z/a-z/;
 765         $maintainer{$a}= $b;
 766     }
 767     close(MM);
 768     if (defined $debbugs::gMaintainerFileOverride) {
 769         open(MM,"$debbugs::gMaintainerFileOverride") or &quitcgi("open $debbugs::gMaintainerFileOverride: $!");
 770         while(<MM>) {
 771             next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 772             ($a,$b)=($1,$2);
 773             $a =~ y/A-Z/a-z/;
 774             $maintainer{$a}= $b;
 775         }
 776         close(MM);
 777     }
 778     $_maintainer = \%maintainer;
 779     return $_maintainer;
 780 }
 781
 782 my $_pseudodesc;
 783 sub getpseudodesc {
 784     return $_pseudodesc if $_pseudodesc;
 785     my %pseudodesc;
 786
 787     open(PSEUDO, "< $debbugs::gPseudoDescFile") or &quitcgi("open $debbugs::gPseudoDescFile: $!");
 788     while(<PSEUDO>) {
 789         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 790         $pseudodesc{lc $1} = $2;
 791     }
 792     close(PSEUDO);
 793     $_pseudodesc = \%pseudodesc;
 794     return $_pseudodesc;
 795 }
 796
 797 sub getbugstatus {
 798     my $bugnum = shift;
 799
 800     my %status;
 801
 802     if ( $use_bug_idx eq 1 && exists( $bugidx{ $bugnum } ) ) {
 803         %status = %{ $bugidx{ $bugnum } };
 804         $status{ pending } = $status{ status };
 805         $status{ id } = $bugnum;
 806         return \%status;
 807     }
 808
 809     my $location = getbuglocation( $bugnum, 'summary' );
 810     return {} if ( !$location );
 811     %status = %{ readbug( $bugnum, $location ) };
 812     $status{ id } = $bugnum;
 813
 814     $status{tags} = $status{keywords};
 815     my %tags = map { $_ => 1 } split ' ', $status{tags};
 816
 817     $status{"package"} =~ s/\s*$//;
 818     $status{"package"} = 'unknown' if ($status{"package"} eq '');
 819     $status{"severity"} = 'normal' if ($status{"severity"} eq '');
 820
 821     $status{"pending"} = 'pending';
 822     $status{"pending"} = 'forwarded'        if (length($status{"forwarded"}));
 823     $status{"pending"} = 'pending-fixed'    if ($tags{pending});
 824     $status{"pending"} = 'fixed'            if ($tags{fixed});
 825
 826     my @versions;
 827     if (defined $common_version) {
 828         @versions = ($common_version);
 829     } elsif (defined $common_dist) {
 830         @versions = getversions($status{package}, $common_dist, $common_arch);
 831     }
 832
 833     # TODO: This should probably be handled further out for efficiency and
 834     # for more ease of distinguishing between pkg= and src= queries.
 835     my @sourceversions = makesourceversions($status{package}, $common_arch,
 836                                             @versions);
 837
 838     if (@sourceversions) {
 839         # Resolve bugginess states (we might be looking at multiple
 840         # architectures, say). Found wins, then fixed, then absent.
 841         my $maxbuggy = 'absent';
 842         for my $version (@sourceversions) {
 843             my $buggy = buggyversion($bugnum, $version, \%status);
 844             if ($buggy eq 'found') {
 845                 $maxbuggy = 'found';
 846                 last;
 847             } elsif ($buggy eq 'fixed' and $maxbuggy ne 'found') {
 848                 $maxbuggy = 'fixed';
 849             }
 850         }
 851         if ($maxbuggy eq 'absent') {
 852             $status{"pending"} = 'absent';
 853         } elsif ($maxbuggy eq 'fixed') {
 854             $status{"pending"} = 'done';
 855         }
 856     }
 857
 858     if (length($status{done}) and
 859             (not @sourceversions or not @{$status{fixed_versions}})) {
 860         $status{"pending"} = 'done';
 861     }
 862
 863     return \%status;
 864 }
 865
 866 sub buglog {
 867     my $bugnum = shift;
 868     my $location = getbuglocation($bugnum, 'log');
 869     return getbugcomponent($bugnum, 'log', $location) if ($location);
 870     $location = getbuglocation($bugnum, 'log.gz');
 871     return getbugcomponent($bugnum, 'log.gz', $location);
 872 }
 873
 874 # Canonicalize versions into source versions, which have an explicitly
 875 # named source package. This is used to cope with source packages whose
 876 # names have changed during their history, and with cases where source
 877 # version numbers differ from binary version numbers.
 878 sub makesourceversions {
 879     my $pkg = shift;
 880     my $arch = shift;
 881     my %sourceversions;
 882
 883     for my $version (@_) {
 884         if ($version =~ m[/]) {
 885             # Already a source version.
 886             $sourceversions{$version} = 1;
 887         } else {
 888             my @srcinfo = binarytosource($pkg, $version, $arch);
 889             unless (@srcinfo) {
 890                 # We don't have explicit information about the
 891                 # binary-to-source mapping for this version (yet). Since
 892                 # this is a CGI script and our output is transient, we can
 893                 # get away with just looking in the unversioned map; if it's
 894                 # wrong (as it will be when binary and source package
 895                 # versions differ), too bad.
 896                 my $pkgsrc = getpkgsrc();
 897                 if (exists $pkgsrc->{$pkg}) {
 898                     @srcinfo = ([$pkgsrc->{$pkg}, $version]);
 899                 } else {
 900                     next;
 901                 }
 902             }
 903             $sourceversions{"$_->[0]/$_->[1]"} = 1 foreach @srcinfo;
 904         }
 905     }
 906
 907     return sort keys %sourceversions;
 908 }
 909
 910 my %_versionobj;
 911 sub buggyversion {
 912     my ($bug, $ver, $status) = @_;
 913     return '' unless defined $debbugs::gVersionPackagesDir;
 914     my $src = getpkgsrc()->{$status->{package}};
 915     $src = $status->{package} unless defined $src;
 916
 917     my $tree;
 918     if (exists $_versionobj{$src}) {
 919         $tree = $_versionobj{$src};
 920     } else {
 921         $tree = Debbugs::Versions->new(\&DpkgVer::vercmp);
 922         my $srchash = substr $src, 0, 1;
 923         if (open VERFILE, "< $debbugs::gVersionPackagesDir/$srchash/$src") {
 924             $tree->load(\*VERFILE);
 925             close VERFILE;
 926         }
 927         $_versionobj{$src} = $tree;
 928     }
 929
 930     my @found = makesourceversions($status->{package}, undef,
 931                                    @{$status->{found_versions}});
 932     my @fixed = makesourceversions($status->{package}, undef,
 933                                    @{$status->{fixed_versions}});
 934
 935     return $tree->buggy($ver, \@found, \@fixed);
 936 }
 937
 938 my %_versions;
 939 sub getversions {
 940     my ($pkg, $dist, $arch) = @_;
 941     return () unless defined $debbugs::gVersionIndex;
 942     $dist = 'unstable' unless defined $dist;
 943
 944     unless (tied %_versions) {
 945         tie %_versions, 'MLDBM', $debbugs::gVersionIndex, O_RDONLY
 946             or die "can't open versions index: $!";
 947     }
 948
 949     if (defined $arch and exists $_versions{$pkg}{$dist}{$arch}) {
 950         my $ver = $_versions{$pkg}{$dist}{$arch};
 951         return $ver if defined $ver;
 952         return ();
 953     } else {
 954         my %uniq;
 955         for my $ar (keys %{$_versions{$pkg}{$dist}}) {
 956             $uniq{$_versions{$pkg}{$dist}{$ar}} = 1 unless $ar eq 'source';
 957         }
 958         return keys %uniq;
 959     }
 960 }
 961
 962 sub getversiondesc {
 963     my $pkg = shift;
 964
 965     if (defined $common_version) {
 966         return "version $common_version";
 967     } elsif (defined $common_dist) {
 968         my @distvers = getversions($pkg, $common_dist, $common_arch);
 969         @distvers = sort @distvers;
 970         local $" = ', ';
 971         if (@distvers > 1) {
 972             return "versions @distvers";
 973         } elsif (@distvers == 1) {
 974             return "version @distvers";
 975         }
 976     }
 977
 978     return undef;
 979 }
 980
 981 1;