cgi/common.pl

   1 #!/usr/bin/perl -w
   2
   3 use DB_File;
   4 use Fcntl qw/O_RDONLY/;
   5 use Mail::Address;
   6 use MLDBM qw/DB_File/;
   7 use POSIX qw/ceil/;
   8
   9 use URI::Escape;
  10
  11 $config_path = '/etc/debbugs';
  12 $lib_path = '/usr/lib/debbugs';
  13 require "$lib_path/errorlib";
  14
  15 use Debbugs::Packages;
  16 use Debbugs::Versions;
  17 use Debbugs::MIME qw(decode_rfc1522);
  18 use Debbugs::Common qw(:read :util);
  19
  20 $MLDBM::RemoveTaint = 1;
  21
  22 my %common_bugusertags;
  23 my $common_mindays = 0;
  24 my $common_maxdays = -1;
  25 my $common_archive = 0;
  26 my $common_repeatmerged = 1;
  27 my %common_include = ();
  28 my %common_exclude = ();
  29 my $common_raw_sort = 0;
  30 my $common_bug_reverse = 0;
  31
  32 my $common_leet_urls = 0;
  33
  34 my %common_reverse = (
  35     'pending' => 0,
  36     'severity' => 0,
  37 );
  38 my %common = (
  39     'show_list_header' => 1,
  40     'show_list_footer' => 1,
  41 );
  42
  43 sub exact_field_match {
  44     my ($field, $values, $status) = @_;
  45     my @values = @$values;
  46     my @ret = grep {$_ eq $status->{$field} } @values;
  47     $#ret != -1;
  48 }
  49 sub contains_field_match {
  50     my ($field, $values, $status) = @_;
  51     foreach my $data (@$values) {
  52         return 1 if (index($status->{$field}, $data) > -1);
  53     }
  54     return 0;
  55 }
  56
  57 sub detect_user_agent {
  58     my $userAgent = $ENV{HTTP_USER_AGENT};
  59     return { 'name' => 'unknown' } unless defined $userAgent;
  60     return { 'name' => 'links' } if ( $userAgent =~ m,^ELinks,);
  61     return { 'name' => 'lynx' } if ( $userAgent =~ m,^Lynx,);
  62     return { 'name' => 'wget' } if ( $userAgent =~ m,^Wget,);
  63     return { 'name' => 'gecko' } if ( $userAgent =~ m,^Mozilla.* Gecko/,);
  64     return { 'name' => 'ie' } if ( $userAgent =~ m,^.*MSIE.*,);
  65     return { 'name' => 'unknown' };
  66 }
  67
  68 my %field_match = (
  69     'subject' => \&contains_field_match,
  70     'tags' => sub {
  71         my ($field, $values, $status) = @_;
  72         my %values = map {$_=>1} @$values;
  73         foreach my $t (split /\s+/, $status->{$field}) {
  74             return 1 if (defined $values{$t});
  75         }
  76         return 0;
  77     },
  78     'severity' => \&exact_field_match,
  79     'pending' => \&exact_field_match,
  80     'originator' => \%contains_field_match,
  81     'forwarded' => \%contains_field_match,
  82     'owner' => \%contains_field_match,
  83 );
  84 my @common_grouping = ( 'severity', 'pending' );
  85 my %common_grouping_order = (
  86     'pending' => [ qw( pending forwarded pending-fixed fixed done absent ) ],
  87     'severity' => \@debbugs::gSeverityList,
  88 );
  89 my %common_grouping_display = (
  90     'pending' => 'Status',
  91     'severity' => 'Severity',
  92 );
  93 my %common_headers = (
  94     'pending' => {
  95         "pending"       => "outstanding",
  96         "pending-fixed" => "pending upload",
  97         "fixed"         => "fixed in NMU",
  98         "done"          => "resolved",
  99         "forwarded"     => "forwarded to upstream software authors",
 100         "absent"        => "not applicable to this version",
 101     },
 102     'severity' => \%debbugs::gSeverityDisplay,
 103 );
 104
 105 my $common_version;
 106 my $common_dist;
 107 my $common_arch;
 108
 109 my $debug = 0;
 110 my $use_bug_idx = 0;
 111 my %bugidx;
 112
 113 sub array_option($) {
 114     my ($val) = @_;
 115     my @vals;
 116     @vals = ( $val ) if (ref($val) eq "" && $val );
 117     @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
 118     @vals = @{$val} if (ref($val) eq "ARRAY" );
 119     return @vals;
 120 }
 121
 122 sub filter_include_exclude($\%) {
 123     my ($val, $filter_map) = @_;
 124     my @vals = array_option($val);
 125     my @data = map {
 126         if (/^([^:]*):(.*)$/) { if ($1 eq 'subj') { ['subject', $2]; } else { [$1, $2] } } else { ['tags', $_] }
 127     } split /[\s,]+/, join ',', @vals;
 128     foreach my $data (@data) {
 129         &quitcgi("Invalid filter key: '$data->[0]'") if (!exists($field_match{$data->[0]}));
 130         push @{$filter_map->{$data->[0]}}, $data->[1];
 131     }
 132 }
 133
 134 sub filter_option($$\%) {
 135     my ($key, $val, $filter_map) = @_;
 136     my @vals = array_option($val);
 137     foreach $val (@vals) {
 138         push @{$filter_map->{$key}}, $val;
 139     }
 140 }
 141
 142 sub set_option {
 143     my ($opt, $val) = @_;
 144     if ($opt eq "use-bug-idx") {
 145         $use_bug_idx = $val;
 146         if ( $val ) {
 147             $common_headers{pending}{open} = $common_headers{pending}{pending};
 148             my $bugidx = tie %bugidx, MLDBM => "$debbugs::gSpoolDir/realtime/bug.idx", O_RDONLY
 149                 or quitcgi( "$0: can't open $debbugs::gSpoolDir/realtime/bug.idx ($!)\n" );
 150             $bugidx->RemoveTaint(1);
 151         } else {
 152             untie %bugidx;
 153         }
 154     }
 155     if ($opt =~ m/^show_list_(foot|head)er$/) { $common{$opt} = $val; }
 156     if ($opt eq "archive") { $common_archive = $val; }
 157     if ($opt eq "repeatmerged") { $common_repeatmerged = $val; }
 158     if ($opt eq "exclude") {
 159         filter_include_exclude($val, %common_exclude);
 160     }
 161     if ($opt eq "include") {
 162         filter_include_exclude($val, %common_include);
 163     }
 164     if ($opt eq "raw") { $common_raw_sort = $val; }
 165     if ($opt eq "bug-rev") { $common_bug_reverse = $val; }
 166     if ($opt eq "pend-rev") { $common_reverse{pending} = $val; }
 167     if ($opt eq "sev-rev") { $common_reverse{severity} = $val; }
 168     if ($opt eq "pend-exc") {
 169         filter_option('pending', $val, %common_exclude);
 170     }
 171     if ($opt eq "pend-inc") {
 172         filter_option('pending', $val, %common_include);
 173     }
 174     if ($opt eq "sev-exc") {
 175         filter_option('severity', $val, %common_exclude);
 176     }
 177     if ($opt eq "sev-inc") {
 178         filter_option('severity', $val, %common_include);
 179     }
 180     if ($opt eq "version") { $common_version = $val; }
 181     if ($opt eq "dist") { $common_dist = $val; }
 182     if ($opt eq "arch") { $common_arch = $val; }
 183     if ($opt eq "maxdays") { $common_maxdays = $val; }
 184     if ($opt eq "mindays") { $common_mindays = $val; }
 185     if ($opt eq "bugusertags") { %common_bugusertags = %{$val}; }
 186 }
 187
 188 sub readparse {
 189     my ($key, $val, %ret);
 190     my $in = "";
 191     if ($#ARGV >= 0) {
 192         $in .= ";" . join("&", map { s/&/%26/g; s/;/%3b/g; $_ } @ARGV);
 193     }
 194     if (defined $ENV{"QUERY_STRING"} && $ENV{"QUERY_STRING"} ne "") {
 195         $in .= ";" . $ENV{QUERY_STRING};
 196     }
 197     if (defined $ENV{"REQUEST_METHOD"} && $ENV{"REQUEST_METHOD"} eq "POST"
 198           && defined $ENV{"CONTENT_TYPE"}
 199           && $ENV{"CONTENT_TYPE"} eq "application/x-www-form-urlencoded")
 200     {
 201         my $inx;
 202         read(STDIN,$inx,$ENV{CONTENT_LENGTH});
 203         $in .= ";" . $inx;
 204     }
 205     return unless ($in ne "");
 206
 207     if (defined $ENV{"HTTP_COOKIE"}) {
 208         my $x = $ENV{"HTTP_COOKIE"};
 209         $x =~ s/;\s+/;/g;
 210         $in = "$x;$in";
 211     }
 212     $in =~ s/&/;/g;
 213     $in =~ s/;;+/;/g; $in =~ s/^;//; $in =~ s/;$//;
 214     foreach (split(/[&;]/,$in)) {
 215         s/\+/ /g;
 216         ($key, $val) = split(/=/,$_,2);
 217         $key=~s/%(..)/pack("c",hex($1))/ge;
 218         $val=~s/%(..)/pack("c",hex($1))/ge;
 219         if ( exists $ret{$key} ) {
 220             if ( !exists $ret{"&$key"} ) {
 221                 $ret{"&$key"} = [ $ret{$key} ];
 222             }
 223             push @{$ret{"&$key"}},$val;
 224         }
 225         $ret{$key}=$val;
 226     }
 227
 228 $debug = 1 if (defined $ret{"debug"} && $ret{"debug"} eq "aj");
 229
 230     $common_leet_urls = 1
 231        if (defined $ret{"leeturls"} && $ret{"leeturls"} eq "yes");
 232
 233     return %ret;
 234 }
 235
 236 sub quitcgi {
 237     my $msg = shift;
 238     print "Content-Type: text/html\n\n";
 239     print "<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY>\n";
 240     print "An error occurred. Dammit.\n";
 241     print "Error was: $msg.\n";
 242     print "</BODY></HTML>\n";
 243     exit 0;
 244 }
 245
 246 #sub abort {
 247 #    my $msg = shift;
 248 #    my $Archive = $common_archive ? "archive" : "";
 249 #    print header . start_html("Sorry");
 250 #    print "Sorry bug #$msg doesn't seem to be in the $Archive database.\n";
 251 #    print end_html;
 252 #    exit 0;
 253 #}
 254
 255 # Split a package string from the status file into a list of package names.
 256 sub splitpackages {
 257     my $pkgs = shift;
 258     return unless defined $pkgs;
 259     return map lc, split /[ \t?,()]+/, $pkgs;
 260 }
 261
 262 my %_parsedaddrs;
 263 sub getparsedaddrs {
 264     my $addr = shift;
 265     return () unless defined $addr;
 266     return @{$_parsedaddrs{$addr}} if exists $_parsedaddrs{$addr};
 267     @{$_parsedaddrs{$addr}} = Mail::Address->parse($addr);
 268     return @{$_parsedaddrs{$addr}};
 269 }
 270
 271 # Generate a comma-separated list of HTML links to each package given in
 272 # $pkgs. $pkgs may be empty, in which case an empty string is returned, or
 273 # it may be a comma-separated list of package names.
 274 sub htmlpackagelinks {
 275     my $pkgs = shift;
 276     return unless defined $pkgs and $pkgs ne '';
 277     my $strong = shift;
 278     my @pkglist = splitpackages($pkgs);
 279
 280     my $openstrong  = $strong ? '<strong>' : '';
 281     my $closestrong = $strong ? '</strong>' : '';
 282
 283     return 'Package' . (@pkglist > 1 ? 's' : '') . ': ' .
 284            join(', ',
 285                 map {
 286                     '<a href="' . pkgurl($_) . '">' .
 287                     $openstrong . htmlsanit($_) . $closestrong . '</a>'
 288                 } @pkglist
 289            );
 290 }
 291
 292 # Generate a comma-separated list of HTML links to each address given in
 293 # $addresses, which should be a comma-separated list of RFC822 addresses.
 294 # $urlfunc should be a reference to a function like mainturl or submitterurl
 295 # which returns the URL for each individual address.
 296 sub htmladdresslinks {
 297     my ($prefixfunc, $urlfunc, $addresses) = @_;
 298     if (defined $addresses and $addresses ne '') {
 299         my @addrs = getparsedaddrs($addresses);
 300         my $prefix = (ref $prefixfunc) ? $prefixfunc->(scalar @addrs)
 301                                        : $prefixfunc;
 302         return $prefix .
 303                join ', ', map { sprintf '<a href="%s">%s</a>',
 304                                         $urlfunc->($_->address),
 305                                         htmlsanit($_->format) || '(unknown)'
 306                               } @addrs;
 307     } else {
 308         my $prefix = (ref $prefixfunc) ? $prefixfunc->(1) : $prefixfunc;
 309         return sprintf '%s<a href="%s">(unknown)</a>', $prefix, $urlfunc->('');
 310     }
 311 }
 312
 313 # Generate a comma-separated list of HTML links to each maintainer given in
 314 # $maints, which should be a comma-separated list of RFC822 addresses.
 315 sub htmlmaintlinks {
 316     my ($prefixfunc, $maints) = @_;
 317     return htmladdresslinks($prefixfunc, \&mainturl, $maints);
 318 }
 319
 320 sub htmlindexentry {
 321     my $ref = shift;
 322     my %status = %{getbugstatus($ref)};
 323     return htmlindexentrystatus(%status) if (%status);
 324     return "";
 325 }
 326
 327 sub htmlindexentrystatus {
 328     my $s = shift;
 329     my %status = %{$s};
 330
 331     my $result = "";
 332
 333     if  ($status{severity} eq 'normal') {
 334         $showseverity = '';
 335     } elsif (isstrongseverity($status{severity})) {
 336         $showseverity = "<strong>Severity: $status{severity}</strong>;\n";
 337     } else {
 338         $showseverity = "Severity: <em>$status{severity}</em>;\n";
 339     }
 340
 341     $result .= htmlpackagelinks($status{"package"}, 1);
 342
 343     my $showversions = '';
 344     if (@{$status{found_versions}}) {
 345         my @found = @{$status{found_versions}};
 346         local $_;
 347         s{/}{ } foreach @found;
 348         $showversions .= join ', ', map htmlsanit($_), @found;
 349     }
 350     if (@{$status{fixed_versions}}) {
 351         $showversions .= '; ' if length $showversions;
 352         $showversions .= '<strong>fixed</strong>: ';
 353         my @fixed = @{$status{fixed_versions}};
 354         local $_;
 355         s{/}{ } foreach @fixed;
 356         $showversions .= join ', ', map htmlsanit($_), @fixed;
 357     }
 358     $result .= " ($showversions)" if length $showversions;
 359     $result .= ";\n";
 360
 361     $result .= $showseverity;
 362     $result .= htmladdresslinks("Reported by: ", \&submitterurl,
 363                                 $status{originator});
 364     $result .= ";\nOwned by: " . htmlsanit($status{owner})
 365                if length $status{owner};
 366     $result .= ";\nTags: <strong>"
 367                  . htmlsanit(join(", ", sort(split(/\s+/, $status{tags}))))
 368                  . "</strong>"
 369                        if (length($status{tags}));
 370
 371     my @merged= split(/ /,$status{mergedwith});
 372     my $mseparator= ";\nmerged with ";
 373     for my $m (@merged) {
 374         $result .= $mseparator."<A href=\"" . bugurl($m) . "\">#$m</A>";
 375         $mseparator= ", ";
 376     }
 377
 378     if (length($status{done})) {
 379         $result .= ";\n<strong>Done:</strong> " . htmlsanit($status{done});
 380         $days = ceil($debbugs::gRemoveAge - -M buglog($status{id}));
 381         if ($days >= 0) {
 382             $result .= ";\n<strong>Will be archived:</strong>" . ( $days == 0 ? " today" : $days == 1 ? " in $days day" : " in $days days" );
 383         } else {
 384             $result .= ";\n<strong>Archived</strong>";
 385         }
 386     }
 387
 388     unless (length($status{done})) {
 389         if (length($status{forwarded})) {
 390             $result .= ";\n<strong>Forwarded</strong> to "
 391                        . maybelink($status{forwarded});
 392         }
 393         my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 394         if ($daysold >= 7) {
 395             my $font = "";
 396             my $efont = "";
 397             $font = "em" if ($daysold > 30);
 398             $font = "strong" if ($daysold > 60);
 399             $efont = "</$font>" if ($font);
 400             $font = "<$font>" if ($font);
 401
 402             my $yearsold = int($daysold / 365);
 403             $daysold -= $yearsold * 365;
 404
 405             $result .= ";\n $font";
 406             my @age;
 407             push @age, "1 year" if ($yearsold == 1);
 408             push @age, "$yearsold years" if ($yearsold > 1);
 409             push @age, "1 day" if ($daysold == 1);
 410             push @age, "$daysold days" if ($daysold > 1);
 411             $result .= join(" and ", @age);
 412             $result .= " old$efont";
 413         }
 414     }
 415
 416     $result .= ".";
 417
 418     return $result;
 419 }
 420
 421 sub urlargs {
 422     my $args = '';
 423     $args .= ";archive=yes" if $common_archive;
 424     $args .= ";repeatmerged=no" unless $common_repeatmerged;
 425     $args .= ";mindays=${common_mindays}" unless $common_mindays == 0;
 426     $args .= ";maxdays=${common_maxdays}" unless $common_maxdays == -1;
 427     $args .= ";version=$common_version" if defined $common_version;
 428     $args .= ";dist=$common_dist" if defined $common_dist;
 429     $args .= ";arch=$common_arch" if defined $common_arch;
 430     return $args;
 431 }
 432
 433 sub submitterurl { pkg_etc_url(emailfromrfc822($_[0] || ""), "submitter"); }
 434 sub mainturl { pkg_etc_url(emailfromrfc822($_[0] || ""), "maint"); }
 435 sub pkgurl { pkg_etc_url($_[0] || "", "pkg"); }
 436 sub srcurl { pkg_etc_url($_[0] || "", "src"); }
 437 sub tagurl { pkg_etc_url($_[0] || "", "tag"); }
 438
 439 sub pkg_etc_url {
 440     my $ref = shift;
 441     my $code = shift;
 442     if ($common_leet_urls) {
 443         $code = "package" if ($code eq "pkg");
 444         $code = "source" if ($code eq "src");
 445         return urlsanit("/x/$code/$ref");
 446     } else {
 447         my $addurlargs = shift || 1;
 448         my $params = "$code=$ref";
 449         $params .= urlargs() if $addurlargs;
 450         return urlsanit("pkgreport.cgi" . "?" . $params);
 451     }
 452 }
 453
 454 sub urlsanit {
 455     my $url = shift;
 456     $url =~ s/%/%25/g;
 457     $url =~ s/#/%23/g;
 458     $url =~ s/\+/%2b/g;
 459     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 460     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
 461     return $url;
 462 }
 463
 464 sub htmlsanit {
 465     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 466     my $in = shift || "";
 467     $in =~ s/([<>&"])/\&$saniarray{$1};/g;
 468     return $in;
 469 }
 470
 471 sub maybelink {
 472     my $in = shift;
 473     if ($in =~ /^[a-zA-Z0-9+.-]+:/) { # RFC 1738 scheme
 474         return qq{<a href="$in">} . htmlsanit($in) . '</a>';
 475     } else {
 476         return htmlsanit($in);
 477     }
 478 }
 479
 480 sub bugurl {
 481     my $ref = shift;
 482     my $params = "bug=$ref";
 483     my $filename = '';
 484
 485     if ($common_leet_urls) {
 486         my $msg = "";
 487         my $mbox = "";
 488         my $att = "";
 489         foreach my $val (@_) {
 490             $mbox = "/mbox" if ($val eq "mbox");
 491             $msg = "/$1" if ($val =~ /^msg=([0-9]+)/);
 492             $att = "/$1" if ($val =~ /^att=([0-9]+)/);
 493             $filename = "/$1" if ($val =~ /^filename=(.*)$/);
 494         }
 495         my $ext = "";
 496         if ($mbox ne "") {
 497             $ext = $mbox;
 498         } elsif ($att ne "") {
 499             $ext = "$att$filename";
 500         }
 501         return urlsanit("/x/$ref$msg$ext");
 502     } else {
 503         foreach my $val (@_) {
 504             $params .= ";mbox=yes" if ($val eq "mbox");
 505             $params .= ";msg=$1" if ($val =~ /^msg=([0-9]+)/);
 506             $params .= ";att=$1" if ($val =~ /^att=([0-9]+)/);
 507             $filename = $1 if ($val =~ /^filename=(.*)$/);
 508             $params .= ";archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
 509         }
 510         $params .= ";archive=yes" if ($common_archive);
 511         $params .= ";repeatmerged=no" unless ($common_repeatmerged);
 512
 513         my $pathinfo = '';
 514         $pathinfo = '/'.uri_escape($filename) if $filename ne '';
 515
 516         return urlsanit("bugreport.cgi" . $pathinfo . "?" . $params);
 517     }
 518 }
 519
 520 sub dlurl { bugurl(@_); }
 521 sub mboxurl { return bugurl($ref, "mbox"); }
 522
 523 sub allbugs {
 524     return @{getbugs(sub { 1 })};
 525 }
 526
 527 sub bugmatches(\%\%) {
 528     my ($hash, $status) = @_;
 529     foreach my $key( keys( %$hash ) ) {
 530         my $value = $hash->{$key};
 531         my $sub = $field_match{$key};
 532         return 1 if ($sub->($key, $value, $status));
 533     }
 534     return 0;
 535 }
 536 sub bugfilter($%) {
 537     my ($bug, %status) = @_;
 538     our (%seenmerged);
 539     if (%common_include) {
 540         return 1 if (!bugmatches(%common_include, %status));
 541     }
 542     if (%common_exclude) {
 543         return 1 if (bugmatches(%common_exclude, %status));
 544     }
 545     my @merged = sort {$a<=>$b} $bug, split(/ /, $status{mergedwith});
 546     my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 547     return 1 unless ($common_mindays <= $daysold);
 548     return 1 unless ($common_maxdays == -1 || $daysold <= $common_maxdays);
 549     return 1 unless ($common_repeatmerged || !$seenmerged{$merged[0]});
 550     $seenmerged{$merged[0]} = 1;
 551     return 0;
 552 }
 553
 554 sub htmlizebugs {
 555     $b = $_[0];
 556     my @bugs = @$b;
 557     my $anydone = 0;
 558
 559     my @status = ();
 560     my %count;
 561     my $header = '';
 562     my $footer = '';
 563
 564     if (@bugs == 0) {
 565         return "<HR><H2>No reports found!</H2></HR>\n";
 566     }
 567
 568     if ( $common_bug_reverse ) {
 569         @bugs = sort {$b<=>$a} @bugs;
 570     } else {
 571         @bugs = sort {$a<=>$b} @bugs;
 572     }
 573     my %seenmerged;
 574     foreach my $bug (@bugs) {
 575         my %status = %{getbugstatus($bug)};
 576         next unless %status;
 577         next if bugfilter($bug, %status);
 578
 579         my $html = sprintf "<li><a href=\"%s\">#%d: %s</a>\n<br>",
 580             bugurl($bug), $bug, htmlsanit($status{subject});
 581         $html .= htmlindexentrystatus(\%status) . "\n";
 582         my $key = join( '_', map( {$status{$_}} @common_grouping ) );
 583         $section{$key} .= $html;
 584         $count{"_$key"}++;
 585         foreach my $grouping ( @common_grouping ) {
 586             $count{"${grouping}_$status{$grouping}"}++;
 587         }
 588         $anydone = 1 if $status{pending} eq 'done';
 589         push @status, [ $bug, \%status, $html ];
 590     }
 591
 592     my $result = "";
 593     if ($common_raw_sort) {
 594         $result .= "<UL>\n" . join("", map( { $_->[ 2 ] } @status ) ) . "</UL>\n";
 595     } else {
 596         my (@order, @headers);
 597         for( my $i = 0; $i < @common_grouping; $i++ ) {
 598             my $grouping_name = $common_grouping[ $i ];
 599             my @items = @{ $common_grouping_order{ $grouping_name } };
 600             @items = reverse( @items ) if ( $common_reverse{ $grouping_name } );
 601             my @neworder = ();
 602             my @newheaders = ();
 603             if ( @order ) {
 604                 foreach my $grouping ( @items ) {
 605                     push @neworder, map( { "${_}_$grouping" } @order );
 606                     push @newheaders, map( { "$_ - $common_headers{$grouping_name}{$grouping}" } @headers );
 607                 }
 608                 @order = @neworder;
 609                 @headers = @newheaders;
 610             } else {
 611                 push @order, @items;
 612                 push @headers, map( { $common_headers{$common_grouping[$i]}{$_} } @items );
 613             }
 614         }
 615         $header .= "<ul>\n";
 616         for ( my $i = 0; $i < @order; $i++ ) {
 617             my $order = $order[ $i ];
 618             next unless defined $section{$order};
 619             my $count = $count{"_$order"};
 620             my $bugs = $count == 1 ? "bug" : "bugs";
 621             $header .= "<li><a href=\"#$order\">$headers[$i]</a> ($count $bugs)</li>\n";
 622         }
 623         $header .= "</ul>\n";
 624         for ( my $i = 0; $i < @order; $i++ ) {
 625             my $order = $order[ $i ];
 626             next unless defined $section{$order};
 627             if ($common{show_list_header}) {
 628                 my $count = $count{"_$order"};
 629                 my $bugs = $count == 1 ? "bug" : "bugs";
 630                 $result .= "<HR><H2><a name=\"$order\"></a>$headers[$i] ($count $bugs)</H2>\n";
 631             } else {
 632                 $result .= "<HR><H2>$headers[$i]</H2>\n";
 633             }
 634             $result .= "<UL>\n";
 635             $result .= $section{$order};
 636             $result .= "</UL>\n";
 637         }
 638         $footer .= "<ul>\n";
 639         foreach my $grouping ( @common_grouping ) {
 640             my $local_result = '';
 641             foreach my $key ( @{$common_grouping_order{ $grouping }} ) {
 642                 my $count = $count{"${grouping}_$key"};
 643                 next if !$count;
 644                 $local_result .= "<li>$count $common_headers{$grouping}{$key}</li>\n";
 645             }
 646             if ( $local_result ) {
 647                 $footer .= "<li>$common_grouping_display{$grouping}<ul>\n$local_result</ul></li>\n";
 648             }
 649         }
 650         $footer .= "</ul>\n";
 651     }
 652
 653     $result = $header . $result if ( $common{show_list_header} );
 654     $result .= $debbugs::gHTMLExpireNote if $debbugs::gRemoveAge and $anydone;
 655     $result .= "<hr>" . $footer if ( $common{show_list_footer} );
 656     return $result;
 657 }
 658
 659 sub countbugs {
 660     my $bugfunc = shift;
 661     if ($common_archive) {
 662         open I, "<$debbugs::gSpoolDir/index.archive"
 663             or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 664     } else {
 665         open I, "<$debbugs::gSpoolDir/index.db"
 666             or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 667     }
 668
 669     my %count = ();
 670     while(<I>)
 671     {
 672         if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 673             my @x = $bugfunc->(pkg => $1, bug => $2, status => $4,
 674                                submitter => $5, severity => $6, tags => $7);
 675             local $_;
 676             $count{$_}++ foreach @x;
 677         }
 678     }
 679     close I;
 680     return %count;
 681 }
 682
 683 sub getbugs {
 684     my $bugfunc = shift;
 685     my $opt = shift;
 686
 687     my @result = ();
 688
 689     my $fastidx;
 690     if (!defined $opt) {
 691         # leave $fastidx undefined;
 692     } elsif (!$common_archive) {
 693         $fastidx = "$debbugs::gSpoolDir/by-$opt.idx";
 694     } else {
 695         $fastidx = "$debbugs::gSpoolDir/by-$opt-arc.idx";
 696     }
 697
 698     if (defined $fastidx && -e $fastidx) {
 699         my %lookup;
 700 print STDERR "optimized\n" if ($debug);
 701         tie %lookup, DB_File => $fastidx, O_RDONLY
 702             or die "$0: can't open $fastidx ($!)\n";
 703         while ($key = shift) {
 704             my $bugs = $lookup{$key};
 705             if (defined $bugs) {
 706                 push @result, (unpack 'N*', $bugs);
 707             } elsif (defined $lookup{"count $key"}) {
 708                 my $which = 0;
 709                 while (1) {
 710                     $bugs = $lookup{"$which $key"};
 711                     last unless defined $bugs;
 712                     push @result, (unpack 'N*', $bugs);
 713                     $which += 100;
 714                 }
 715             }
 716         }
 717         untie %lookup;
 718 print STDERR "done optimized\n" if ($debug);
 719     } else {
 720         if ( $common_archive ) {
 721             open I, "<$debbugs::gSpoolDir/index.archive"
 722                 or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 723         } else {
 724             open I, "<$debbugs::gSpoolDir/index.db"
 725                 or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 726         }
 727         while(<I>) {
 728             if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 729                 if ($bugfunc->(pkg => $1, bug => $2, status => $4,
 730                             submitter => $5, severity => $6, tags => $7))
 731                 {
 732                     push (@result, $2);
 733                 }
 734             }
 735         }
 736         close I;
 737     }
 738     @result = sort {$a <=> $b} @result;
 739     return \@result;
 740 }
 741
 742 sub emailfromrfc822 {
 743     my $email = shift;
 744     $email =~ s/\s*\(.*\)\s*//;
 745     $email = $1 if ($email =~ m/<(.*)>/);
 746     return $email;
 747 }
 748
 749 sub maintencoded {
 750     my $input = shift;
 751     my $encoded = '';
 752
 753     while ($input =~ m/\W/) {
 754         $encoded.=$`.sprintf("-%02x_",unpack("C",$&));
 755         $input= $';
 756     }
 757
 758     $encoded.= $input;
 759     $encoded =~ s/-2e_/\./g;
 760     $encoded =~ s/^([^,]+)-20_-3c_(.*)-40_(.*)-3e_/$1,$2,$3,/;
 761     $encoded =~ s/^(.*)-40_(.*)-20_-28_([^,]+)-29_$/,$1,$2,$3/;
 762     $encoded =~ s/-20_/_/g;
 763     $encoded =~ s/-([^_]+)_-/-$1/g;
 764     return $encoded;
 765 }
 766
 767 my $_maintainer;
 768 sub getmaintainers {
 769     return $_maintainer if $_maintainer;
 770     my %maintainer;
 771
 772     open(MM,"$debbugs::gMaintainerFile") or &quitcgi("open $debbugs::gMaintainerFile: $!");
 773     while(<MM>) {
 774         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 775         ($a,$b)=($1,$2);
 776         $a =~ y/A-Z/a-z/;
 777         $maintainer{$a}= $b;
 778     }
 779     close(MM);
 780     if (defined $debbugs::gMaintainerFileOverride) {
 781         open(MM,"$debbugs::gMaintainerFileOverride") or &quitcgi("open $debbugs::gMaintainerFileOverride: $!");
 782         while(<MM>) {
 783             next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 784             ($a,$b)=($1,$2);
 785             $a =~ y/A-Z/a-z/;
 786             $maintainer{$a}= $b;
 787         }
 788         close(MM);
 789     }
 790     $_maintainer = \%maintainer;
 791     return $_maintainer;
 792 }
 793
 794 my $_pseudodesc;
 795 sub getpseudodesc {
 796     return $_pseudodesc if $_pseudodesc;
 797     my %pseudodesc;
 798
 799     open(PSEUDO, "< $debbugs::gPseudoDescFile") or &quitcgi("open $debbugs::gPseudoDescFile: $!");
 800     while(<PSEUDO>) {
 801         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 802         $pseudodesc{lc $1} = $2;
 803     }
 804     close(PSEUDO);
 805     $_pseudodesc = \%pseudodesc;
 806     return $_pseudodesc;
 807 }
 808
 809 sub getbugstatus {
 810     my $bugnum = shift;
 811
 812     my %status;
 813
 814     if ( $use_bug_idx eq 1 && exists( $bugidx{ $bugnum } ) ) {
 815         %status = %{ $bugidx{ $bugnum } };
 816         $status{ pending } = $status{ status };
 817         $status{ id } = $bugnum;
 818         return \%status;
 819     }
 820
 821     my $location = getbuglocation( $bugnum, 'summary' );
 822     return {} if ( !$location );
 823     %status = %{ readbug( $bugnum, $location ) };
 824     $status{ id } = $bugnum;
 825
 826
 827     if (defined $common_bugusertags{$bugnum}) {
 828         $status{keywords} = "" unless defined $status{keywords};
 829         $status{keywords} .= " " unless $status{keywords} eq "";
 830         $status{keywords} .= join(" ", @{$common_bugusertags{$bugnum}});
 831     }
 832     $status{tags} = $status{keywords};
 833     my %tags = map { $_ => 1 } split ' ', $status{tags};
 834
 835     $status{"package"} =~ s/\s*$//;
 836     $status{"package"} = 'unknown' if ($status{"package"} eq '');
 837     $status{"severity"} = 'normal' if ($status{"severity"} eq '');
 838
 839     $status{"pending"} = 'pending';
 840     $status{"pending"} = 'forwarded'        if (length($status{"forwarded"}));
 841     $status{"pending"} = 'pending-fixed'    if ($tags{pending});
 842     $status{"pending"} = 'fixed'            if ($tags{fixed});
 843
 844     my @versions;
 845     if (defined $common_version) {
 846         @versions = ($common_version);
 847     } elsif (defined $common_dist) {
 848         @versions = getversions($status{package}, $common_dist, $common_arch);
 849     }
 850
 851     # TODO: This should probably be handled further out for efficiency and
 852     # for more ease of distinguishing between pkg= and src= queries.
 853     my @sourceversions = makesourceversions($status{package}, $common_arch,
 854                                             @versions);
 855
 856     if (@sourceversions) {
 857         # Resolve bugginess states (we might be looking at multiple
 858         # architectures, say). Found wins, then fixed, then absent.
 859         my $maxbuggy = 'absent';
 860         for my $version (@sourceversions) {
 861             my $buggy = buggyversion($bugnum, $version, \%status);
 862             if ($buggy eq 'found') {
 863                 $maxbuggy = 'found';
 864                 last;
 865             } elsif ($buggy eq 'fixed' and $maxbuggy ne 'found') {
 866                 $maxbuggy = 'fixed';
 867             }
 868         }
 869         if ($maxbuggy eq 'absent') {
 870             $status{"pending"} = 'absent';
 871         } elsif ($maxbuggy eq 'fixed') {
 872             $status{"pending"} = 'done';
 873         }
 874     }
 875
 876     if (length($status{done}) and
 877             (not @sourceversions or not @{$status{fixed_versions}})) {
 878         $status{"pending"} = 'done';
 879     }
 880
 881     return \%status;
 882 }
 883
 884 sub buglog {
 885     my $bugnum = shift;
 886     my $location = getbuglocation($bugnum, 'log');
 887     return getbugcomponent($bugnum, 'log', $location) if ($location);
 888     $location = getbuglocation($bugnum, 'log.gz');
 889     return getbugcomponent($bugnum, 'log.gz', $location);
 890 }
 891
 892 # Canonicalize versions into source versions, which have an explicitly
 893 # named source package. This is used to cope with source packages whose
 894 # names have changed during their history, and with cases where source
 895 # version numbers differ from binary version numbers.
 896 sub makesourceversions {
 897     my $pkg = shift;
 898     my $arch = shift;
 899     my %sourceversions;
 900
 901     for my $version (@_) {
 902         if ($version =~ m[/]) {
 903             # Already a source version.
 904             $sourceversions{$version} = 1;
 905         } else {
 906             my @srcinfo = binarytosource($pkg, $version, $arch);
 907             unless (@srcinfo) {
 908                 # We don't have explicit information about the
 909                 # binary-to-source mapping for this version (yet). Since
 910                 # this is a CGI script and our output is transient, we can
 911                 # get away with just looking in the unversioned map; if it's
 912                 # wrong (as it will be when binary and source package
 913                 # versions differ), too bad.
 914                 my $pkgsrc = getpkgsrc();
 915                 if (exists $pkgsrc->{$pkg}) {
 916                     @srcinfo = ([$pkgsrc->{$pkg}, $version]);
 917                 } elsif (getsrcpkgs($pkg)) {
 918                     # If we're looking at a source package that doesn't have
 919                     # a binary of the same name, just try the same version.
 920                     @srcinfo = ([$pkg, $version]);
 921                 } else {
 922                     next;
 923                 }
 924             }
 925             $sourceversions{"$_->[0]/$_->[1]"} = 1 foreach @srcinfo;
 926         }
 927     }
 928
 929     return sort keys %sourceversions;
 930 }
 931
 932 my %_versionobj;
 933 sub buggyversion {
 934     my ($bug, $ver, $status) = @_;
 935     return '' unless defined $debbugs::gVersionPackagesDir;
 936     my $src = getpkgsrc()->{$status->{package}};
 937     $src = $status->{package} unless defined $src;
 938
 939     my $tree;
 940     if (exists $_versionobj{$src}) {
 941         $tree = $_versionobj{$src};
 942     } else {
 943         $tree = Debbugs::Versions->new(\&DpkgVer::vercmp);
 944         my $srchash = substr $src, 0, 1;
 945         if (open VERFILE, "< $debbugs::gVersionPackagesDir/$srchash/$src") {
 946             $tree->load(\*VERFILE);
 947             close VERFILE;
 948         }
 949         $_versionobj{$src} = $tree;
 950     }
 951
 952     my @found = makesourceversions($status->{package}, undef,
 953                                    @{$status->{found_versions}});
 954     my @fixed = makesourceversions($status->{package}, undef,
 955                                    @{$status->{fixed_versions}});
 956
 957     return $tree->buggy($ver, \@found, \@fixed);
 958 }
 959
 960 my %_versions;
 961 sub getversions {
 962     my ($pkg, $dist, $arch) = @_;
 963     return () unless defined $debbugs::gVersionIndex;
 964     $dist = 'unstable' unless defined $dist;
 965
 966     unless (tied %_versions) {
 967         tie %_versions, 'MLDBM', $debbugs::gVersionIndex, O_RDONLY
 968             or die "can't open versions index: $!";
 969     }
 970
 971     if (defined $arch and exists $_versions{$pkg}{$dist}{$arch}) {
 972         my $ver = $_versions{$pkg}{$dist}{$arch};
 973         return $ver if defined $ver;
 974         return ();
 975     } else {
 976         my %uniq;
 977         for my $ar (keys %{$_versions{$pkg}{$dist}}) {
 978             $uniq{$_versions{$pkg}{$dist}{$ar}} = 1 unless $ar eq 'source';
 979         }
 980         if (%uniq) {
 981             return keys %uniq;
 982         } elsif (exists $_versions{$pkg}{$dist}{source}) {
 983             # Maybe this is actually a source package with no corresponding
 984             # binaries?
 985             return $_versions{$pkg}{$dist}{source};
 986         } else {
 987             return ();
 988         }
 989     }
 990 }
 991
 992 sub getversiondesc {
 993     my $pkg = shift;
 994
 995     if (defined $common_version) {
 996         return "version $common_version";
 997     } elsif (defined $common_dist) {
 998         my @distvers = getversions($pkg, $common_dist, $common_arch);
 999         @distvers = sort @distvers;
1000         local $" = ', ';
1001         if (@distvers > 1) {
1002             return "versions @distvers";
1003         } elsif (@distvers == 1) {
1004             return "version @distvers";
1005         }
1006     }
1007
1008     return undef;
1009 }
1010
1011 1;