cgi/common.pl

   1 #!/usr/bin/perl -w
   2
   3 use DB_File;
   4 use Fcntl qw/O_RDONLY/;
   5 use Mail::Address;
   6 use MLDBM qw(DB_File Storable);
   7 use POSIX qw/ceil/;
   8
   9 use URI::Escape;
  10
  11 $config_path = '/etc/debbugs';
  12 $lib_path = '/usr/lib/debbugs';
  13 require "$lib_path/errorlib";
  14
  15 use Debbugs::Packages;
  16 use Debbugs::Versions;
  17 use Debbugs::MIME qw(decode_rfc1522);
  18
  19 $MLDBM::RemoveTaint = 1;
  20
  21 my %common_bugusertags;
  22 my $common_mindays = 0;
  23 my $common_maxdays = -1;
  24 my $common_archive = 0;
  25 my $common_repeatmerged = 1;
  26 my %common_include = ();
  27 my %common_exclude = ();
  28 my $common_raw_sort = 0;
  29 my $common_bug_reverse = 0;
  30
  31 my $common_leet_urls = 0;
  32
  33 my %common_reverse = (
  34     'pending' => 0,
  35     'severity' => 0,
  36 );
  37 my %common = (
  38     'show_list_header' => 1,
  39     'show_list_footer' => 1,
  40 );
  41
  42 sub exact_field_match {
  43     my ($field, $values, $status) = @_;
  44     my @values = @$values;
  45     my @ret = grep {$_ eq $status->{$field} } @values;
  46     $#ret != -1;
  47 }
  48 sub contains_field_match {
  49     my ($field, $values, $status) = @_;
  50     foreach my $data (@$values) {
  51         return 1 if (index($status->{$field}, $data) > -1);
  52     }
  53     return 0;
  54 }
  55
  56 sub detect_user_agent {
  57     my $userAgent = $ENV{HTTP_USER_AGENT};
  58     return { 'name' => 'unknown' } unless defined $userAgent;
  59     return { 'name' => 'links' } if ( $userAgent =~ m,^ELinks,);
  60     return { 'name' => 'lynx' } if ( $userAgent =~ m,^Lynx,);
  61     return { 'name' => 'wget' } if ( $userAgent =~ m,^Wget,);
  62     return { 'name' => 'gecko' } if ( $userAgent =~ m,^Mozilla.* Gecko/,);
  63     return { 'name' => 'ie' } if ( $userAgent =~ m,^.*MSIE.*,);
  64     return { 'name' => 'unknown' };
  65 }
  66
  67 my %field_match = (
  68     'subject' => \&contains_field_match,
  69     'tags' => sub {
  70         my ($field, $values, $status) = @_;
  71         my %values = map {$_=>1} @$values;
  72         foreach my $t (split /\s+/, $status->{$field}) {
  73             return 1 if (defined $values{$t});
  74         }
  75         return 0;
  76     },
  77     'severity' => \&exact_field_match,
  78     'pending' => \&exact_field_match,
  79     'originator' => \%contains_field_match,
  80     'forwarded' => \%contains_field_match,
  81     'owner' => \%contains_field_match,
  82 );
  83 my @common_grouping = ( 'severity', 'pending' );
  84 my %common_grouping_order = (
  85     'pending' => [ qw( pending forwarded pending-fixed fixed done absent ) ],
  86     'severity' => \@debbugs::gSeverityList,
  87 );
  88 my %common_grouping_display = (
  89     'pending' => 'Status',
  90     'severity' => 'Severity',
  91 );
  92 my %common_headers = (
  93     'pending' => {
  94         "pending"       => "outstanding",
  95         "pending-fixed" => "pending upload",
  96         "fixed"         => "fixed in NMU",
  97         "done"          => "resolved",
  98         "forwarded"     => "forwarded to upstream software authors",
  99         "absent"        => "not applicable to this version",
 100     },
 101     'severity' => \%debbugs::gSeverityDisplay,
 102 );
 103
 104 my $common_version;
 105 my $common_dist;
 106 my $common_arch;
 107
 108 my $debug = 0;
 109 my $use_bug_idx = 0;
 110 my %bugidx;
 111
 112 sub array_option($) {
 113     my ($val) = @_;
 114     my @vals;
 115     @vals = ( $val ) if (ref($val) eq "" && $val );
 116     @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
 117     @vals = @{$val} if (ref($val) eq "ARRAY" );
 118     return @vals;
 119 }
 120
 121 sub filter_include_exclude($\%) {
 122     my ($val, $filter_map) = @_;
 123     my @vals = array_option($val);
 124     my @data = map {
 125         if (/^([^:]*):(.*)$/) { if ($1 eq 'subj') { ['subject', $2]; } else { [$1, $2] } } else { ['tags', $_] }
 126     } split /[\s,]+/, join ',', @vals;
 127     foreach my $data (@data) {
 128         &quitcgi("Invalid filter key: '$data->[0]'") if (!exists($field_match{$data->[0]}));
 129         push @{$filter_map->{$data->[0]}}, $data->[1];
 130     }
 131 }
 132
 133 sub filter_option($$\%) {
 134     my ($key, $val, $filter_map) = @_;
 135     my @vals = array_option($val);
 136     foreach $val (@vals) {
 137         push @{$filter_map->{$key}}, $val;
 138     }
 139 }
 140
 141 sub set_option {
 142     my ($opt, $val) = @_;
 143     if ($opt eq "use-bug-idx") {
 144         $use_bug_idx = $val;
 145         if ( $val ) {
 146             $common_headers{pending}{open} = $common_headers{pending}{pending};
 147             my $bugidx = tie %bugidx, MLDBM => "$debbugs::gSpoolDir/realtime/bug.idx", O_RDONLY
 148                 or quitcgi( "$0: can't open $debbugs::gSpoolDir/realtime/bug.idx ($!)\n" );
 149             $bugidx->RemoveTaint(1);
 150         } else {
 151             untie %bugidx;
 152         }
 153     }
 154     if ($opt =~ m/^show_list_(foot|head)er$/) { $common{$opt} = $val; }
 155     if ($opt eq "archive") { $common_archive = $val; }
 156     if ($opt eq "repeatmerged") { $common_repeatmerged = $val; }
 157     if ($opt eq "exclude") {
 158         filter_include_exclude($val, %common_exclude);
 159     }
 160     if ($opt eq "include") {
 161         filter_include_exclude($val, %common_include);
 162     }
 163     if ($opt eq "raw") { $common_raw_sort = $val; }
 164     if ($opt eq "bug-rev") { $common_bug_reverse = $val; }
 165     if ($opt eq "pend-rev") { $common_reverse{pending} = $val; }
 166     if ($opt eq "sev-rev") { $common_reverse{severity} = $val; }
 167     if ($opt eq "pend-exc") {
 168         filter_option('pending', $val, %common_exclude);
 169     }
 170     if ($opt eq "pend-inc") {
 171         filter_option('pending', $val, %common_include);
 172     }
 173     if ($opt eq "sev-exc") {
 174         filter_option('severity', $val, %common_exclude);
 175     }
 176     if ($opt eq "sev-inc") {
 177         filter_option('severity', $val, %common_include);
 178     }
 179     if ($opt eq "version") { $common_version = $val; }
 180     if ($opt eq "dist") { $common_dist = $val; }
 181     if ($opt eq "arch") { $common_arch = $val; }
 182     if ($opt eq "maxdays") { $common_maxdays = $val; }
 183     if ($opt eq "mindays") { $common_mindays = $val; }
 184     if ($opt eq "bugusertags") { %common_bugusertags = %{$val}; }
 185 }
 186
 187 sub readparse {
 188     my ($key, $val, %ret);
 189     my $in = "";
 190     if ($#ARGV >= 0) {
 191         $in .= ";" . join("&", map { s/&/%26/g; s/;/%3b/g; $_ } @ARGV);
 192     }
 193     if (defined $ENV{"QUERY_STRING"} && $ENV{"QUERY_STRING"} ne "") {
 194         $in .= ";" . $ENV{QUERY_STRING};
 195     }
 196     if (defined $ENV{"REQUEST_METHOD"} && $ENV{"REQUEST_METHOD"} eq "POST"
 197           && defined $ENV{"CONTENT_TYPE"}
 198           && $ENV{"CONTENT_TYPE"} eq "application/x-www-form-urlencoded")
 199     {
 200         my $inx;
 201         read(STDIN,$inx,$ENV{CONTENT_LENGTH});
 202         $in .= ";" . $inx;
 203     }
 204     return unless ($in ne "");
 205
 206     if (defined $ENV{"HTTP_COOKIE"}) {
 207         my $x = $ENV{"HTTP_COOKIE"};
 208         $x =~ s/;\s+/;/g;
 209         $in = "$x;$in";
 210     }
 211     $in =~ s/&/;/g;
 212     $in =~ s/;;+/;/g; $in =~ s/^;//; $in =~ s/;$//;
 213     foreach (split(/[&;]/,$in)) {
 214         s/\+/ /g;
 215         ($key, $val) = split(/=/,$_,2);
 216         $key=~s/%(..)/pack("c",hex($1))/ge;
 217         $val=~s/%(..)/pack("c",hex($1))/ge;
 218         if ( exists $ret{$key} ) {
 219             if ( !exists $ret{"&$key"} ) {
 220                 $ret{"&$key"} = [ $ret{$key} ];
 221             }
 222             push @{$ret{"&$key"}},$val;
 223         }
 224         $ret{$key}=$val;
 225     }
 226
 227 $debug = 1 if (defined $ret{"debug"} && $ret{"debug"} eq "aj");
 228
 229     $common_leet_urls = 1
 230        if (defined $ret{"leeturls"} && $ret{"leeturls"} eq "yes");
 231
 232     return %ret;
 233 }
 234
 235 sub quitcgi {
 236     my $msg = shift;
 237     print "Content-Type: text/html\n\n";
 238     print "<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY>\n";
 239     print "An error occurred. Dammit.\n";
 240     print "Error was: $msg.\n";
 241     print "</BODY></HTML>\n";
 242     exit 0;
 243 }
 244
 245 #sub abort {
 246 #    my $msg = shift;
 247 #    my $Archive = $common_archive ? "archive" : "";
 248 #    print header . start_html("Sorry");
 249 #    print "Sorry bug #$msg doesn't seem to be in the $Archive database.\n";
 250 #    print end_html;
 251 #    exit 0;
 252 #}
 253
 254 # Split a package string from the status file into a list of package names.
 255 sub splitpackages {
 256     my $pkgs = shift;
 257     return unless defined $pkgs;
 258     return map lc, split /[ \t?,()]+/, $pkgs;
 259 }
 260
 261 my %_parsedaddrs;
 262 sub getparsedaddrs {
 263     my $addr = shift;
 264     return () unless defined $addr;
 265     return @{$_parsedaddrs{$addr}} if exists $_parsedaddrs{$addr};
 266     @{$_parsedaddrs{$addr}} = Mail::Address->parse($addr);
 267     return @{$_parsedaddrs{$addr}};
 268 }
 269
 270 # Generate a comma-separated list of HTML links to each package given in
 271 # $pkgs. $pkgs may be empty, in which case an empty string is returned, or
 272 # it may be a comma-separated list of package names.
 273 sub htmlpackagelinks {
 274     my $pkgs = shift;
 275     return unless defined $pkgs and $pkgs ne '';
 276     my $strong = shift;
 277     my @pkglist = splitpackages($pkgs);
 278
 279     my $openstrong  = $strong ? '<strong>' : '';
 280     my $closestrong = $strong ? '</strong>' : '';
 281
 282     return 'Package' . (@pkglist > 1 ? 's' : '') . ': ' .
 283            join(', ',
 284                 map {
 285                     '<a href="' . pkgurl($_) . '">' .
 286                     $openstrong . htmlsanit($_) . $closestrong . '</a>'
 287                 } @pkglist
 288            );
 289 }
 290
 291 # Generate a comma-separated list of HTML links to each address given in
 292 # $addresses, which should be a comma-separated list of RFC822 addresses.
 293 # $urlfunc should be a reference to a function like mainturl or submitterurl
 294 # which returns the URL for each individual address.
 295 sub htmladdresslinks {
 296     my ($prefixfunc, $urlfunc, $addresses) = @_;
 297     if (defined $addresses and $addresses ne '') {
 298         my @addrs = getparsedaddrs($addresses);
 299         my $prefix = (ref $prefixfunc) ? $prefixfunc->(scalar @addrs)
 300                                        : $prefixfunc;
 301         return $prefix .
 302                join ', ', map { sprintf '<a href="%s">%s</a>',
 303                                         $urlfunc->($_->address),
 304                                         htmlsanit($_->format) || '(unknown)'
 305                               } @addrs;
 306     } else {
 307         my $prefix = (ref $prefixfunc) ? $prefixfunc->(1) : $prefixfunc;
 308         return sprintf '%s<a href="%s">(unknown)</a>', $prefix, $urlfunc->('');
 309     }
 310 }
 311
 312 # Generate a comma-separated list of HTML links to each maintainer given in
 313 # $maints, which should be a comma-separated list of RFC822 addresses.
 314 sub htmlmaintlinks {
 315     my ($prefixfunc, $maints) = @_;
 316     return htmladdresslinks($prefixfunc, \&mainturl, $maints);
 317 }
 318
 319 sub htmlindexentry {
 320     my $ref = shift;
 321     my %status = %{getbugstatus($ref)};
 322     return htmlindexentrystatus(%status) if (%status);
 323     return "";
 324 }
 325
 326 sub htmlindexentrystatus {
 327     my $s = shift;
 328     my %status = %{$s};
 329
 330     my $result = "";
 331
 332     if  ($status{severity} eq 'normal') {
 333         $showseverity = '';
 334     } elsif (isstrongseverity($status{severity})) {
 335         $showseverity = "<strong>Severity: $status{severity}</strong>;\n";
 336     } else {
 337         $showseverity = "Severity: <em>$status{severity}</em>;\n";
 338     }
 339
 340     $result .= htmlpackagelinks($status{"package"}, 1);
 341
 342     my $showversions = '';
 343     if (@{$status{found_versions}}) {
 344         my @found = @{$status{found_versions}};
 345         local $_;
 346         s{/}{ } foreach @found;
 347         $showversions .= join ', ', map htmlsanit($_), @found;
 348     }
 349     if (@{$status{fixed_versions}}) {
 350         $showversions .= '; ' if length $showversions;
 351         $showversions .= '<strong>fixed</strong>: ';
 352         my @fixed = @{$status{fixed_versions}};
 353         local $_;
 354         s{/}{ } foreach @fixed;
 355         $showversions .= join ', ', map htmlsanit($_), @fixed;
 356     }
 357     $result .= " ($showversions)" if length $showversions;
 358     $result .= ";\n";
 359
 360     $result .= $showseverity;
 361     $result .= htmladdresslinks("Reported by: ", \&submitterurl,
 362                                 $status{originator});
 363     $result .= ";\nOwned by: " . htmlsanit($status{owner})
 364                if length $status{owner};
 365     $result .= ";\nTags: <strong>"
 366                  . htmlsanit(join(", ", sort(split(/\s+/, $status{tags}))))
 367                  . "</strong>"
 368                        if (length($status{tags}));
 369
 370     my @merged= split(/ /,$status{mergedwith});
 371     my $mseparator= ";\nmerged with ";
 372     for my $m (@merged) {
 373         $result .= $mseparator."<A href=\"" . bugurl($m) . "\">#$m</A>";
 374         $mseparator= ", ";
 375     }
 376
 377     if (length($status{done})) {
 378         $result .= ";\n<strong>Done:</strong> " . htmlsanit($status{done});
 379         $days = ceil($debbugs::gRemoveAge - -M buglog($status{id}));
 380         if ($days >= 0) {
 381             $result .= ";\n<strong>Will be archived:</strong>" . ( $days == 0 ? " today" : $days == 1 ? " in $days day" : " in $days days" );
 382         } else {
 383             $result .= ";\n<strong>Archived</strong>";
 384         }
 385     }
 386
 387     unless (length($status{done})) {
 388         if (length($status{forwarded})) {
 389             $result .= ";\n<strong>Forwarded</strong> to "
 390                        . maybelink($status{forwarded});
 391         }
 392         my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 393         if ($daysold >= 7) {
 394             my $font = "";
 395             my $efont = "";
 396             $font = "em" if ($daysold > 30);
 397             $font = "strong" if ($daysold > 60);
 398             $efont = "</$font>" if ($font);
 399             $font = "<$font>" if ($font);
 400
 401             my $yearsold = int($daysold / 365);
 402             $daysold -= $yearsold * 365;
 403
 404             $result .= ";\n $font";
 405             my @age;
 406             push @age, "1 year" if ($yearsold == 1);
 407             push @age, "$yearsold years" if ($yearsold > 1);
 408             push @age, "1 day" if ($daysold == 1);
 409             push @age, "$daysold days" if ($daysold > 1);
 410             $result .= join(" and ", @age);
 411             $result .= " old$efont";
 412         }
 413     }
 414
 415     $result .= ".";
 416
 417     return $result;
 418 }
 419
 420 sub urlargs {
 421     my $args = '';
 422     $args .= ";archive=yes" if $common_archive;
 423     $args .= ";repeatmerged=no" unless $common_repeatmerged;
 424     $args .= ";mindays=${common_mindays}" unless $common_mindays == 0;
 425     $args .= ";maxdays=${common_maxdays}" unless $common_maxdays == -1;
 426     $args .= ";version=$common_version" if defined $common_version;
 427     $args .= ";dist=$common_dist" if defined $common_dist;
 428     $args .= ";arch=$common_arch" if defined $common_arch;
 429     return $args;
 430 }
 431
 432 sub submitterurl { pkg_etc_url(emailfromrfc822($_[0] || ""), "submitter"); }
 433 sub mainturl { pkg_etc_url(emailfromrfc822($_[0] || ""), "maint"); }
 434 sub pkgurl { pkg_etc_url($_[0] || "", "pkg"); }
 435 sub srcurl { pkg_etc_url($_[0] || "", "src"); }
 436 sub tagurl { pkg_etc_url($_[0] || "", "tag"); }
 437
 438 sub pkg_etc_url {
 439     my $ref = shift;
 440     my $code = shift;
 441     if ($common_leet_urls) {
 442         $code = "package" if ($code eq "pkg");
 443         $code = "source" if ($code eq "src");
 444         return urlsanit("/x/$code/$ref");
 445     } else {
 446         my $addurlargs = shift || 1;
 447         my $params = "$code=$ref";
 448         $params .= urlargs() if $addurlargs;
 449         return urlsanit("pkgreport.cgi" . "?" . $params);
 450     }
 451 }
 452
 453 sub urlsanit {
 454     my $url = shift;
 455     $url =~ s/%/%25/g;
 456     $url =~ s/#/%23/g;
 457     $url =~ s/\+/%2b/g;
 458     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 459     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
 460     return $url;
 461 }
 462
 463 sub htmlsanit {
 464     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 465     my $in = shift || "";
 466     $in =~ s/([<>&"])/\&$saniarray{$1};/g;
 467     return $in;
 468 }
 469
 470 sub maybelink {
 471     my $in = shift;
 472     if ($in =~ /^[a-zA-Z0-9+.-]+:/) { # RFC 1738 scheme
 473         return qq{<a href="$in">} . htmlsanit($in) . '</a>';
 474     } else {
 475         return htmlsanit($in);
 476     }
 477 }
 478
 479 sub bugurl {
 480     my $ref = shift;
 481     my $params = "bug=$ref";
 482     my $filename = '';
 483
 484     if ($common_leet_urls) {
 485         my $msg = "";
 486         my $mbox = "";
 487         my $att = "";
 488         foreach my $val (@_) {
 489             $mbox = "/mbox" if ($val eq "mbox");
 490             $msg = "/$1" if ($val =~ /^msg=([0-9]+)/);
 491             $att = "/$1" if ($val =~ /^att=([0-9]+)/);
 492             $filename = "/$1" if ($val =~ /^filename=(.*)$/);
 493         }
 494         my $ext = "";
 495         if ($mbox ne "") {
 496             $ext = $mbox;
 497         } elsif ($att ne "") {
 498             $ext = "$att$filename";
 499         }
 500         return urlsanit("/x/$ref$msg$ext");
 501     } else {
 502         foreach my $val (@_) {
 503             $params .= ";mbox=yes" if ($val eq "mbox");
 504             $params .= ";msg=$1" if ($val =~ /^msg=([0-9]+)/);
 505             $params .= ";att=$1" if ($val =~ /^att=([0-9]+)/);
 506             $filename = $1 if ($val =~ /^filename=(.*)$/);
 507             $params .= ";archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
 508         }
 509         $params .= ";archive=yes" if ($common_archive);
 510         $params .= ";repeatmerged=no" unless ($common_repeatmerged);
 511
 512         my $pathinfo = '';
 513         $pathinfo = '/'.uri_escape($filename) if $filename ne '';
 514
 515         return urlsanit("bugreport.cgi" . $pathinfo . "?" . $params);
 516     }
 517 }
 518
 519 sub dlurl { bugurl(@_); }
 520 sub mboxurl { return bugurl($ref, "mbox"); }
 521
 522 sub allbugs {
 523     return @{getbugs(sub { 1 })};
 524 }
 525
 526 sub bugmatches(\%\%) {
 527     my ($hash, $status) = @_;
 528     foreach my $key( keys( %$hash ) ) {
 529         my $value = $hash->{$key};
 530         my $sub = $field_match{$key};
 531         return 1 if ($sub->($key, $value, $status));
 532     }
 533     return 0;
 534 }
 535 sub bugfilter($%) {
 536     my ($bug, %status) = @_;
 537     our (%seenmerged);
 538     if (%common_include) {
 539         return 1 if (!bugmatches(%common_include, %status));
 540     }
 541     if (%common_exclude) {
 542         return 1 if (bugmatches(%common_exclude, %status));
 543     }
 544     my @merged = sort {$a<=>$b} $bug, split(/ /, $status{mergedwith});
 545     my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 546     return 1 unless ($common_mindays <= $daysold);
 547     return 1 unless ($common_maxdays == -1 || $daysold <= $common_maxdays);
 548     return 1 unless ($common_repeatmerged || !$seenmerged{$merged[0]});
 549     $seenmerged{$merged[0]} = 1;
 550     return 0;
 551 }
 552
 553 sub htmlizebugs {
 554     $b = $_[0];
 555     my @bugs = @$b;
 556     my $anydone = 0;
 557
 558     my @status = ();
 559     my %count;
 560     my $header = '';
 561     my $footer = '';
 562
 563     if (@bugs == 0) {
 564         return "<HR><H2>No reports found!</H2></HR>\n";
 565     }
 566
 567     if ( $common_bug_reverse ) {
 568         @bugs = sort {$b<=>$a} @bugs;
 569     } else {
 570         @bugs = sort {$a<=>$b} @bugs;
 571     }
 572     my %seenmerged;
 573     foreach my $bug (@bugs) {
 574         my %status = %{getbugstatus($bug)};
 575         next unless %status;
 576         next if bugfilter($bug, %status);
 577
 578         my $html = sprintf "<li><a href=\"%s\">#%d: %s</a>\n<br>",
 579             bugurl($bug), $bug, htmlsanit($status{subject});
 580         $html .= htmlindexentrystatus(\%status) . "\n";
 581         my $key = join( '_', map( {$status{$_}} @common_grouping ) );
 582         $section{$key} .= $html;
 583         $count{"_$key"}++;
 584         foreach my $grouping ( @common_grouping ) {
 585             $count{"${grouping}_$status{$grouping}"}++;
 586         }
 587         $anydone = 1 if $status{pending} eq 'done';
 588         push @status, [ $bug, \%status, $html ];
 589     }
 590
 591     my $result = "";
 592     if ($common_raw_sort) {
 593         $result .= "<UL>\n" . join("", map( { $_->[ 2 ] } @status ) ) . "</UL>\n";
 594     } else {
 595         my (@order, @headers);
 596         for( my $i = 0; $i < @common_grouping; $i++ ) {
 597             my $grouping_name = $common_grouping[ $i ];
 598             my @items = @{ $common_grouping_order{ $grouping_name } };
 599             @items = reverse( @items ) if ( $common_reverse{ $grouping_name } );
 600             my @neworder = ();
 601             my @newheaders = ();
 602             if ( @order ) {
 603                 foreach my $grouping ( @items ) {
 604                     push @neworder, map( { "${_}_$grouping" } @order );
 605                     push @newheaders, map( { "$_ - $common_headers{$grouping_name}{$grouping}" } @headers );
 606                 }
 607                 @order = @neworder;
 608                 @headers = @newheaders;
 609             } else {
 610                 push @order, @items;
 611                 push @headers, map( { $common_headers{$common_grouping[$i]}{$_} } @items );
 612             }
 613         }
 614         $header .= "<ul>\n";
 615         for ( my $i = 0; $i < @order; $i++ ) {
 616             my $order = $order[ $i ];
 617             next unless defined $section{$order};
 618             my $count = $count{"_$order"};
 619             my $bugs = $count == 1 ? "bug" : "bugs";
 620             $header .= "<li><a href=\"#$order\">$headers[$i]</a> ($count $bugs)</li>\n";
 621         }
 622         $header .= "</ul>\n";
 623         for ( my $i = 0; $i < @order; $i++ ) {
 624             my $order = $order[ $i ];
 625             next unless defined $section{$order};
 626             if ($common{show_list_header}) {
 627                 my $count = $count{"_$order"};
 628                 my $bugs = $count == 1 ? "bug" : "bugs";
 629                 $result .= "<HR><H2><a name=\"$order\"></a>$headers[$i] ($count $bugs)</H2>\n";
 630             } else {
 631                 $result .= "<HR><H2>$headers[$i]</H2>\n";
 632             }
 633             $result .= "<UL>\n";
 634             $result .= $section{$order};
 635             $result .= "</UL>\n";
 636         }
 637         $footer .= "<ul>\n";
 638         foreach my $grouping ( @common_grouping ) {
 639             my $local_result = '';
 640             foreach my $key ( @{$common_grouping_order{ $grouping }} ) {
 641                 my $count = $count{"${grouping}_$key"};
 642                 next if !$count;
 643                 $local_result .= "<li>$count $common_headers{$grouping}{$key}</li>\n";
 644             }
 645             if ( $local_result ) {
 646                 $footer .= "<li>$common_grouping_display{$grouping}<ul>\n$local_result</ul></li>\n";
 647             }
 648         }
 649         $footer .= "</ul>\n";
 650     }
 651
 652     $result = $header . $result if ( $common{show_list_header} );
 653     $result .= $debbugs::gHTMLExpireNote if $debbugs::gRemoveAge and $anydone;
 654     $result .= "<hr>" . $footer if ( $common{show_list_footer} );
 655     return $result;
 656 }
 657
 658 sub countbugs {
 659     my $bugfunc = shift;
 660     if ($common_archive) {
 661         open I, "<$debbugs::gSpoolDir/index.archive"
 662             or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 663     } else {
 664         open I, "<$debbugs::gSpoolDir/index.db"
 665             or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 666     }
 667
 668     my %count = ();
 669     while(<I>)
 670     {
 671         if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 672             my @x = $bugfunc->(pkg => $1, bug => $2, status => $4,
 673                                submitter => $5, severity => $6, tags => $7);
 674             local $_;
 675             $count{$_}++ foreach @x;
 676         }
 677     }
 678     close I;
 679     return %count;
 680 }
 681
 682 sub getbugs {
 683     my $bugfunc = shift;
 684     my $opt = shift;
 685
 686     my @result = ();
 687
 688     my $fastidx;
 689     if (!defined $opt) {
 690         # leave $fastidx undefined;
 691     } elsif (!$common_archive) {
 692         $fastidx = "$debbugs::gSpoolDir/by-$opt.idx";
 693     } else {
 694         $fastidx = "$debbugs::gSpoolDir/by-$opt-arc.idx";
 695     }
 696
 697     if (defined $fastidx && -e $fastidx) {
 698         my %lookup;
 699 print STDERR "optimized\n" if ($debug);
 700         tie %lookup, MLDBM => $fastidx, O_RDONLY
 701             or die "$0: can't open $fastidx ($!)\n";
 702         while ($key = shift) {
 703             my $bugs = $lookup{$key};
 704             if (defined $bugs) {
 705                  push @result, keys %{$bugs};
 706             }
 707         }
 708         untie %lookup;
 709 print STDERR "done optimized\n" if ($debug);
 710     } else {
 711         if ( $common_archive ) {
 712             open I, "<$debbugs::gSpoolDir/index.archive"
 713                 or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 714         } else {
 715             open I, "<$debbugs::gSpoolDir/index.db"
 716                 or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 717         }
 718         while(<I>) {
 719             if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 720                 if ($bugfunc->(pkg => $1, bug => $2, status => $4,
 721                             submitter => $5, severity => $6, tags => $7))
 722                 {
 723                     push (@result, $2);
 724                 }
 725             }
 726         }
 727         close I;
 728     }
 729     @result = sort {$a <=> $b} @result;
 730     return \@result;
 731 }
 732
 733 sub emailfromrfc822 {
 734     my $email = shift;
 735     $email =~ s/\s*\(.*\)\s*//;
 736     $email = $1 if ($email =~ m/<(.*)>/);
 737     return $email;
 738 }
 739
 740 sub maintencoded {
 741     my $input = shift;
 742     my $encoded = '';
 743
 744     while ($input =~ m/\W/) {
 745         $encoded.=$`.sprintf("-%02x_",unpack("C",$&));
 746         $input= $';
 747     }
 748
 749     $encoded.= $input;
 750     $encoded =~ s/-2e_/\./g;
 751     $encoded =~ s/^([^,]+)-20_-3c_(.*)-40_(.*)-3e_/$1,$2,$3,/;
 752     $encoded =~ s/^(.*)-40_(.*)-20_-28_([^,]+)-29_$/,$1,$2,$3/;
 753     $encoded =~ s/-20_/_/g;
 754     $encoded =~ s/-([^_]+)_-/-$1/g;
 755     return $encoded;
 756 }
 757
 758 my $_maintainer;
 759 sub getmaintainers {
 760     return $_maintainer if $_maintainer;
 761     my %maintainer;
 762
 763     open(MM,"$debbugs::gMaintainerFile") or &quitcgi("open $debbugs::gMaintainerFile: $!");
 764     while(<MM>) {
 765         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 766         ($a,$b)=($1,$2);
 767         $a =~ y/A-Z/a-z/;
 768         $maintainer{$a}= $b;
 769     }
 770     close(MM);
 771     if (defined $debbugs::gMaintainerFileOverride) {
 772         open(MM,"$debbugs::gMaintainerFileOverride") or &quitcgi("open $debbugs::gMaintainerFileOverride: $!");
 773         while(<MM>) {
 774             next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 775             ($a,$b)=($1,$2);
 776             $a =~ y/A-Z/a-z/;
 777             $maintainer{$a}= $b;
 778         }
 779         close(MM);
 780     }
 781     $_maintainer = \%maintainer;
 782     return $_maintainer;
 783 }
 784
 785 my $_pseudodesc;
 786 sub getpseudodesc {
 787     return $_pseudodesc if $_pseudodesc;
 788     my %pseudodesc;
 789
 790     open(PSEUDO, "< $debbugs::gPseudoDescFile") or &quitcgi("open $debbugs::gPseudoDescFile: $!");
 791     while(<PSEUDO>) {
 792         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 793         $pseudodesc{lc $1} = $2;
 794     }
 795     close(PSEUDO);
 796     $_pseudodesc = \%pseudodesc;
 797     return $_pseudodesc;
 798 }
 799
 800 sub getbugstatus {
 801     my $bugnum = shift;
 802
 803     my %status;
 804
 805     if ( $use_bug_idx eq 1 && exists( $bugidx{ $bugnum } ) ) {
 806         %status = %{ $bugidx{ $bugnum } };
 807         $status{ pending } = $status{ status };
 808         $status{ id } = $bugnum;
 809         return \%status;
 810     }
 811
 812     my $location = getbuglocation( $bugnum, 'summary' );
 813     return {} if ( !$location );
 814     %status = %{ readbug( $bugnum, $location ) };
 815     $status{ id } = $bugnum;
 816
 817
 818     if (defined $common_bugusertags{$bugnum}) {
 819         $status{keywords} = "" unless defined $status{keywords};
 820         $status{keywords} .= " " unless $status{keywords} eq "";
 821         $status{keywords} .= join(" ", @{$common_bugusertags{$bugnum}});
 822     }
 823     $status{tags} = $status{keywords};
 824     my %tags = map { $_ => 1 } split ' ', $status{tags};
 825
 826     $status{"package"} =~ s/\s*$//;
 827     $status{"package"} = 'unknown' if ($status{"package"} eq '');
 828     $status{"severity"} = 'normal' if ($status{"severity"} eq '');
 829
 830     $status{"pending"} = 'pending';
 831     $status{"pending"} = 'forwarded'        if (length($status{"forwarded"}));
 832     $status{"pending"} = 'pending-fixed'    if ($tags{pending});
 833     $status{"pending"} = 'fixed'            if ($tags{fixed});
 834
 835     my @versions;
 836     if (defined $common_version) {
 837         @versions = ($common_version);
 838     } elsif (defined $common_dist) {
 839         @versions = getversions($status{package}, $common_dist, $common_arch);
 840     }
 841
 842     # TODO: This should probably be handled further out for efficiency and
 843     # for more ease of distinguishing between pkg= and src= queries.
 844     my @sourceversions = makesourceversions($status{package}, $common_arch,
 845                                             @versions);
 846
 847     if (@sourceversions) {
 848         # Resolve bugginess states (we might be looking at multiple
 849         # architectures, say). Found wins, then fixed, then absent.
 850         my $maxbuggy = 'absent';
 851         for my $version (@sourceversions) {
 852             my $buggy = buggyversion($bugnum, $version, \%status);
 853             if ($buggy eq 'found') {
 854                 $maxbuggy = 'found';
 855                 last;
 856             } elsif ($buggy eq 'fixed' and $maxbuggy ne 'found') {
 857                 $maxbuggy = 'fixed';
 858             }
 859         }
 860         if ($maxbuggy eq 'absent') {
 861             $status{"pending"} = 'absent';
 862         } elsif ($maxbuggy eq 'fixed') {
 863             $status{"pending"} = 'done';
 864         }
 865     }
 866
 867     if (length($status{done}) and
 868             (not @sourceversions or not @{$status{fixed_versions}})) {
 869         $status{"pending"} = 'done';
 870     }
 871
 872     return \%status;
 873 }
 874
 875 sub buglog {
 876     my $bugnum = shift;
 877     my $location = getbuglocation($bugnum, 'log');
 878     return getbugcomponent($bugnum, 'log', $location) if ($location);
 879     $location = getbuglocation($bugnum, 'log.gz');
 880     return getbugcomponent($bugnum, 'log.gz', $location);
 881 }
 882
 883 # Canonicalize versions into source versions, which have an explicitly
 884 # named source package. This is used to cope with source packages whose
 885 # names have changed during their history, and with cases where source
 886 # version numbers differ from binary version numbers.
 887 my %_sourceversioncache = ();
 888 sub makesourceversions {
 889     my $pkg = shift;
 890     my $arch = shift;
 891     my %sourceversions;
 892
 893     for my $version (@_) {
 894         if ($version =~ m[/]) {
 895             # Already a source version.
 896             $sourceversions{$version} = 1;
 897         } else {
 898             my $cachearch = (defined $arch) ? $arch : '';
 899             my $cachekey = "$pkg/$cachearch/$version";
 900             if (exists($_sourceversioncache{$cachekey})) {
 901                 for my $v (@{$_sourceversioncache{$cachekey}}) {
 902                     $sourceversions{$v} = 1;
 903                 }
 904                 next;
 905             }
 906
 907             my @srcinfo = binarytosource($pkg, $version, $arch);
 908             unless (@srcinfo) {
 909                 # We don't have explicit information about the
 910                 # binary-to-source mapping for this version (yet). Since
 911                 # this is a CGI script and our output is transient, we can
 912                 # get away with just looking in the unversioned map; if it's
 913                 # wrong (as it will be when binary and source package
 914                 # versions differ), too bad.
 915                 my $pkgsrc = getpkgsrc();
 916                 if (exists $pkgsrc->{$pkg}) {
 917                     @srcinfo = ([$pkgsrc->{$pkg}, $version]);
 918                 } elsif (getsrcpkgs($pkg)) {
 919                     # If we're looking at a source package that doesn't have
 920                     # a binary of the same name, just try the same version.
 921                     @srcinfo = ([$pkg, $version]);
 922                 } else {
 923                     next;
 924                 }
 925             }
 926             $sourceversions{"$_->[0]/$_->[1]"} = 1 foreach @srcinfo;
 927             $_sourceversioncache{$cachekey} = [ map { "$_->[0]/$_->[1]" } @srcinfo ];
 928         }
 929     }
 930
 931     return sort keys %sourceversions;
 932 }
 933
 934 my %_versionobj;
 935 sub buggyversion {
 936     my ($bug, $ver, $status) = @_;
 937     return '' unless defined $debbugs::gVersionPackagesDir;
 938     my $src = getpkgsrc()->{$status->{package}};
 939     $src = $status->{package} unless defined $src;
 940
 941     my $tree;
 942     if (exists $_versionobj{$src}) {
 943         $tree = $_versionobj{$src};
 944     } else {
 945         $tree = Debbugs::Versions->new(\&DpkgVer::vercmp);
 946         my $srchash = substr $src, 0, 1;
 947         if (open VERFILE, "< $debbugs::gVersionPackagesDir/$srchash/$src") {
 948             $tree->load(\*VERFILE);
 949             close VERFILE;
 950         }
 951         $_versionobj{$src} = $tree;
 952     }
 953
 954     my @found = makesourceversions($status->{package}, undef,
 955                                    @{$status->{found_versions}});
 956     my @fixed = makesourceversions($status->{package}, undef,
 957                                    @{$status->{fixed_versions}});
 958
 959     return $tree->buggy($ver, \@found, \@fixed);
 960 }
 961
 962 my %_versions;
 963 sub getversions {
 964     my ($pkg, $dist, $arch) = @_;
 965     return () unless defined $debbugs::gVersionIndex;
 966     $dist = 'unstable' unless defined $dist;
 967
 968     unless (tied %_versions) {
 969         tie %_versions, 'MLDBM', $debbugs::gVersionIndex, O_RDONLY
 970             or die "can't open versions index: $!";
 971     }
 972
 973     if (defined $arch and exists $_versions{$pkg}{$dist}{$arch}) {
 974         my $ver = $_versions{$pkg}{$dist}{$arch};
 975         return $ver if defined $ver;
 976         return ();
 977     } else {
 978         my %uniq;
 979         for my $ar (keys %{$_versions{$pkg}{$dist}}) {
 980             $uniq{$_versions{$pkg}{$dist}{$ar}} = 1 unless $ar eq 'source';
 981         }
 982         if (%uniq) {
 983             return keys %uniq;
 984         } elsif (exists $_versions{$pkg}{$dist}{source}) {
 985             # Maybe this is actually a source package with no corresponding
 986             # binaries?
 987             return $_versions{$pkg}{$dist}{source};
 988         } else {
 989             return ();
 990         }
 991     }
 992 }
 993
 994 sub getversiondesc {
 995     my $pkg = shift;
 996
 997     if (defined $common_version) {
 998         return "version $common_version";
 999     } elsif (defined $common_dist) {
1000         my @distvers = getversions($pkg, $common_dist, $common_arch);
1001         @distvers = sort @distvers;
1002         local $" = ', ';
1003         if (@distvers > 1) {
1004             return "versions @distvers";
1005         } elsif (@distvers == 1) {
1006             return "version @distvers";
1007         }
1008     }
1009
1010     return undef;
1011 }
1012
1013 1;