cgi/common.pl

   1 #!/usr/bin/perl -w
   2
   3 use DB_File;
   4 use Fcntl qw/O_RDONLY/;
   5 use Mail::Address;
   6 use MLDBM qw/DB_File/;
   7 use POSIX qw/ceil/;
   8
   9 use URI::Escape;
  10
  11 $config_path = '/etc/debbugs';
  12 $lib_path = '/usr/lib/debbugs';
  13 require "$lib_path/errorlib";
  14
  15 use Debbugs::Packages;
  16 use Debbugs::Versions;
  17 use Debbugs::MIME qw(decode_rfc1522);
  18
  19 $MLDBM::RemoveTaint = 1;
  20
  21 my $common_mindays = 0;
  22 my $common_maxdays = -1;
  23 my $common_archive = 0;
  24 my $common_repeatmerged = 1;
  25 my %common_include = ();
  26 my %common_exclude = ();
  27 my $common_raw_sort = 0;
  28 my $common_bug_reverse = 0;
  29
  30 my $common_leet_urls = 0;
  31
  32 my %common_reverse = (
  33     'pending' => 0,
  34     'severity' => 0,
  35 );
  36 my %common = (
  37     'show_list_header' => 1,
  38     'show_list_footer' => 1,
  39 );
  40
  41 sub exact_field_match {
  42     my ($field, $values, $status) = @_;
  43     my @values = @$values;
  44     my @ret = grep {$_ eq $status->{$field} } @values;
  45     $#ret != -1;
  46 }
  47 sub contains_field_match {
  48     my ($field, $values, $status) = @_;
  49     foreach my $data (@$values) {
  50         return 1 if (index($status->{$field}, $data) > -1);
  51     }
  52     return 0;
  53 }
  54
  55 sub detect_user_agent {
  56     my $userAgent = $ENV{HTTP_USER_AGENT};
  57     return { 'name' => 'unknown' } unless defined $userAgent;
  58     return { 'name' => 'links' } if ( $userAgent =~ m,^ELinks,);
  59     return { 'name' => 'lynx' } if ( $userAgent =~ m,^Lynx,);
  60     return { 'name' => 'wget' } if ( $userAgent =~ m,^Wget,);
  61     return { 'name' => 'gecko' } if ( $userAgent =~ m,^Mozilla.* Gecko/,);
  62     return { 'name' => 'ie' } if ( $userAgent =~ m,^.*MSIE.*,);
  63     return { 'name' => 'unknown' };
  64 }
  65
  66 my %field_match = (
  67     'subject' => \&contains_field_match,
  68     'tags' => sub {
  69         my ($field, $values, $status) = @_;
  70         my %values = map {$_=>1} @$values;
  71         foreach my $t (split /\s+/, $status->{$field}) {
  72             return 1 if (defined $values{$t});
  73         }
  74         return 0;
  75     },
  76     'severity' => \&exact_field_match,
  77     'pending' => \&exact_field_match,
  78     'originator' => \%contains_field_match,
  79     'forwarded' => \%contains_field_match,
  80     'owner' => \%contains_field_match,
  81 );
  82 my @common_grouping = ( 'severity', 'pending' );
  83 my %common_grouping_order = (
  84     'pending' => [ qw( pending forwarded pending-fixed fixed done absent ) ],
  85     'severity' => \@debbugs::gSeverityList,
  86 );
  87 my %common_grouping_display = (
  88     'pending' => 'Status',
  89     'severity' => 'Severity',
  90 );
  91 my %common_headers = (
  92     'pending' => {
  93         "pending"       => "outstanding",
  94         "pending-fixed" => "pending upload",
  95         "fixed"         => "fixed in NMU",
  96         "done"          => "resolved",
  97         "forwarded"     => "forwarded to upstream software authors",
  98         "absent"        => "not applicable to this version",
  99     },
 100     'severity' => \%debbugs::gSeverityDisplay,
 101 );
 102
 103 my $common_version;
 104 my $common_dist;
 105 my $common_arch;
 106
 107 my $debug = 0;
 108 my $use_bug_idx = 0;
 109 my %bugidx;
 110
 111 sub array_option($) {
 112     my ($val) = @_;
 113     my @vals;
 114     @vals = ( $val ) if (ref($val) eq "" && $val );
 115     @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
 116     @vals = @{$val} if (ref($val) eq "ARRAY" );
 117     return @vals;
 118 }
 119
 120 sub filter_include_exclude($\%) {
 121     my ($val, $filter_map) = @_;
 122     my @vals = array_option($val);
 123     my @data = map {
 124         if (/^([^:]*):(.*)$/) { if ($1 eq 'subj') { ['subject', $2]; } else { [$1, $2] } } else { ['tags', $_] }
 125     } split /[\s,]+/, join ',', @vals;
 126     foreach my $data (@data) {
 127         &quitcgi("Invalid filter key: '$data->[0]'") if (!exists($field_match{$data->[0]}));
 128         push @{$filter_map->{$data->[0]}}, $data->[1];
 129     }
 130 }
 131
 132 sub filter_option($$\%) {
 133     my ($key, $val, $filter_map) = @_;
 134     my @vals = array_option($val);
 135     foreach $val (@vals) {
 136         push @{$filter_map->{$key}}, $val;
 137     }
 138 }
 139
 140 sub set_option {
 141     my ($opt, $val) = @_;
 142     if ($opt eq "use-bug-idx") {
 143         $use_bug_idx = $val;
 144         if ( $val ) {
 145             $common_headers{pending}{open} = $common_headers{pending}{pending};
 146             my $bugidx = tie %bugidx, MLDBM => "$debbugs::gSpoolDir/realtime/bug.idx", O_RDONLY
 147                 or quitcgi( "$0: can't open $debbugs::gSpoolDir/realtime/bug.idx ($!)\n" );
 148             $bugidx->RemoveTaint(1);
 149         } else {
 150             untie %bugidx;
 151         }
 152     }
 153     if ($opt =~ m/^show_list_(foot|head)er$/) { $common{$opt} = $val; }
 154     if ($opt eq "archive") { $common_archive = $val; }
 155     if ($opt eq "repeatmerged") { $common_repeatmerged = $val; }
 156     if ($opt eq "exclude") {
 157         filter_include_exclude($val, %common_exclude);
 158     }
 159     if ($opt eq "include") {
 160         filter_include_exclude($val, %common_include);
 161     }
 162     if ($opt eq "raw") { $common_raw_sort = $val; }
 163     if ($opt eq "bug-rev") { $common_bug_reverse = $val; }
 164     if ($opt eq "pend-rev") { $common_reverse{pending} = $val; }
 165     if ($opt eq "sev-rev") { $common_reverse{severity} = $val; }
 166     if ($opt eq "pend-exc") {
 167         filter_option('pending', $val, %common_exclude);
 168     }
 169     if ($opt eq "pend-inc") {
 170         filter_option('pending', $val, %common_include);
 171     }
 172     if ($opt eq "sev-exc") {
 173         filter_option('severity', $val, %common_exclude);
 174     }
 175     if ($opt eq "sev-inc") {
 176         filter_option('severity', $val, %common_include);
 177     }
 178     if ($opt eq "version") { $common_version = $val; }
 179     if ($opt eq "dist") { $common_dist = $val; }
 180     if ($opt eq "arch") { $common_arch = $val; }
 181     if ($opt eq "maxdays") { $common_maxdays = $val; }
 182     if ($opt eq "mindays") { $common_mindays = $val; }
 183 }
 184
 185 sub readparse {
 186     my ($key, $val, %ret);
 187     my $in = "";
 188     if ($#ARGV >= 0) {
 189         $in .= ";" . join("&", map { s/&/%26/g; s/;/%3b/g; $_ } @ARGV);
 190     }
 191     if (defined $ENV{"QUERY_STRING"} && $ENV{"QUERY_STRING"} ne "") {
 192         $in .= ";" . $ENV{QUERY_STRING};
 193     }
 194     if (defined $ENV{"REQUEST_METHOD"} && $ENV{"REQUEST_METHOD"} eq "POST"
 195           && defined $ENV{"CONTENT_TYPE"}
 196           && $ENV{"CONTENT_TYPE"} eq "application/x-www-form-urlencoded")
 197     {
 198         my $inx;
 199         read(STDIN,$inx,$ENV{CONTENT_LENGTH});
 200         $in .= ";" . $inx;
 201     }
 202     return unless ($in ne "");
 203
 204     if (defined $ENV{"HTTP_COOKIE"}) {
 205         my $x = $ENV{"HTTP_COOKIE"};
 206         $x =~ s/;\s+/;/g;
 207         $in = "$x;$in";
 208     }
 209     foreach (split(/[&;]/,$in)) {
 210         s/\+/ /g;
 211         ($key, $val) = split(/=/,$_,2);
 212         $key=~s/%(..)/pack("c",hex($1))/ge;
 213         $val=~s/%(..)/pack("c",hex($1))/ge;
 214         if ( exists $ret{$key} ) {
 215             if ( !exists $ret{"&$key"} ) {
 216                 $ret{"&$key"} = [ $ret{$key} ];
 217             }
 218             push @{$ret{"&$key"}},$val;
 219         }
 220         $ret{$key}=$val;
 221     }
 222
 223 $debug = 1 if (defined $ret{"debug"} && $ret{"debug"} eq "aj");
 224
 225     $common_leet_urls = 1
 226        if (defined $ret{"leeturls"} && $ret{"leeturls"} eq "yes");
 227
 228     return %ret;
 229 }
 230
 231 sub quitcgi {
 232     my $msg = shift;
 233     print "Content-Type: text/html\n\n";
 234     print "<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY>\n";
 235     print "An error occurred. Dammit.\n";
 236     print "Error was: $msg.\n";
 237     print "</BODY></HTML>\n";
 238     exit 0;
 239 }
 240
 241 #sub abort {
 242 #    my $msg = shift;
 243 #    my $Archive = $common_archive ? "archive" : "";
 244 #    print header . start_html("Sorry");
 245 #    print "Sorry bug #$msg doesn't seem to be in the $Archive database.\n";
 246 #    print end_html;
 247 #    exit 0;
 248 #}
 249
 250 # Split a package string from the status file into a list of package names.
 251 sub splitpackages {
 252     my $pkgs = shift;
 253     return unless defined $pkgs;
 254     return map lc, split /[ \t?,()]+/, $pkgs;
 255 }
 256
 257 my %_parsedaddrs;
 258 sub getparsedaddrs {
 259     my $addr = shift;
 260     return () unless defined $addr;
 261     return @{$_parsedaddrs{$addr}} if exists $_parsedaddrs{$addr};
 262     @{$_parsedaddrs{$addr}} = Mail::Address->parse($addr);
 263     return @{$_parsedaddrs{$addr}};
 264 }
 265
 266 # Generate a comma-separated list of HTML links to each package given in
 267 # $pkgs. $pkgs may be empty, in which case an empty string is returned, or
 268 # it may be a comma-separated list of package names.
 269 sub htmlpackagelinks {
 270     my $pkgs = shift;
 271     return unless defined $pkgs and $pkgs ne '';
 272     my $strong = shift;
 273     my @pkglist = splitpackages($pkgs);
 274
 275     my $openstrong  = $strong ? '<strong>' : '';
 276     my $closestrong = $strong ? '</strong>' : '';
 277
 278     return 'Package' . (@pkglist > 1 ? 's' : '') . ': ' .
 279            join(', ',
 280                 map {
 281                     '<a href="' . pkgurl($_) . '">' .
 282                     $openstrong . htmlsanit($_) . $closestrong . '</a>'
 283                 } @pkglist
 284            );
 285 }
 286
 287 # Generate a comma-separated list of HTML links to each address given in
 288 # $addresses, which should be a comma-separated list of RFC822 addresses.
 289 # $urlfunc should be a reference to a function like mainturl or submitterurl
 290 # which returns the URL for each individual address.
 291 sub htmladdresslinks {
 292     my ($prefixfunc, $urlfunc, $addresses) = @_;
 293     if (defined $addresses and $addresses ne '') {
 294         my @addrs = getparsedaddrs($addresses);
 295         my $prefix = (ref $prefixfunc) ? $prefixfunc->(scalar @addrs)
 296                                        : $prefixfunc;
 297         return $prefix .
 298                join ', ', map { sprintf '<a href="%s">%s</a>',
 299                                         $urlfunc->($_->address),
 300                                         htmlsanit($_->format) || '(unknown)'
 301                               } @addrs;
 302     } else {
 303         my $prefix = (ref $prefixfunc) ? $prefixfunc->(1) : $prefixfunc;
 304         return sprintf '%s<a href="%s">(unknown)</a>', $prefix, $urlfunc->('');
 305     }
 306 }
 307
 308 # Generate a comma-separated list of HTML links to each maintainer given in
 309 # $maints, which should be a comma-separated list of RFC822 addresses.
 310 sub htmlmaintlinks {
 311     my ($prefixfunc, $maints) = @_;
 312     return htmladdresslinks($prefixfunc, \&mainturl, $maints);
 313 }
 314
 315 sub htmlindexentry {
 316     my $ref = shift;
 317     my %status = %{getbugstatus($ref)};
 318     return htmlindexentrystatus(%status) if (%status);
 319     return "";
 320 }
 321
 322 sub htmlindexentrystatus {
 323     my $s = shift;
 324     my %status = %{$s};
 325
 326     my $result = "";
 327
 328     if  ($status{severity} eq 'normal') {
 329         $showseverity = '';
 330     } elsif (isstrongseverity($status{severity})) {
 331         $showseverity = "<strong>Severity: $status{severity}</strong>;\n";
 332     } else {
 333         $showseverity = "Severity: <em>$status{severity}</em>;\n";
 334     }
 335
 336     $result .= htmlpackagelinks($status{"package"}, 1);
 337
 338     my $showversions = '';
 339     if (@{$status{found_versions}}) {
 340         my @found = @{$status{found_versions}};
 341         local $_;
 342         s{/}{ } foreach @found;
 343         $showversions .= join ', ', map htmlsanit($_), @found;
 344     }
 345     if (@{$status{fixed_versions}}) {
 346         $showversions .= '; ' if length $showversions;
 347         $showversions .= '<strong>fixed</strong>: ';
 348         my @fixed = @{$status{fixed_versions}};
 349         local $_;
 350         s{/}{ } foreach @fixed;
 351         $showversions .= join ', ', map htmlsanit($_), @fixed;
 352     }
 353     $result .= " ($showversions)" if length $showversions;
 354     $result .= ";\n";
 355
 356     $result .= $showseverity;
 357     $result .= htmladdresslinks("Reported by: ", \&submitterurl,
 358                                 $status{originator});
 359     $result .= ";\nOwned by: " . htmlsanit($status{owner})
 360                if length $status{owner};
 361     $result .= ";\nTags: <strong>"
 362                  . htmlsanit(join(", ", sort(split(/\s+/, $status{tags}))))
 363                  . "</strong>"
 364                        if (length($status{tags}));
 365
 366     my @merged= split(/ /,$status{mergedwith});
 367     my $mseparator= ";\nmerged with ";
 368     for my $m (@merged) {
 369         $result .= $mseparator."<A href=\"" . bugurl($m) . "\">#$m</A>";
 370         $mseparator= ", ";
 371     }
 372
 373     if (length($status{done})) {
 374         $result .= ";\n<strong>Done:</strong> " . htmlsanit($status{done});
 375         $days = ceil($debbugs::gRemoveAge - -M buglog($status{id}));
 376         if ($days >= 0) {
 377             $result .= ";\n<strong>Will be archived:</strong>" . ( $days == 0 ? " today" : $days == 1 ? " in $days day" : " in $days days" );
 378         } else {
 379             $result .= ";\n<strong>Archived</strong>";
 380         }
 381     }
 382
 383     unless (length($status{done})) {
 384         if (length($status{forwarded})) {
 385             $result .= ";\n<strong>Forwarded</strong> to "
 386                        . maybelink($status{forwarded});
 387         }
 388         my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 389         if ($daysold >= 7) {
 390             my $font = "";
 391             my $efont = "";
 392             $font = "em" if ($daysold > 30);
 393             $font = "strong" if ($daysold > 60);
 394             $efont = "</$font>" if ($font);
 395             $font = "<$font>" if ($font);
 396
 397             my $yearsold = int($daysold / 365);
 398             $daysold -= $yearsold * 365;
 399
 400             $result .= ";\n $font";
 401             my @age;
 402             push @age, "1 year" if ($yearsold == 1);
 403             push @age, "$yearsold years" if ($yearsold > 1);
 404             push @age, "1 day" if ($daysold == 1);
 405             push @age, "$daysold days" if ($daysold > 1);
 406             $result .= join(" and ", @age);
 407             $result .= " old$efont";
 408         }
 409     }
 410
 411     $result .= ".";
 412
 413     return $result;
 414 }
 415
 416 sub urlargs {
 417     my $args = '';
 418     $args .= ";archive=yes" if $common_archive;
 419     $args .= ";repeatmerged=no" unless $common_repeatmerged;
 420     $args .= ";mindays=${common_mindays}" unless $common_mindays == 0;
 421     $args .= ";maxdays=${common_maxdays}" unless $common_maxdays == -1;
 422     $args .= ";version=$common_version" if defined $common_version;
 423     $args .= ";dist=$common_dist" if defined $common_dist;
 424     $args .= ";arch=$common_arch" if defined $common_arch;
 425     return $args;
 426 }
 427
 428 sub submitterurl { pkg_etc_url(emailfromrfc822($_[0] || ""), "submitter"); }
 429 sub mainturl { pkg_etc_url(emailfromrfc822($_[0] || ""), "maint"); }
 430 sub pkgurl { pkg_etc_url($_[0] || "", "pkg"); }
 431 sub srcurl { pkg_etc_url($_[0] || "", "src"); }
 432 sub tagurl { pkg_etc_url($_[0] || "", "tag"); }
 433
 434 sub pkg_etc_url {
 435     my $ref = shift;
 436     my $code = shift;
 437     if ($common_leet_urls) {
 438         $code = "package" if ($code eq "pkg");
 439         $code = "source" if ($code eq "src");
 440         return urlsanit("/x/$code/$ref");
 441     } else {
 442         my $addurlargs = shift || 1;
 443         my $params = "$code=$ref";
 444         $params .= urlargs() if $addurlargs;
 445         return urlsanit("pkgreport.cgi" . "?" . $params);
 446     }
 447 }
 448
 449 sub urlsanit {
 450     my $url = shift;
 451     $url =~ s/%/%25/g;
 452     $url =~ s/#/%23/g;
 453     $url =~ s/\+/%2b/g;
 454     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 455     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
 456     return $url;
 457 }
 458
 459 sub htmlsanit {
 460     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 461     my $in = shift || "";
 462     $in =~ s/([<>&"])/\&$saniarray{$1};/g;
 463     return $in;
 464 }
 465
 466 sub maybelink {
 467     my $in = shift;
 468     if ($in =~ /^[a-zA-Z0-9+.-]+:/) { # RFC 1738 scheme
 469         return qq{<a href="$in">} . htmlsanit($in) . '</a>';
 470     } else {
 471         return htmlsanit($in);
 472     }
 473 }
 474
 475 sub bugurl {
 476     my $ref = shift;
 477     my $params = "bug=$ref";
 478     my $filename = '';
 479
 480     if ($common_leet_urls) {
 481         my $msg = "";
 482         my $mbox = "";
 483         my $att = "";
 484         foreach my $val (@_) {
 485             $mbox = "/mbox" if ($val eq "mbox");
 486             $msg = "/$1" if ($val =~ /^msg=([0-9]+)/);
 487             $att = "/$1" if ($val =~ /^att=([0-9]+)/);
 488             $filename = "/$1" if ($val =~ /^filename=(.*)$/);
 489         }
 490         my $ext = "";
 491         if ($mbox ne "") {
 492             $ext = $mbox;
 493         } elsif ($att ne "") {
 494             $ext = "$att$filename";
 495         }
 496         return urlsanit("/x/$ref$msg$ext");
 497     } else {
 498         foreach my $val (@_) {
 499             $params .= ";mbox=yes" if ($val eq "mbox");
 500             $params .= ";msg=$1" if ($val =~ /^msg=([0-9]+)/);
 501             $params .= ";att=$1" if ($val =~ /^att=([0-9]+)/);
 502             $filename = $1 if ($val =~ /^filename=(.*)$/);
 503             $params .= ";archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
 504         }
 505         $params .= ";archive=yes" if ($common_archive);
 506         $params .= ";repeatmerged=no" unless ($common_repeatmerged);
 507
 508         my $pathinfo = '';
 509         $pathinfo = '/'.uri_escape($filename) if $filename ne '';
 510
 511         return urlsanit("bugreport.cgi" . $pathinfo . "?" . $params);
 512     }
 513 }
 514
 515 sub dlurl { bugurl(@_); }
 516 sub mboxurl { return bugurl($ref, "mbox"); }
 517
 518 sub allbugs {
 519     return @{getbugs(sub { 1 })};
 520 }
 521
 522 sub bugmatches(\%\%) {
 523     my ($hash, $status) = @_;
 524     foreach my $key( keys( %$hash ) ) {
 525         my $value = $hash->{$key};
 526         my $sub = $field_match{$key};
 527         return 1 if ($sub->($key, $value, $status));
 528     }
 529     return 0;
 530 }
 531 sub bugfilter($%) {
 532     my ($bug, %status) = @_;
 533     our (%seenmerged);
 534     if (%common_include) {
 535         return 1 if (!bugmatches(%common_include, %status));
 536     }
 537     if (%common_exclude) {
 538         return 1 if (bugmatches(%common_exclude, %status));
 539     }
 540     my @merged = sort {$a<=>$b} $bug, split(/ /, $status{mergedwith});
 541     my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 542     return 1 unless ($common_mindays <= $daysold);
 543     return 1 unless ($common_maxdays == -1 || $daysold <= $common_maxdays);
 544     return 1 unless ($common_repeatmerged || !$seenmerged{$merged[0]});
 545     $seenmerged{$merged[0]} = 1;
 546     return 0;
 547 }
 548
 549 sub htmlizebugs {
 550     $b = $_[0];
 551     my @bugs = @$b;
 552     my $anydone = 0;
 553
 554     my @status = ();
 555     my %count;
 556     my $header = '';
 557     my $footer = '';
 558
 559     if (@bugs == 0) {
 560         return "<HR><H2>No reports found!</H2></HR>\n";
 561     }
 562
 563     if ( $common_bug_reverse ) {
 564         @bugs = sort {$b<=>$a} @bugs;
 565     } else {
 566         @bugs = sort {$a<=>$b} @bugs;
 567     }
 568     my %seenmerged;
 569     foreach my $bug (@bugs) {
 570         my %status = %{getbugstatus($bug)};
 571         next unless %status;
 572         next if bugfilter($bug, %status);
 573
 574         my $html = sprintf "<li><a href=\"%s\">#%d: %s</a>\n<br>",
 575             bugurl($bug), $bug, htmlsanit($status{subject});
 576         $html .= htmlindexentrystatus(\%status) . "\n";
 577         my $key = join( '_', map( {$status{$_}} @common_grouping ) );
 578         $section{$key} .= $html;
 579         $count{"_$key"}++;
 580         foreach my $grouping ( @common_grouping ) {
 581             $count{"${grouping}_$status{$grouping}"}++;
 582         }
 583         $anydone = 1 if $status{pending} eq 'done';
 584         push @status, [ $bug, \%status, $html ];
 585     }
 586
 587     my $result = "";
 588     if ($common_raw_sort) {
 589         $result .= "<UL>\n" . join("", map( { $_->[ 2 ] } @status ) ) . "</UL>\n";
 590     } else {
 591         my (@order, @headers);
 592         for( my $i = 0; $i < @common_grouping; $i++ ) {
 593             my $grouping_name = $common_grouping[ $i ];
 594             my @items = @{ $common_grouping_order{ $grouping_name } };
 595             @items = reverse( @items ) if ( $common_reverse{ $grouping_name } );
 596             my @neworder = ();
 597             my @newheaders = ();
 598             if ( @order ) {
 599                 foreach my $grouping ( @items ) {
 600                     push @neworder, map( { "${_}_$grouping" } @order );
 601                     push @newheaders, map( { "$_ - $common_headers{$grouping_name}{$grouping}" } @headers );
 602                 }
 603                 @order = @neworder;
 604                 @headers = @newheaders;
 605             } else {
 606                 push @order, @items;
 607                 push @headers, map( { $common_headers{$common_grouping[$i]}{$_} } @items );
 608             }
 609         }
 610         $header .= "<ul>\n";
 611         for ( my $i = 0; $i < @order; $i++ ) {
 612             my $order = $order[ $i ];
 613             next unless defined $section{$order};
 614             my $count = $count{"_$order"};
 615             my $bugs = $count == 1 ? "bug" : "bugs";
 616             $header .= "<li><a href=\"#$order\">$headers[$i]</a> ($count $bugs)</li>\n";
 617         }
 618         $header .= "</ul>\n";
 619         for ( my $i = 0; $i < @order; $i++ ) {
 620             my $order = $order[ $i ];
 621             next unless defined $section{$order};
 622             if ($common{show_list_header}) {
 623                 my $count = $count{"_$order"};
 624                 my $bugs = $count == 1 ? "bug" : "bugs";
 625                 $result .= "<HR><H2><a name=\"$order\"></a>$headers[$i] ($count $bugs)</H2>\n";
 626             } else {
 627                 $result .= "<HR><H2>$headers[$i]</H2>\n";
 628             }
 629             $result .= "<UL>\n";
 630             $result .= $section{$order};
 631             $result .= "</UL>\n";
 632         }
 633         $footer .= "<ul>\n";
 634         foreach my $grouping ( @common_grouping ) {
 635             my $local_result = '';
 636             foreach my $key ( @{$common_grouping_order{ $grouping }} ) {
 637                 my $count = $count{"${grouping}_$key"};
 638                 next if !$count;
 639                 $local_result .= "<li>$count $common_headers{$grouping}{$key}</li>\n";
 640             }
 641             if ( $local_result ) {
 642                 $footer .= "<li>$common_grouping_display{$grouping}<ul>\n$local_result</ul></li>\n";
 643             }
 644         }
 645         $footer .= "</ul>\n";
 646     }
 647
 648     $result = $header . $result if ( $common{show_list_header} );
 649     $result .= $debbugs::gHTMLExpireNote if $debbugs::gRemoveAge and $anydone;
 650     $result .= "<hr>" . $footer if ( $common{show_list_footer} );
 651     return $result;
 652 }
 653
 654 sub countbugs {
 655     my $bugfunc = shift;
 656     if ($common_archive) {
 657         open I, "<$debbugs::gSpoolDir/index.archive"
 658             or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 659     } else {
 660         open I, "<$debbugs::gSpoolDir/index.db"
 661             or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 662     }
 663
 664     my %count = ();
 665     while(<I>)
 666     {
 667         if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 668             my @x = $bugfunc->(pkg => $1, bug => $2, status => $4,
 669                                submitter => $5, severity => $6, tags => $7);
 670             local $_;
 671             $count{$_}++ foreach @x;
 672         }
 673     }
 674     close I;
 675     return %count;
 676 }
 677
 678 sub getbugs {
 679     my $bugfunc = shift;
 680     my $opt = shift;
 681
 682     my @result = ();
 683
 684     my $fastidx;
 685     if (!defined $opt) {
 686         # leave $fastidx undefined;
 687     } elsif (!$common_archive) {
 688         $fastidx = "$debbugs::gSpoolDir/by-$opt.idx";
 689     } else {
 690         $fastidx = "$debbugs::gSpoolDir/by-$opt-arc.idx";
 691     }
 692
 693     if (defined $fastidx && -e $fastidx) {
 694         my %lookup;
 695 print STDERR "optimized\n" if ($debug);
 696         tie %lookup, DB_File => $fastidx, O_RDONLY
 697             or die "$0: can't open $fastidx ($!)\n";
 698         while ($key = shift) {
 699             my $bugs = $lookup{$key};
 700             if (defined $bugs) {
 701                 push @result, (unpack 'N*', $bugs);
 702             } elsif (defined $lookup{"count $key"}) {
 703                 my $which = 0;
 704                 while (1) {
 705                     $bugs = $lookup{"$which $key"};
 706                     last unless defined $bugs;
 707                     push @result, (unpack 'N*', $bugs);
 708                     $which += 100;
 709                 }
 710             }
 711         }
 712         untie %lookup;
 713 print STDERR "done optimized\n" if ($debug);
 714     } else {
 715         if ( $common_archive ) {
 716             open I, "<$debbugs::gSpoolDir/index.archive"
 717                 or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 718         } else {
 719             open I, "<$debbugs::gSpoolDir/index.db"
 720                 or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 721         }
 722         while(<I>) {
 723             if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 724                 if ($bugfunc->(pkg => $1, bug => $2, status => $4,
 725                             submitter => $5, severity => $6, tags => $7))
 726                 {
 727                     push (@result, $2);
 728                 }
 729             }
 730         }
 731         close I;
 732     }
 733     @result = sort {$a <=> $b} @result;
 734     return \@result;
 735 }
 736
 737 sub emailfromrfc822 {
 738     my $email = shift;
 739     $email =~ s/\s*\(.*\)\s*//;
 740     $email = $1 if ($email =~ m/<(.*)>/);
 741     return $email;
 742 }
 743
 744 sub maintencoded {
 745     my $input = shift;
 746     my $encoded = '';
 747
 748     while ($input =~ m/\W/) {
 749         $encoded.=$`.sprintf("-%02x_",unpack("C",$&));
 750         $input= $';
 751     }
 752
 753     $encoded.= $input;
 754     $encoded =~ s/-2e_/\./g;
 755     $encoded =~ s/^([^,]+)-20_-3c_(.*)-40_(.*)-3e_/$1,$2,$3,/;
 756     $encoded =~ s/^(.*)-40_(.*)-20_-28_([^,]+)-29_$/,$1,$2,$3/;
 757     $encoded =~ s/-20_/_/g;
 758     $encoded =~ s/-([^_]+)_-/-$1/g;
 759     return $encoded;
 760 }
 761
 762 my $_maintainer;
 763 sub getmaintainers {
 764     return $_maintainer if $_maintainer;
 765     my %maintainer;
 766
 767     open(MM,"$debbugs::gMaintainerFile") or &quitcgi("open $debbugs::gMaintainerFile: $!");
 768     while(<MM>) {
 769         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 770         ($a,$b)=($1,$2);
 771         $a =~ y/A-Z/a-z/;
 772         $maintainer{$a}= $b;
 773     }
 774     close(MM);
 775     if (defined $debbugs::gMaintainerFileOverride) {
 776         open(MM,"$debbugs::gMaintainerFileOverride") or &quitcgi("open $debbugs::gMaintainerFileOverride: $!");
 777         while(<MM>) {
 778             next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 779             ($a,$b)=($1,$2);
 780             $a =~ y/A-Z/a-z/;
 781             $maintainer{$a}= $b;
 782         }
 783         close(MM);
 784     }
 785     $_maintainer = \%maintainer;
 786     return $_maintainer;
 787 }
 788
 789 my $_pseudodesc;
 790 sub getpseudodesc {
 791     return $_pseudodesc if $_pseudodesc;
 792     my %pseudodesc;
 793
 794     open(PSEUDO, "< $debbugs::gPseudoDescFile") or &quitcgi("open $debbugs::gPseudoDescFile: $!");
 795     while(<PSEUDO>) {
 796         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 797         $pseudodesc{lc $1} = $2;
 798     }
 799     close(PSEUDO);
 800     $_pseudodesc = \%pseudodesc;
 801     return $_pseudodesc;
 802 }
 803
 804 sub getbugstatus {
 805     my $bugnum = shift;
 806
 807     my %status;
 808
 809     if ( $use_bug_idx eq 1 && exists( $bugidx{ $bugnum } ) ) {
 810         %status = %{ $bugidx{ $bugnum } };
 811         $status{ pending } = $status{ status };
 812         $status{ id } = $bugnum;
 813         return \%status;
 814     }
 815
 816     my $location = getbuglocation( $bugnum, 'summary' );
 817     return {} if ( !$location );
 818     %status = %{ readbug( $bugnum, $location ) };
 819     $status{ id } = $bugnum;
 820
 821     $status{tags} = $status{keywords};
 822     my %tags = map { $_ => 1 } split ' ', $status{tags};
 823
 824     $status{"package"} =~ s/\s*$//;
 825     $status{"package"} = 'unknown' if ($status{"package"} eq '');
 826     $status{"severity"} = 'normal' if ($status{"severity"} eq '');
 827
 828     $status{"pending"} = 'pending';
 829     $status{"pending"} = 'forwarded'        if (length($status{"forwarded"}));
 830     $status{"pending"} = 'pending-fixed'    if ($tags{pending});
 831     $status{"pending"} = 'fixed'            if ($tags{fixed});
 832
 833     my @versions;
 834     if (defined $common_version) {
 835         @versions = ($common_version);
 836     } elsif (defined $common_dist) {
 837         @versions = getversions($status{package}, $common_dist, $common_arch);
 838     }
 839
 840     # TODO: This should probably be handled further out for efficiency and
 841     # for more ease of distinguishing between pkg= and src= queries.
 842     my @sourceversions = makesourceversions($status{package}, $common_arch,
 843                                             @versions);
 844
 845     if (@sourceversions) {
 846         # Resolve bugginess states (we might be looking at multiple
 847         # architectures, say). Found wins, then fixed, then absent.
 848         my $maxbuggy = 'absent';
 849         for my $version (@sourceversions) {
 850             my $buggy = buggyversion($bugnum, $version, \%status);
 851             if ($buggy eq 'found') {
 852                 $maxbuggy = 'found';
 853                 last;
 854             } elsif ($buggy eq 'fixed' and $maxbuggy ne 'found') {
 855                 $maxbuggy = 'fixed';
 856             }
 857         }
 858         if ($maxbuggy eq 'absent') {
 859             $status{"pending"} = 'absent';
 860         } elsif ($maxbuggy eq 'fixed') {
 861             $status{"pending"} = 'done';
 862         }
 863     }
 864
 865     if (length($status{done}) and
 866             (not @sourceversions or not @{$status{fixed_versions}})) {
 867         $status{"pending"} = 'done';
 868     }
 869
 870     return \%status;
 871 }
 872
 873 sub buglog {
 874     my $bugnum = shift;
 875     my $location = getbuglocation($bugnum, 'log');
 876     return getbugcomponent($bugnum, 'log', $location) if ($location);
 877     $location = getbuglocation($bugnum, 'log.gz');
 878     return getbugcomponent($bugnum, 'log.gz', $location);
 879 }
 880
 881 # Canonicalize versions into source versions, which have an explicitly
 882 # named source package. This is used to cope with source packages whose
 883 # names have changed during their history, and with cases where source
 884 # version numbers differ from binary version numbers.
 885 sub makesourceversions {
 886     my $pkg = shift;
 887     my $arch = shift;
 888     my %sourceversions;
 889
 890     for my $version (@_) {
 891         if ($version =~ m[/]) {
 892             # Already a source version.
 893             $sourceversions{$version} = 1;
 894         } else {
 895             my @srcinfo = binarytosource($pkg, $version, $arch);
 896             unless (@srcinfo) {
 897                 # We don't have explicit information about the
 898                 # binary-to-source mapping for this version (yet). Since
 899                 # this is a CGI script and our output is transient, we can
 900                 # get away with just looking in the unversioned map; if it's
 901                 # wrong (as it will be when binary and source package
 902                 # versions differ), too bad.
 903                 my $pkgsrc = getpkgsrc();
 904                 if (exists $pkgsrc->{$pkg}) {
 905                     @srcinfo = ([$pkgsrc->{$pkg}, $version]);
 906                 } else {
 907                     next;
 908                 }
 909             }
 910             $sourceversions{"$_->[0]/$_->[1]"} = 1 foreach @srcinfo;
 911         }
 912     }
 913
 914     return sort keys %sourceversions;
 915 }
 916
 917 my %_versionobj;
 918 sub buggyversion {
 919     my ($bug, $ver, $status) = @_;
 920     return '' unless defined $debbugs::gVersionPackagesDir;
 921     my $src = getpkgsrc()->{$status->{package}};
 922     $src = $status->{package} unless defined $src;
 923
 924     my $tree;
 925     if (exists $_versionobj{$src}) {
 926         $tree = $_versionobj{$src};
 927     } else {
 928         $tree = Debbugs::Versions->new(\&DpkgVer::vercmp);
 929         my $srchash = substr $src, 0, 1;
 930         if (open VERFILE, "< $debbugs::gVersionPackagesDir/$srchash/$src") {
 931             $tree->load(\*VERFILE);
 932             close VERFILE;
 933         }
 934         $_versionobj{$src} = $tree;
 935     }
 936
 937     my @found = makesourceversions($status->{package}, undef,
 938                                    @{$status->{found_versions}});
 939     my @fixed = makesourceversions($status->{package}, undef,
 940                                    @{$status->{fixed_versions}});
 941
 942     return $tree->buggy($ver, \@found, \@fixed);
 943 }
 944
 945 my %_versions;
 946 sub getversions {
 947     my ($pkg, $dist, $arch) = @_;
 948     return () unless defined $debbugs::gVersionIndex;
 949     $dist = 'unstable' unless defined $dist;
 950
 951     unless (tied %_versions) {
 952         tie %_versions, 'MLDBM', $debbugs::gVersionIndex, O_RDONLY
 953             or die "can't open versions index: $!";
 954     }
 955
 956     if (defined $arch and exists $_versions{$pkg}{$dist}{$arch}) {
 957         my $ver = $_versions{$pkg}{$dist}{$arch};
 958         return $ver if defined $ver;
 959         return ();
 960     } else {
 961         my %uniq;
 962         for my $ar (keys %{$_versions{$pkg}{$dist}}) {
 963             $uniq{$_versions{$pkg}{$dist}{$ar}} = 1 unless $ar eq 'source';
 964         }
 965         return keys %uniq;
 966     }
 967 }
 968
 969 sub getversiondesc {
 970     my $pkg = shift;
 971
 972     if (defined $common_version) {
 973         return "version $common_version";
 974     } elsif (defined $common_dist) {
 975         my @distvers = getversions($pkg, $common_dist, $common_arch);
 976         @distvers = sort @distvers;
 977         local $" = ', ';
 978         if (@distvers > 1) {
 979             return "versions @distvers";
 980         } elsif (@distvers == 1) {
 981             return "version @distvers";
 982         }
 983     }
 984
 985     return undef;
 986 }
 987
 988 1;