cgi/common.pl

   1 #!/usr/bin/perl -w
   2
   3 use DB_File;
   4 use Fcntl qw/O_RDONLY/;
   5 use Mail::Address;
   6 use MLDBM qw/DB_File/;
   7 use POSIX qw/ceil/;
   8
   9 use URI::Escape;
  10
  11 $config_path = '/etc/debbugs';
  12 $lib_path = '/usr/lib/debbugs';
  13 require "$lib_path/errorlib";
  14
  15 use Debbugs::Packages;
  16 use Debbugs::Versions;
  17 use Debbugs::MIME qw(decode_rfc1522);
  18
  19 $MLDBM::RemoveTaint = 1;
  20
  21 my $common_archive = 0;
  22 my $common_repeatmerged = 1;
  23 my %common_include = ();
  24 my %common_exclude = ();
  25 my $common_raw_sort = 0;
  26 my $common_bug_reverse = 0;
  27
  28 my %common_reverse = (
  29     'pending' => 0,
  30     'severity' => 0,
  31 );
  32 my %common = (
  33     'show_list_header' => 1,
  34     'show_list_footer' => 1,
  35 );
  36
  37 sub exact_field_match {
  38     my ($field, $values, $status) = @_;
  39     my @values = @$values;
  40     my @ret = grep {$_ eq $status->{$field} } @values;
  41     $#ret != -1;
  42 }
  43 sub contains_field_match {
  44     my ($field, $values, $status) = @_;
  45     foreach my $data (@$values) {
  46         return 1 if (index($status->{$field}, $data) > -1);
  47     }
  48     return 0;
  49 }
  50
  51 sub detect_user_agent {
  52     my $userAgent = $ENV{HTTP_USER_AGENT};
  53     return { 'name' => 'unknown' } unless defined $userAgent;
  54     return { 'name' => 'links' } if ( $userAgent =~ m,^ELinks,);
  55     return { 'name' => 'lynx' } if ( $userAgent =~ m,^Lynx,);
  56     return { 'name' => 'wget' } if ( $userAgent =~ m,^Wget,);
  57     return { 'name' => 'gecko' } if ( $userAgent =~ m,^Mozilla.* Gecko/,);
  58     return { 'name' => 'ie' } if ( $userAgent =~ m,^.*MSIE.*,);
  59     return { 'name' => 'unknown' };
  60 }
  61
  62 my %field_match = (
  63     'subject' => \&contains_field_match,
  64     'tags' => sub {
  65         my ($field, $values, $status) = @_;
  66         my %values = map {$_=>1} @$values;
  67         foreach my $t (split /\s+/, $status->{$field}) {
  68             return 1 if (defined $values{$t});
  69         }
  70         return 0;
  71     },
  72     'severity' => \&exact_field_match,
  73     'pending' => \&exact_field_match,
  74     'originator' => \%contains_field_match,
  75     'forwarded' => \%contains_field_match,
  76     'owner' => \%contains_field_match,
  77 );
  78 my @common_grouping = ( 'severity', 'pending' );
  79 my %common_grouping_order = (
  80     'pending' => [ qw( pending forwarded pending-fixed fixed done absent ) ],
  81     'severity' => \@debbugs::gSeverityList,
  82 );
  83 my %common_grouping_display = (
  84     'pending' => 'Status',
  85     'severity' => 'Severity',
  86 );
  87 my %common_headers = (
  88     'pending' => {
  89         "pending"       => "outstanding",
  90         "pending-fixed" => "pending upload",
  91         "fixed"         => "fixed in NMU",
  92         "done"          => "resolved",
  93         "forwarded"     => "forwarded to upstream software authors",
  94         "absent"        => "not applicable to this version",
  95     },
  96     'severity' => \%debbugs::gSeverityDisplay,
  97 );
  98
  99 my $common_version;
 100 my $common_dist;
 101 my $common_arch;
 102
 103 my $debug = 0;
 104 my $use_bug_idx = 0;
 105 my %bugidx;
 106
 107 sub array_option($) {
 108     my ($val) = @_;
 109     my @vals;
 110     @vals = ( $val ) if (ref($val) eq "" && $val );
 111     @vals = ( $$val ) if (ref($val) eq "SCALAR" && $$val );
 112     @vals = @{$val} if (ref($val) eq "ARRAY" );
 113     return @vals;
 114 }
 115
 116 sub filter_include_exclude($\%) {
 117     my ($val, $filter_map) = @_;
 118     my @vals = array_option($val);
 119     my @data = map {
 120         if (/^([^:]*):(.*)$/) { if ($1 eq 'subj') { ['subject', $2]; } else { [$1, $2] } } else { ['tags', $_] }
 121     } split /[\s,]+/, join ',', @vals;
 122     foreach my $data (@data) {
 123         &quitcgi("Invalid filter key: '$data->[0]'") if (!exists($field_match{$data->[0]}));
 124         push @{$filter_map->{$data->[0]}}, $data->[1];
 125     }
 126 }
 127
 128 sub filter_option($$\%) {
 129     my ($key, $val, $filter_map) = @_;
 130     my @vals = array_option($val);
 131     foreach $val (@vals) {
 132         push @{$filter_map->{$key}}, $val;
 133     }
 134 }
 135
 136 sub set_option {
 137     my ($opt, $val) = @_;
 138     if ($opt eq "use-bug-idx") {
 139         $use_bug_idx = $val;
 140         if ( $val ) {
 141             $common_headers{pending}{open} = $common_headers{pending}{pending};
 142             my $bugidx = tie %bugidx, MLDBM => "$debbugs::gSpoolDir/realtime/bug.idx", O_RDONLY
 143                 or quitcgi( "$0: can't open $debbugs::gSpoolDir/realtime/bug.idx ($!)\n" );
 144             $bugidx->RemoveTaint(1);
 145         } else {
 146             untie %bugidx;
 147         }
 148     }
 149     if ($opt =~ m/^show_list_(foot|head)er$/) { $common{$opt} = $val; }
 150     if ($opt eq "archive") { $common_archive = $val; }
 151     if ($opt eq "repeatmerged") { $common_repeatmerged = $val; }
 152     if ($opt eq "exclude") {
 153         filter_include_exclude($val, %common_exclude);
 154     }
 155     if ($opt eq "include") {
 156         filter_include_exclude($val, %common_include);
 157     }
 158     if ($opt eq "raw") { $common_raw_sort = $val; }
 159     if ($opt eq "bug-rev") { $common_bug_reverse = $val; }
 160     if ($opt eq "pend-rev") { $common_reverse{pending} = $val; }
 161     if ($opt eq "sev-rev") { $common_reverse{severity} = $val; }
 162     if ($opt eq "pend-exc") {
 163         filter_option('pending', $val, %common_exclude);
 164     }
 165     if ($opt eq "pend-inc") {
 166         filter_option('pending', $val, %common_include);
 167     }
 168     if ($opt eq "sev-exc") {
 169         filter_option('severity', $val, %common_exclude);
 170     }
 171     if ($opt eq "sev-inc") {
 172         filter_option('severity', $val, %common_include);
 173     }
 174     if ($opt eq "version") { $common_version = $val; }
 175     if ($opt eq "dist") { $common_dist = $val; }
 176     if ($opt eq "arch") { $common_arch = $val; }
 177 }
 178
 179 sub readparse {
 180     my ($in, $key, $val, %ret);
 181     if (defined $ENV{"QUERY_STRING"} && $ENV{"QUERY_STRING"} ne "") {
 182         $in=$ENV{QUERY_STRING};
 183     } elsif(defined $ENV{"REQUEST_METHOD"}
 184         && $ENV{"REQUEST_METHOD"} eq "POST")
 185     {
 186         read(STDIN,$in,$ENV{CONTENT_LENGTH});
 187     } else {
 188         return;
 189     }
 190     foreach (split(/[&;]/,$in)) {
 191         s/\+/ /g;
 192         ($key, $val) = split(/=/,$_,2);
 193         $key=~s/%(..)/pack("c",hex($1))/ge;
 194         $val=~s/%(..)/pack("c",hex($1))/ge;
 195         if ( exists $ret{$key} ) {
 196             if ( !exists $ret{"&$key"} ) {
 197                 $ret{"&$key"} = [ $ret{$key} ];
 198             }
 199             push @{$ret{"&$key"}},$val;
 200         }
 201         $ret{$key}=$val;
 202     }
 203 $debug = 1 if (defined $ret{"debug"} && $ret{"debug"} eq "aj");
 204     return %ret;
 205 }
 206
 207 sub quitcgi {
 208     my $msg = shift;
 209     print "Content-Type: text/html\n\n";
 210     print "<HTML><HEAD><TITLE>Error</TITLE></HEAD><BODY>\n";
 211     print "An error occurred. Dammit.\n";
 212     print "Error was: $msg.\n";
 213     print "</BODY></HTML>\n";
 214     exit 0;
 215 }
 216
 217 #sub abort {
 218 #    my $msg = shift;
 219 #    my $Archive = $common_archive ? "archive" : "";
 220 #    print header . start_html("Sorry");
 221 #    print "Sorry bug #$msg doesn't seem to be in the $Archive database.\n";
 222 #    print end_html;
 223 #    exit 0;
 224 #}
 225
 226 # Split a package string from the status file into a list of package names.
 227 sub splitpackages {
 228     my $pkgs = shift;
 229     return unless defined $pkgs;
 230     return map lc, split /[ \t?,()]+/, $pkgs;
 231 }
 232
 233 my %_parsedaddrs;
 234 sub getparsedaddrs {
 235     my $addr = shift;
 236     return () unless defined $addr;
 237     return @{$_parsedaddrs{$addr}} if exists $_parsedaddrs{$addr};
 238     @{$_parsedaddrs{$addr}} = Mail::Address->parse($addr);
 239     return @{$_parsedaddrs{$addr}};
 240 }
 241
 242 # Generate a comma-separated list of HTML links to each package given in
 243 # $pkgs. $pkgs may be empty, in which case an empty string is returned, or
 244 # it may be a comma-separated list of package names.
 245 sub htmlpackagelinks {
 246     my $pkgs = shift;
 247     return unless defined $pkgs and $pkgs ne '';
 248     my $strong = shift;
 249     my @pkglist = splitpackages($pkgs);
 250
 251     my $openstrong  = $strong ? '<strong>' : '';
 252     my $closestrong = $strong ? '</strong>' : '';
 253
 254     return 'Package' . (@pkglist > 1 ? 's' : '') . ': ' .
 255            join(', ',
 256                 map {
 257                     '<a href="' . pkgurl($_) . '">' .
 258                     $openstrong . htmlsanit($_) . $closestrong . '</a>'
 259                 } @pkglist
 260            );
 261 }
 262
 263 # Generate a comma-separated list of HTML links to each address given in
 264 # $addresses, which should be a comma-separated list of RFC822 addresses.
 265 # $urlfunc should be a reference to a function like mainturl or submitterurl
 266 # which returns the URL for each individual address.
 267 sub htmladdresslinks {
 268     my ($prefixfunc, $urlfunc, $addresses) = @_;
 269     if (defined $addresses and $addresses ne '') {
 270         my @addrs = getparsedaddrs($addresses);
 271         my $prefix = (ref $prefixfunc) ? $prefixfunc->(scalar @addrs)
 272                                        : $prefixfunc;
 273         return $prefix .
 274                join ', ', map { sprintf '<a href="%s">%s</a>',
 275                                         $urlfunc->($_->address),
 276                                         htmlsanit($_->format) || '(unknown)'
 277                               } @addrs;
 278     } else {
 279         my $prefix = (ref $prefixfunc) ? $prefixfunc->(1) : $prefixfunc;
 280         return sprintf '%s<a href="%s">(unknown)</a>', $prefix, $urlfunc->('');
 281     }
 282 }
 283
 284 # Generate a comma-separated list of HTML links to each maintainer given in
 285 # $maints, which should be a comma-separated list of RFC822 addresses.
 286 sub htmlmaintlinks {
 287     my ($prefixfunc, $maints) = @_;
 288     return htmladdresslinks($prefixfunc, \&mainturl, $maints);
 289 }
 290
 291 sub htmlindexentry {
 292     my $ref = shift;
 293     my %status = %{getbugstatus($ref)};
 294     return htmlindexentrystatus(%status) if (%status);
 295     return "";
 296 }
 297
 298 sub htmlindexentrystatus {
 299     my $s = shift;
 300     my %status = %{$s};
 301
 302     my $result = "";
 303
 304     if  ($status{severity} eq 'normal') {
 305         $showseverity = '';
 306     } elsif (isstrongseverity($status{severity})) {
 307         $showseverity = "<strong>Severity: $status{severity}</strong>;\n";
 308     } else {
 309         $showseverity = "Severity: <em>$status{severity}</em>;\n";
 310     }
 311
 312     $result .= htmlpackagelinks($status{"package"}, 1);
 313
 314     my $showversions = '';
 315     if (@{$status{found_versions}}) {
 316         my @found = @{$status{found_versions}};
 317         local $_;
 318         s{/}{ } foreach @found;
 319         $showversions .= join ', ', map htmlsanit($_), @found;
 320     }
 321     if (@{$status{fixed_versions}}) {
 322         $showversions .= '; ' if length $showversions;
 323         $showversions .= '<strong>fixed</strong>: ';
 324         my @fixed = @{$status{fixed_versions}};
 325         local $_;
 326         s{/}{ } foreach @fixed;
 327         $showversions .= join ', ', map htmlsanit($_), @fixed;
 328     }
 329     $result .= " ($showversions)" if length $showversions;
 330     $result .= ";\n";
 331
 332     $result .= $showseverity;
 333     $result .= htmladdresslinks("Reported by: ", \&submitterurl,
 334                                 $status{originator});
 335     $result .= ";\nOwned by: " . htmlsanit($status{owner})
 336                if length $status{owner};
 337     $result .= ";\nTags: <strong>"
 338                  . htmlsanit(join(", ", sort(split(/\s+/, $status{tags}))))
 339                  . "</strong>"
 340                        if (length($status{tags}));
 341
 342     my @merged= split(/ /,$status{mergedwith});
 343     my $mseparator= ";\nmerged with ";
 344     for my $m (@merged) {
 345         $result .= $mseparator."<A href=\"" . bugurl($m) . "\">#$m</A>";
 346         $mseparator= ", ";
 347     }
 348
 349     if (length($status{done})) {
 350         $result .= ";\n<strong>Done:</strong> " . htmlsanit($status{done});
 351         $days = ceil($debbugs::gRemoveAge - -M buglog($status{id}));
 352         if ($days >= 0) {
 353             $result .= ";\n<strong>Will be archived:</strong>" . ( $days == 0 ? " today" : $days == 1 ? " in $days day" : " in $days days" );
 354         } else {
 355             $result .= ";\n<strong>Archived</strong>";
 356         }
 357     }
 358
 359     unless (length($status{done})) {
 360         if (length($status{forwarded})) {
 361             $result .= ";\n<strong>Forwarded</strong> to "
 362                        . maybelink($status{forwarded});
 363         }
 364         my $daysold = int((time - $status{date}) / 86400);   # seconds to days
 365         if ($daysold >= 7) {
 366             my $font = "";
 367             my $efont = "";
 368             $font = "em" if ($daysold > 30);
 369             $font = "strong" if ($daysold > 60);
 370             $efont = "</$font>" if ($font);
 371             $font = "<$font>" if ($font);
 372
 373             my $yearsold = int($daysold / 365);
 374             $daysold -= $yearsold * 365;
 375
 376             $result .= ";\n $font";
 377             my @age;
 378             push @age, "1 year" if ($yearsold == 1);
 379             push @age, "$yearsold years" if ($yearsold > 1);
 380             push @age, "1 day" if ($daysold == 1);
 381             push @age, "$daysold days" if ($daysold > 1);
 382             $result .= join(" and ", @age);
 383             $result .= " old$efont";
 384         }
 385     }
 386
 387     $result .= ".";
 388
 389     return $result;
 390 }
 391
 392 sub urlargs {
 393     my $args = '';
 394     $args .= "&archive=yes" if $common_archive;
 395     $args .= "&repeatmerged=no" unless $common_repeatmerged;
 396     $args .= "&version=$common_version" if defined $common_version;
 397     $args .= "&dist=$common_dist" if defined $common_dist;
 398     $args .= "&arch=$common_arch" if defined $common_arch;
 399     return $args;
 400 }
 401
 402 sub submitterurl {
 403     my $ref = shift || "";
 404     my $params = "submitter=" . emailfromrfc822($ref);
 405     $params .= urlargs();
 406     return urlsanit("pkgreport.cgi" . "?" . $params);
 407 }
 408
 409 sub mainturl {
 410     my $ref = shift || "";
 411     my $params = "maint=" . emailfromrfc822($ref);
 412     $params .= urlargs();
 413     return urlsanit("pkgreport.cgi" . "?" . $params);
 414 }
 415
 416 sub pkgurl {
 417     my $ref = shift;
 418     my $params = "pkg=$ref";
 419     $params .= urlargs();
 420     return urlsanit("pkgreport.cgi" . "?" . "$params");
 421 }
 422
 423 sub srcurl {
 424     my $ref = shift;
 425     my $params = "src=$ref";
 426     $params .= urlargs();
 427     return urlsanit("pkgreport.cgi" . "?" . "$params");
 428 }
 429
 430 sub tagurl {
 431     my $ref = shift;
 432     my $params = "tag=$ref";
 433     $params .= urlargs();
 434     return urlsanit("pkgreport.cgi" . "?" . "$params");
 435 }
 436
 437 sub urlsanit {
 438     my $url = shift;
 439     $url =~ s/%/%25/g;
 440     $url =~ s/#/%23/g;
 441     $url =~ s/\+/%2b/g;
 442     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 443     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
 444     return $url;
 445 }
 446
 447 sub htmlsanit {
 448     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 449     my $in = shift || "";
 450     $in =~ s/([<>&"])/\&$saniarray{$1};/g;
 451     return $in;
 452 }
 453
 454 sub maybelink {
 455     my $in = shift;
 456     if ($in =~ /^[a-zA-Z0-9+.-]+:/) { # RFC 1738 scheme
 457         return qq{<a href="$in">} . htmlsanit($in) . '</a>';
 458     } else {
 459         return htmlsanit($in);
 460     }
 461 }
 462
 463 sub bugurl {
 464     my $ref = shift;
 465     my $params = "bug=$ref";
 466     foreach my $val (@_) {
 467         $params .= "\&msg=$1" if ($val =~ /^msg=([0-9]+)/);
 468         $params .= "\&archive=yes" if (!$common_archive && $val =~ /^archive.*$/);
 469     }
 470     $params .= "&archive=yes" if ($common_archive);
 471     $params .= "&repeatmerged=no" unless ($common_repeatmerged);
 472
 473     return urlsanit("bugreport.cgi" . "?" . "$params");
 474 }
 475
 476 sub dlurl {
 477     my $ref = shift;
 478     my $params = "bug=$ref";
 479     my $filename = '';
 480     foreach my $val (@_) {
 481         $params .= "\&$1=$2" if ($val =~ /^(msg|att)=([0-9]+)/);
 482         $filename = $1 if ($val =~ /^filename=(.*)$/);
 483     }
 484     $params .= "&archive=yes" if ($common_archive);
 485     my $pathinfo = '';
 486     $pathinfo = '/'.uri_escape($filename) if $filename ne '';
 487
 488     return urlsanit("bugreport.cgi$pathinfo?$params");
 489 }
 490
 491 sub mboxurl {
 492     my $ref = shift;
 493     return urlsanit("bugreport.cgi" . "?" . "bug=$ref&mbox=yes");
 494 }
 495
 496 sub allbugs {
 497     return @{getbugs(sub { 1 })};
 498 }
 499
 500 sub bugmatches(\%\%) {
 501     my ($hash, $status) = @_;
 502     foreach my $key( keys( %$hash ) ) {
 503         my $value = $hash->{$key};
 504         my $sub = $field_match{$key};
 505         return 1 if ($sub->($key, $value, $status));
 506     }
 507     return 0;
 508 }
 509 sub bugfilter($%) {
 510     my ($bug, %status) = @_;
 511     our (%seenmerged);
 512     if (%common_include) {
 513         return 1 if (!bugmatches(%common_include, %status));
 514     }
 515     if (%common_exclude) {
 516         return 1 if (bugmatches(%common_exclude, %status));
 517     }
 518     my @merged = sort {$a<=>$b} $bug, split(/ /, $status{mergedwith});
 519     return 1 unless ($common_repeatmerged || !$seenmerged{$merged[0]});
 520     $seenmerged{$merged[0]} = 1;
 521     return 0;
 522 }
 523
 524 sub htmlizebugs {
 525     $b = $_[0];
 526     my @bugs = @$b;
 527     my $anydone = 0;
 528
 529     my @status = ();
 530     my %count;
 531     my $header = '';
 532     my $footer = '';
 533
 534     if (@bugs == 0) {
 535         return "<HR><H2>No reports found!</H2></HR>\n";
 536     }
 537
 538     if ( $common_bug_reverse ) {
 539         @bugs = sort {$b<=>$a} @bugs;
 540     } else {
 541         @bugs = sort {$a<=>$b} @bugs;
 542     }
 543     my %seenmerged;
 544     foreach my $bug (@bugs) {
 545         my %status = %{getbugstatus($bug)};
 546         next unless %status;
 547         next if bugfilter($bug, %status);
 548
 549         my $html = sprintf "<li><a href=\"%s\">#%d: %s</a>\n<br>",
 550             bugurl($bug), $bug, htmlsanit($status{subject});
 551         $html .= htmlindexentrystatus(\%status) . "\n";
 552         my $key = join( '_', map( {$status{$_}} @common_grouping ) );
 553         $section{$key} .= $html;
 554         $count{"_$key"}++;
 555         foreach my $grouping ( @common_grouping ) {
 556             $count{"${grouping}_$status{$grouping}"}++;
 557         }
 558         $anydone = 1 if $status{pending} eq 'done';
 559         push @status, [ $bug, \%status, $html ];
 560     }
 561
 562     my $result = "";
 563     if ($common_raw_sort) {
 564         $result .= "<UL>\n" . join("", map( { $_->[ 2 ] } @status ) ) . "</UL>\n";
 565     } else {
 566         my (@order, @headers);
 567         for( my $i = 0; $i < @common_grouping; $i++ ) {
 568             my $grouping_name = $common_grouping[ $i ];
 569             my @items = @{ $common_grouping_order{ $grouping_name } };
 570             @items = reverse( @items ) if ( $common_reverse{ $grouping_name } );
 571             my @neworder = ();
 572             my @newheaders = ();
 573             if ( @order ) {
 574                 foreach my $grouping ( @items ) {
 575                     push @neworder, map( { "${_}_$grouping" } @order );
 576                     push @newheaders, map( { "$_ - $common_headers{$grouping_name}{$grouping}" } @headers );
 577                 }
 578                 @order = @neworder;
 579                 @headers = @newheaders;
 580             } else {
 581                 push @order, @items;
 582                 push @headers, map( { $common_headers{$common_grouping[$i]}{$_} } @items );
 583             }
 584         }
 585         $header .= "<ul>\n";
 586         for ( my $i = 0; $i < @order; $i++ ) {
 587             my $order = $order[ $i ];
 588             next unless defined $section{$order};
 589             my $count = $count{"_$order"};
 590             my $bugs = $count == 1 ? "bug" : "bugs";
 591             $header .= "<li><a href=\"#$order\">$headers[$i]</a> ($count $bugs)</li>\n";
 592         }
 593         $header .= "</ul>\n";
 594         for ( my $i = 0; $i < @order; $i++ ) {
 595             my $order = $order[ $i ];
 596             next unless defined $section{$order};
 597             if ($common{show_list_header}) {
 598                 my $count = $count{"_$order"};
 599                 my $bugs = $count == 1 ? "bug" : "bugs";
 600                 $result .= "<HR><H2><a name=\"$order\"></a>$headers[$i] ($count $bugs)</H2>\n";
 601             } else {
 602                 $result .= "<HR><H2>$headers[$i]</H2>\n";
 603             }
 604             $result .= "<UL>\n";
 605             $result .= $section{$order};
 606             $result .= "</UL>\n";
 607         }
 608         $footer .= "<ul>\n";
 609         foreach my $grouping ( @common_grouping ) {
 610             my $local_result = '';
 611             foreach my $key ( @{$common_grouping_order{ $grouping }} ) {
 612                 my $count = $count{"${grouping}_$key"};
 613                 next if !$count;
 614                 $local_result .= "<li>$count $common_headers{$grouping}{$key}</li>\n";
 615             }
 616             if ( $local_result ) {
 617                 $footer .= "<li>$common_grouping_display{$grouping}<ul>\n$local_result</ul></li>\n";
 618             }
 619         }
 620         $footer .= "</ul>\n";
 621     }
 622
 623     $result = $header . $result if ( $common{show_list_header} );
 624     $result .= $debbugs::gHTMLExpireNote if $debbugs::gRemoveAge and $anydone;
 625     $result .= "<hr>" . $footer if ( $common{show_list_footer} );
 626     return $result;
 627 }
 628
 629 sub countbugs {
 630     my $bugfunc = shift;
 631     if ($common_archive) {
 632         open I, "<$debbugs::gSpoolDir/index.archive"
 633             or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 634     } else {
 635         open I, "<$debbugs::gSpoolDir/index.db"
 636             or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 637     }
 638
 639     my %count = ();
 640     while(<I>)
 641     {
 642         if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 643             my @x = $bugfunc->(pkg => $1, bug => $2, status => $4,
 644                                submitter => $5, severity => $6, tags => $7);
 645             local $_;
 646             $count{$_}++ foreach @x;
 647         }
 648     }
 649     close I;
 650     return %count;
 651 }
 652
 653 sub getbugs {
 654     my $bugfunc = shift;
 655     my $opt = shift;
 656
 657     my @result = ();
 658
 659     my $fastidx;
 660     if (!defined $opt) {
 661         # leave $fastidx undefined;
 662     } elsif (!$common_archive) {
 663         $fastidx = "$debbugs::gSpoolDir/by-$opt.idx";
 664     } else {
 665         $fastidx = "$debbugs::gSpoolDir/by-$opt-arc.idx";
 666     }
 667
 668     if (defined $fastidx && -e $fastidx) {
 669         my %lookup;
 670 print STDERR "optimized\n" if ($debug);
 671         tie %lookup, DB_File => $fastidx, O_RDONLY
 672             or die "$0: can't open $fastidx ($!)\n";
 673         while ($key = shift) {
 674             my $bugs = $lookup{$key};
 675             if (defined $bugs) {
 676                 push @result, (unpack 'N*', $bugs);
 677             } elsif (defined $lookup{"count $key"}) {
 678                 my $which = 0;
 679                 while (1) {
 680                     $bugs = $lookup{"$which $key"};
 681                     last unless defined $bugs;
 682                     push @result, (unpack 'N*', $bugs);
 683                     $which += 100;
 684                 }
 685             }
 686         }
 687         untie %lookup;
 688 print STDERR "done optimized\n" if ($debug);
 689     } else {
 690         if ( $common_archive ) {
 691             open I, "<$debbugs::gSpoolDir/index.archive"
 692                 or &quitcgi("$debbugs::gSpoolDir/index.archive: $!");
 693         } else {
 694             open I, "<$debbugs::gSpoolDir/index.db"
 695                 or &quitcgi("$debbugs::gSpoolDir/index.db: $!");
 696         }
 697         while(<I>) {
 698             if (m/^(\S+)\s+(\d+)\s+(\d+)\s+(\S+)\s+\[\s*([^]]*)\s*\]\s+(\w+)\s+(.*)$/) {
 699                 if ($bugfunc->(pkg => $1, bug => $2, status => $4,
 700                             submitter => $5, severity => $6, tags => $7))
 701                 {
 702                     push (@result, $2);
 703                 }
 704             }
 705         }
 706         close I;
 707     }
 708     @result = sort {$a <=> $b} @result;
 709     return \@result;
 710 }
 711
 712 sub emailfromrfc822 {
 713     my $email = shift;
 714     $email =~ s/\s*\(.*\)\s*//;
 715     $email = $1 if ($email =~ m/<(.*)>/);
 716     return $email;
 717 }
 718
 719 sub maintencoded {
 720     my $input = shift;
 721     my $encoded = '';
 722
 723     while ($input =~ m/\W/) {
 724         $encoded.=$`.sprintf("-%02x_",unpack("C",$&));
 725         $input= $';
 726     }
 727
 728     $encoded.= $input;
 729     $encoded =~ s/-2e_/\./g;
 730     $encoded =~ s/^([^,]+)-20_-3c_(.*)-40_(.*)-3e_/$1,$2,$3,/;
 731     $encoded =~ s/^(.*)-40_(.*)-20_-28_([^,]+)-29_$/,$1,$2,$3/;
 732     $encoded =~ s/-20_/_/g;
 733     $encoded =~ s/-([^_]+)_-/-$1/g;
 734     return $encoded;
 735 }
 736
 737 my $_maintainer;
 738 sub getmaintainers {
 739     return $_maintainer if $_maintainer;
 740     my %maintainer;
 741
 742     open(MM,"$debbugs::gMaintainerFile") or &quitcgi("open $debbugs::gMaintainerFile: $!");
 743     while(<MM>) {
 744         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 745         ($a,$b)=($1,$2);
 746         $a =~ y/A-Z/a-z/;
 747         $maintainer{$a}= $b;
 748     }
 749     close(MM);
 750     if (defined $debbugs::gMaintainerFileOverride) {
 751         open(MM,"$debbugs::gMaintainerFileOverride") or &quitcgi("open $debbugs::gMaintainerFileOverride: $!");
 752         while(<MM>) {
 753             next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 754             ($a,$b)=($1,$2);
 755             $a =~ y/A-Z/a-z/;
 756             $maintainer{$a}= $b;
 757         }
 758         close(MM);
 759     }
 760     $_maintainer = \%maintainer;
 761     return $_maintainer;
 762 }
 763
 764 my $_pseudodesc;
 765 sub getpseudodesc {
 766     return $_pseudodesc if $_pseudodesc;
 767     my %pseudodesc;
 768
 769     open(PSEUDO, "< $debbugs::gPseudoDescFile") or &quitcgi("open $debbugs::gPseudoDescFile: $!");
 770     while(<PSEUDO>) {
 771         next unless m/^(\S+)\s+(\S.*\S)\s*$/;
 772         $pseudodesc{lc $1} = $2;
 773     }
 774     close(PSEUDO);
 775     $_pseudodesc = \%pseudodesc;
 776     return $_pseudodesc;
 777 }
 778
 779 sub getbugstatus {
 780     my $bugnum = shift;
 781
 782     my %status;
 783
 784     if ( $use_bug_idx eq 1 && exists( $bugidx{ $bugnum } ) ) {
 785         %status = %{ $bugidx{ $bugnum } };
 786         $status{ pending } = $status{ status };
 787         $status{ id } = $bugnum;
 788         return \%status;
 789     }
 790
 791     my $location = getbuglocation( $bugnum, 'summary' );
 792     return {} if ( !$location );
 793     %status = %{ readbug( $bugnum, $location ) };
 794     $status{ id } = $bugnum;
 795
 796     $status{tags} = $status{keywords};
 797     my %tags = map { $_ => 1 } split ' ', $status{tags};
 798
 799     $status{"package"} =~ s/\s*$//;
 800     $status{"package"} = 'unknown' if ($status{"package"} eq '');
 801     $status{"severity"} = 'normal' if ($status{"severity"} eq '');
 802
 803     $status{"pending"} = 'pending';
 804     $status{"pending"} = 'forwarded'        if (length($status{"forwarded"}));
 805     $status{"pending"} = 'pending-fixed'    if ($tags{pending});
 806     $status{"pending"} = 'fixed'            if ($tags{fixed});
 807
 808     my @versions;
 809     if (defined $common_version) {
 810         @versions = ($common_version);
 811     } elsif (defined $common_dist) {
 812         @versions = getversions($status{package}, $common_dist, $common_arch);
 813     }
 814
 815     # TODO: This should probably be handled further out for efficiency and
 816     # for more ease of distinguishing between pkg= and src= queries.
 817     my @sourceversions = makesourceversions($status{package}, $common_arch,
 818                                             @versions);
 819
 820     if (@sourceversions) {
 821         # Resolve bugginess states (we might be looking at multiple
 822         # architectures, say). Found wins, then fixed, then absent.
 823         my $maxbuggy = 'absent';
 824         for my $version (@sourceversions) {
 825             my $buggy = buggyversion($bugnum, $version, \%status);
 826             if ($buggy eq 'found') {
 827                 $maxbuggy = 'found';
 828                 last;
 829             } elsif ($buggy eq 'fixed' and $maxbuggy ne 'found') {
 830                 $maxbuggy = 'fixed';
 831             }
 832         }
 833         if ($maxbuggy eq 'absent') {
 834             $status{"pending"} = 'absent';
 835         } elsif ($maxbuggy eq 'fixed') {
 836             $status{"pending"} = 'done';
 837         }
 838     }
 839
 840     if (length($status{done}) and
 841             (not @sourceversions or not @{$status{fixed_versions}})) {
 842         $status{"pending"} = 'done';
 843     }
 844
 845     return \%status;
 846 }
 847
 848 sub buglog {
 849     my $bugnum = shift;
 850     my $location = getbuglocation($bugnum, 'log');
 851     return getbugcomponent($bugnum, 'log', $location) if ($location);
 852     $location = getbuglocation($bugnum, 'log.gz');
 853     return getbugcomponent($bugnum, 'log.gz', $location);
 854 }
 855
 856 # Canonicalize versions into source versions, which have an explicitly
 857 # named source package. This is used to cope with source packages whose
 858 # names have changed during their history, and with cases where source
 859 # version numbers differ from binary version numbers.
 860 sub makesourceversions {
 861     my $pkg = shift;
 862     my $arch = shift;
 863     my %sourceversions;
 864
 865     for my $version (@_) {
 866         if ($version =~ m[/]) {
 867             # Already a source version.
 868             $sourceversions{$version} = 1;
 869         } else {
 870             my @srcinfo = binarytosource($pkg, $version, $arch);
 871             unless (@srcinfo) {
 872                 # We don't have explicit information about the
 873                 # binary-to-source mapping for this version (yet). Since
 874                 # this is a CGI script and our output is transient, we can
 875                 # get away with just looking in the unversioned map; if it's
 876                 # wrong (as it will be when binary and source package
 877                 # versions differ), too bad.
 878                 my $pkgsrc = getpkgsrc();
 879                 if (exists $pkgsrc->{$pkg}) {
 880                     @srcinfo = ([$pkgsrc->{$pkg}, $version]);
 881                 } else {
 882                     next;
 883                 }
 884             }
 885             $sourceversions{"$_->[0]/$_->[1]"} = 1 foreach @srcinfo;
 886         }
 887     }
 888
 889     return sort keys %sourceversions;
 890 }
 891
 892 my %_versionobj;
 893 sub buggyversion {
 894     my ($bug, $ver, $status) = @_;
 895     return '' unless defined $debbugs::gVersionPackagesDir;
 896     my $src = getpkgsrc()->{$status->{package}};
 897     $src = $status->{package} unless defined $src;
 898
 899     my $tree;
 900     if (exists $_versionobj{$src}) {
 901         $tree = $_versionobj{$src};
 902     } else {
 903         $tree = Debbugs::Versions->new(\&DpkgVer::vercmp);
 904         my $srchash = substr $src, 0, 1;
 905         if (open VERFILE, "< $debbugs::gVersionPackagesDir/$srchash/$src") {
 906             $tree->load(\*VERFILE);
 907             close VERFILE;
 908         }
 909         $_versionobj{$src} = $tree;
 910     }
 911
 912     my @found = makesourceversions($status->{package}, undef,
 913                                    @{$status->{found_versions}});
 914     my @fixed = makesourceversions($status->{package}, undef,
 915                                    @{$status->{fixed_versions}});
 916
 917     return $tree->buggy($ver, \@found, \@fixed);
 918 }
 919
 920 my %_versions;
 921 sub getversions {
 922     my ($pkg, $dist, $arch) = @_;
 923     return () unless defined $debbugs::gVersionIndex;
 924     $dist = 'unstable' unless defined $dist;
 925
 926     unless (tied %_versions) {
 927         tie %_versions, 'MLDBM', $debbugs::gVersionIndex, O_RDONLY
 928             or die "can't open versions index: $!";
 929     }
 930
 931     if (defined $arch and exists $_versions{$pkg}{$dist}{$arch}) {
 932         my $ver = $_versions{$pkg}{$dist}{$arch};
 933         return $ver if defined $ver;
 934         return ();
 935     } else {
 936         my %uniq;
 937         for my $ar (keys %{$_versions{$pkg}{$dist}}) {
 938             $uniq{$_versions{$pkg}{$dist}{$ar}} = 1 unless $ar eq 'source';
 939         }
 940         return keys %uniq;
 941     }
 942 }
 943
 944 sub getversiondesc {
 945     my $pkg = shift;
 946
 947     if (defined $common_version) {
 948         return "version $common_version";
 949     } elsif (defined $common_dist) {
 950         my @distvers = getversions($pkg, $common_dist, $common_arch);
 951         @distvers = sort @distvers;
 952         local $" = ', ';
 953         if (@distvers > 1) {
 954             return "versions @distvers";
 955         } elsif (@distvers == 1) {
 956             return "version @distvers";
 957         }
 958     }
 959
 960     return undef;
 961 }
 962
 963 1;