scripts/service

   1 #!/usr/bin/perl
   2 # $Id: service.in,v 1.118 2005/10/19 01:22:14 don Exp $
   3 #
   4 # Usage: service <code>.nn
   5 # Temps:  incoming/P<code>.nn
   6
   7 use warnings;
   8 use strict;
   9
  10 use locale;
  11 use POSIX qw(strftime locale_h);
  12 setlocale(LC_TIME, "C");
  13
  14 use Debbugs::Config qw(:globals :config);
  15
  16 use File::Copy;
  17 use MIME::Parser;
  18
  19 use Params::Validate qw(:types validate_with);
  20
  21 use Debbugs::Common qw(:util :quit :misc :lock);
  22
  23 use Debbugs::Status qw(:read :status :write :versions :hook);
  24 use Debbugs::Packages qw(binary_to_source);
  25
  26 use Debbugs::MIME qw(decode_rfc1522 encode_rfc1522 create_mime_message);
  27 use Debbugs::Mail qw(send_mail_message);
  28 use Debbugs::User;
  29 use Debbugs::Recipients qw(:all);
  30 use HTML::Entities qw(encode_entities);
  31 use Debbugs::Versions::Dpkg;
  32
  33 use Debbugs::Status qw(splitpackages);
  34
  35 use Debbugs::CGI qw(html_escape);
  36 use Debbugs::Control qw(:all);
  37 use Debbugs::Control::Service qw(:all);
  38 use Debbugs::Log qw(:misc);
  39 use Debbugs::Text qw(:templates);
  40
  41 use Scalar::Util qw(looks_like_number);
  42
  43 use List::Util qw(first);
  44
  45 use Mail::RFC822::Address;
  46 use Encode qw(decode encode);
  47
  48 chdir($config{spool_dir}) or
  49      die "Unable to chdir to spool_dir '$config{spool_dir}': $!";
  50
  51 my $debug = 0;
  52 umask(002);
  53
  54 my ($nn,$control) = $ARGV[0] =~ m/^(([RC])\.\d+)$/;
  55 if (not defined $control or not defined $nn) {
  56      die "Bad argument to service.in";
  57 }
  58 if (!rename("incoming/G$nn","incoming/P$nn")) {
  59     defined $! and $! =~ m/no such file or directory/i and exit 0;
  60     die "Failed to rename incoming/G$nn to incoming/P$nn: $!";
  61 }
  62
  63 my $log_fh = IO::File->new("incoming/P$nn",'r') or
  64      die "Unable to open incoming/P$nn for reading: $!";
  65 my @log=<$log_fh>;
  66 my @msg=@log;
  67 close($log_fh);
  68
  69 chomp @msg;
  70
  71 print "###\n",join("##\n",@msg),"\n###\n" if $debug;
  72
  73 # Bug numbers to send e-mail to, hash so that we don't send to the
  74 # same bug twice.
  75 my (%bug_affected);
  76
  77 my (@headerlines,@bodylines);
  78
  79 my $parse_output = Debbugs::MIME::parse(join('',@log));
  80 @headerlines = @{$parse_output->{header}};
  81 @bodylines = @{$parse_output->{body}};
  82
  83 my %header;
  84 for (@headerlines) {
  85     $_ = decode_rfc1522($_);
  86     s/\n\s/ /g;
  87     print ">$_<\n" if $debug;
  88     if (s/^(\S+):\s*//) {
  89         my $v = lc $1;
  90         print ">$v=$_<\n" if $debug;
  91         $header{$v} = $_;
  92     } else {
  93         print "!>$_<\n" if $debug;
  94     }
  95 }
  96 $header{'message-id'} ||= '';
  97 $header{subject} ||= '';
  98
  99 grep(s/\s+$//,@bodylines);
 100
 101 print "***\n",join("\n",@bodylines),"\n***\n" if $debug;
 102
 103 if (defined $header{'resent-from'} && !defined $header{'from'}) {
 104     $header{'from'} = $header{'resent-from'};
 105 }
 106
 107 defined($header{'from'}) || die "no From header";
 108
 109 delete $header{'reply-to'}
 110         if ( defined($header{'reply-to'}) && $header{'reply-to'} =~ m/^\s*$/ );
 111
 112 my $replyto;
 113 if ( defined($header{'reply-to'}) && $header{'reply-to'} ne "" ) {
 114     $replyto = $header{'reply-to'};
 115 } else {
 116     $replyto = $header{'from'};
 117 }
 118
 119 # This is an error counter which should be incremented every time there is an error.
 120 my $errors = 0;
 121 my $controlrequestaddr= ($control ? 'control' : 'request').'@'.$config{email_domain};
 122 my $transcript_scalar = '';
 123 open my $transcript, ">:scalar:utf8", \$transcript_scalar or
 124      die "Unable to create transcript scalar: $!";
 125 print {$transcript} "Processing commands for $controlrequestaddr:\n\n";
 126
 127
 128 my $dl = 0;
 129 my %affected_packages;
 130 my %recipients;
 131 # this is the hashref which is passed to all control calls
 132 my %limit = ();
 133
 134
 135 my @common_control_options =
 136     (transcript        => $transcript,
 137      requester         => $header{from},
 138      request_addr      => $controlrequestaddr,
 139      request_msgid     => $header{'message-id'},
 140      request_subject   => $header{subject},
 141      request_nn        => $nn,
 142      request_replyto   => $replyto,
 143      message           => \@log,
 144      affected_bugs     => \%bug_affected,
 145      affected_packages => \%affected_packages,
 146      recipients        => \%recipients,
 147      limit             => \%limit,
 148     );
 149
 150 my $state= 'idle';
 151 my $lowstate= 'idle';
 152 my $mergelowstate= 'idle';
 153 my $midix=0;
 154
 155 my $user = $replyto;
 156 $user =~ s/,.*//;
 157 $user =~ s/^.*<(.*)>.*$/$1/;
 158 $user =~ s/[(].*[)]//;
 159 $user =~ s/^\s*(\S+)\s+.*$/$1/;
 160 $user = "" unless (Debbugs::User::is_valid_user($user));
 161 my $indicated_user = 0;
 162
 163 my $quickabort = 0;
 164
 165
 166 if (@gExcludeFromControl and grep {$replyto =~ m/\Q$_\E/} @gExcludeFromControl) {
 167         print {$transcript} fill_template('mail/excluded_from_control');
 168         $quickabort = 1;
 169 }
 170
 171 my %limit_pkgs = ();
 172 my %clonebugs = ();
 173 my %bcc = ();
 174
 175
 176 our $data;
 177 our $message;
 178 our $extramessage;
 179 our $ref;
 180
 181 our $mismatch;
 182 our $action;
 183
 184
 185 my $ok = 0;
 186 my $unknowns = 0;
 187 my $procline=0;
 188 for ($procline=0; $procline<=$#bodylines; $procline++) {
 189     my $noriginator;
 190     my $newsubmitter;
 191     my $oldsubmitter;
 192     my $newowner;
 193     $state eq 'idle' || print "state: $state ?\n";
 194     $lowstate eq 'idle' || print "lowstate: $lowstate ?\n";
 195     $mergelowstate eq 'idle' || print "mergelowstate: $mergelowstate ?\n";
 196     if ($quickabort) {
 197          print {$transcript} "Stopping processing here.\n\n";
 198          last;
 199     }
 200     $_= $bodylines[$procline]; s/\s+$//;
 201     # Remove BOM markers from UTF-8 strings
 202     # Fixes #488554
 203     s/\xef\xbb\xbf//g;
 204     next unless m/\S/;
 205     eval {
 206         my $temp = decode("utf8",$_,Encode::FB_CROAK);
 207         $_ = $temp;
 208     };
 209     print {$transcript} "> $_\n";
 210     next if m/^\s*\#/;
 211     $action= '';
 212     if (m/^(?:stop|quit|--|thank(?:s|\s*you)?|kthxbye)\.*\s*$/i) {
 213         print {$transcript} "Stopping processing here.\n\n";
 214         last;
 215     } elsif (m/^debug\s+(\d+)$/i && $1 >= 0 && $1 <= 1000) {
 216         $dl= $1+0;
 217         if ($dl > 0 and not grep /debug/,@common_control_options) {
 218             push @common_control_options,(debug => $transcript);
 219         }
 220         print {$transcript} "Debug level $dl.\n\n";
 221     } elsif (m/^(send|get)\s+\#?(\d{2,})$/i) {
 222         $ref= $2+0;
 223         &sendlynxdoc("bugreport.cgi?bug=$ref","logs for $gBug#$ref");
 224     } elsif (m/^send-detail\s+\#?(\d{2,})$/i) {
 225         $ref= $1+0;
 226         &sendlynxdoc("bugreport.cgi?bug=$ref&boring=yes",
 227                      "detailed logs for $gBug#$ref");
 228     } elsif (m/^index(\s+full)?$/i) {
 229         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
 230         $errors++;
 231         $ok++; # well, it's not really ok, but it fixes #81224 :)
 232     } elsif (m/^index-summary\s+by-package$/i) {
 233         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
 234         $errors++;
 235         $ok++; # well, it's not really ok, but it fixes #81224 :)
 236     } elsif (m/^index-summary(\s+by-number)?$/i) {
 237         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
 238         $errors++;
 239         $ok++; # well, it's not really ok, but it fixes #81224 :)
 240     } elsif (m/^index(\s+|-)pack(age)?s?$/i) {
 241         &sendlynxdoc("pkgindex.cgi?indexon=pkg",'index of packages');
 242     } elsif (m/^index(\s+|-)maints?$/i) {
 243         &sendlynxdoc("pkgindex.cgi?indexon=maint",'index of maintainers');
 244     } elsif (m/^index(\s+|-)maint\s+(\S+)$/i) {
 245         my $maint = $2;
 246         &sendlynxdoc("pkgreport.cgi?maint=" . urlsanit($maint),
 247                      "$gBug list for maintainer \`$maint'");
 248         $ok++;
 249     } elsif (m/^index(\s+|-)pack(age)?s?\s+(\S.*\S)$/i) {
 250         my $package = $+;
 251         &sendlynxdoc("pkgreport.cgi?pkg=" . urlsanit($package),
 252                      "$gBug list for package $package");
 253         $ok++;
 254     } elsif (m/^send-unmatched(\s+this|\s+-?0)?$/i) {
 255         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
 256         $errors++;
 257         $ok++; # well, it's not really ok, but it fixes #81224 :)
 258     } elsif (m/^send-unmatched\s+(last|-1)$/i) {
 259         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
 260         $errors++;
 261         $ok++; # well, it's not really ok, but it fixes #81224 :)
 262     } elsif (m/^send-unmatched\s+(old|-2)$/i) {
 263         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
 264         $errors++;
 265         $ok++; # well, it's not really ok, but it fixes #81224 :)
 266     } elsif (m/^getinfo\s+([\w.-]+)$/i) {
 267         # the following is basically a Debian-specific kludge, but who cares
 268         my $req = $1;
 269         if ($req =~ /^maintainers$/i && -f "$gConfigDir/Maintainers") {
 270             &sendinfo("local", "$gConfigDir/Maintainers", "Maintainers file");
 271         } elsif ($req =~ /^override\.(\w+)\.([\w.-]+)$/i) {
 272             $req =~ s/.gz$//;
 273             &sendinfo("ftp.d.o", "$req", "override file for $2 part of $1 distribution");
 274         } elsif ($req =~ /^pseudo-packages\.(description|maintainers)$/i && -f "$gConfigDir/$req") {
 275             &sendinfo("local", "$gConfigDir/$req", "$req file");
 276         } else {
 277             print {$transcript} "Info file $req does not exist.\n\n";
 278         }
 279     } elsif (m/^help/i) {
 280         &sendhelp;
 281         print {$transcript} "\n";
 282         $ok++;
 283     } elsif (m/^refcard/i) {
 284         &sendtxthelp("bug-mailserver-refcard.txt","mail servers' reference card");
 285     } elsif (m/^subscribe/i) {
 286         print {$transcript} <<END;
 287 There is no $gProject $gBug mailing list.  If you wish to review bug reports
 288 please do so via http://$gWebDomain/ or ask this mail server
 289 to send them to you.
 290 soon: MAILINGLISTS_TEXT
 291 END
 292     } elsif (m/^unsubscribe/i) {
 293         print {$transcript} <<END;
 294 soon: UNSUBSCRIBE_TEXT
 295 soon: MAILINGLISTS_TEXT
 296 END
 297     } elsif (m/^user\s+(\S+)\s*$/i) {
 298         my $newuser = $1;
 299         if (Debbugs::User::is_valid_user($newuser)) {
 300             my $olduser = ($user ne "" ? " (was $user)" : "");
 301             print {$transcript} "Setting user to $newuser$olduser.\n";
 302             $user = $newuser;
 303             $indicated_user = 1;
 304         } else {
 305             print {$transcript} "Selected user id ($newuser) invalid, sorry\n";
 306             $errors++;
 307             $user = "";
 308             $indicated_user = 1;
 309         }
 310     } elsif (m/^usercategory\s+(\S+)(\s+\[hidden\])?\s*$/i) {
 311         $ok++;
 312         my $catname = $1;
 313         my $hidden = (defined $2 and $2 ne "");
 314
 315         my $prefix = "";
 316         my @cats;
 317         my $bad = 0;
 318         my $catsec = 0;
 319         if ($user eq "") {
 320             print {$transcript} "No valid user selected\n";
 321             $errors++;
 322             next;
 323         }
 324         if (not $indicated_user and defined $user) {
 325              print {$transcript} "User is $user\n";
 326              $indicated_user = 1;
 327         }
 328         my @ords = ();
 329         while (++$procline <= $#bodylines) {
 330             unless ($bodylines[$procline] =~ m/^\s*([*+])\s*(\S.*)$/) {
 331                 $procline--;
 332                 last;
 333             }
 334             print {$transcript} "> $bodylines[$procline]\n";
 335             next if $bad;
 336             my ($o, $txt) = ($1, $2);
 337             if ($#cats == -1 && $o eq "+") {
 338                 print {$transcript} "User defined category specification must start with a category name. Skipping.\n\n";
 339                 $errors++;
 340                 $bad = 1;
 341                 next;
 342             }
 343             if ($o eq "+") {
 344                 unless (ref($cats[-1]) eq "HASH") {
 345                     $cats[-1] = { "nam" => $cats[-1],
 346                                   "pri" => [], "ttl" => [] };
 347                 }
 348                 $catsec++;
 349                 my ($desc, $ord, $op);
 350                 if ($txt =~ m/^(.*\S)\s*\[((\d+):\s*)?\]\s*$/) {
 351                     $desc = $1; $ord = $3; $op = "";
 352                 } elsif ($txt =~ m/^(.*\S)\s*\[((\d+):\s*)?(\S+)\]\s*$/) {
 353                     $desc = $1; $ord = $3; $op = $4;
 354                 } elsif ($txt =~ m/^([^[\s]+)\s*$/) {
 355                     $desc = ""; $op = $1;
 356                 } else {
 357                     print {$transcript} "Unrecognised syntax for category section. Skipping.\n\n";
 358                     $errors++;
 359                     $bad = 1;
 360                     next;
 361                 }
 362                 $ord = 999 unless defined $ord;
 363
 364                 if ($op) {
 365                     push @{$cats[-1]->{"pri"}}, $prefix . $op;
 366                     push @{$cats[-1]->{"ttl"}}, $desc;
 367                     push @ords, "$ord $catsec";
 368                 } else {
 369                     $cats[-1]->{"def"} = $desc;
 370                     push @ords, "$ord DEF";
 371                     $catsec--;
 372                 }
 373                 @ords = sort {
 374                     my ($a1, $a2, $b1, $b2) = split / /, "$a $b";
 375                     ((looks_like_number($a1) and looks_like_number($a2))?$a1 <=> $b1:$a1 cmp $b1) ||
 376                     ((looks_like_number($a2) and looks_like_number($b2))?$a2 <=> $b2:$a2 cmp $b2);
 377                 } @ords;
 378                 $cats[-1]->{"ord"} = [map { m/^.* (\S+)/; $1 eq "DEF" ? $catsec + 1 : $1 } @ords];
 379             } elsif ($o eq "*") {
 380                 $catsec = 0;
 381                 my ($name);
 382                 if ($txt =~ m/^(.*\S)(\s*\[(\S+)\])\s*$/) {
 383                     $name = $1; $prefix = $3;
 384                 } else {
 385                     $name = $txt; $prefix = "";
 386                 }
 387                 push @cats, $name;
 388             }
 389         }
 390         # XXX: got @cats, now do something with it
 391         my $u = Debbugs::User::get_user($user);
 392         if (@cats) {
 393             print {$transcript} "Added usercategory $catname.\n\n";
 394             $u->{"categories"}->{$catname} = [ @cats ];
 395             if (not $hidden) {
 396                  push @{$u->{visible_cats}},$catname;
 397             }
 398         } else {
 399             print {$transcript} "Removed usercategory $catname.\n\n";
 400             delete $u->{"categories"}->{$catname};
 401             @{$u->{visible_cats}} = grep {$_ ne $catname} @{$u->{visible_cats}};
 402         }
 403         $u->write();
 404     } elsif (m/^usertags?\s+\#?(-?\d+)\s+(([=+-])\s*)?(\S.*)?$/i) {
 405         $ok++;
 406         $ref = $1;
 407         my $addsubcode = $3 || "+";
 408         my $tags = $4;
 409         if ($ref =~ m/^-\d+$/ && defined $clonebugs{$ref}) {
 410              $ref = $clonebugs{$ref};
 411         }
 412         if ($user eq "") {
 413             print {$transcript} "No valid user selected\n";
 414             $errors++;
 415             $indicated_user = 1;
 416         } elsif (check_limit(data => read_bug(bug => $ref),
 417                              limit => \%limit,
 418                              transcript => $transcript)) {
 419             if (not $indicated_user and defined $user) {
 420                  print {$transcript} "User is $user\n";
 421                  $indicated_user = 1;
 422             }
 423             my %ut;
 424             Debbugs::User::read_usertags(\%ut, $user);
 425             my @oldtags = (); my @newtags = (); my @badtags = ();
 426             my %chtags;
 427             if (defined $tags and length $tags) {
 428                  for my $t (split /[,\s]+/, $tags) {
 429                       if ($t =~ m/^[a-zA-Z0-9.+\@-]+$/) {
 430                            $chtags{$t} = 1;
 431                       } else {
 432                            push @badtags, $t;
 433                       }
 434                  }
 435             }
 436             if (@badtags) {
 437                 print {$transcript} "Ignoring illegal tag/s: ".join(', ', @badtags).".\nPlease use only alphanumerics, at, dot, plus and dash.\n";
 438                 $errors++;
 439             }
 440             for my $t (keys %chtags) {
 441                 $ut{$t} = [] unless defined $ut{$t};
 442             }
 443             for my $t (keys %ut) {
 444                 my %res = map { ($_, 1) } @{$ut{$t}};
 445                 push @oldtags, $t if defined $res{$ref};
 446                 my $addop = ($addsubcode eq "+" or $addsubcode eq "=");
 447                 my $del = (defined $chtags{$t} ? $addsubcode eq "-"
 448                                                : $addsubcode eq "=");
 449                 $res{$ref} = 1 if ($addop && defined $chtags{$t});
 450                 delete $res{$ref} if ($del);
 451                 push @newtags, $t if defined $res{$ref};
 452                 $ut{$t} = [ sort { $a <=> $b } (keys %res) ];
 453             }
 454             if (@oldtags == 0) {
 455                 print {$transcript} "There were no usertags set.\n";
 456             } else {
 457                 print {$transcript} "Usertags were: " . join(" ", @oldtags) . ".\n";
 458             }
 459             print {$transcript} "Usertags are now: " . join(" ", @newtags) . ".\n";
 460             Debbugs::User::write_usertags(\%ut, $user);
 461         }
 462     } elsif (!$control) {
 463         print {$transcript} <<END;
 464 Unknown command or malformed arguments to command.
 465 (Use control\@$gEmailDomain to manipulate reports.)
 466
 467 END
 468         #### "developer only" ones start here
 469     } elsif (defined valid_control($_)) {
 470         my ($new_errors,$terminate_control) =
 471             control_line(line => $_,
 472                          clonebugs => \%clonebugs,
 473                          limit => \%limit,
 474                          common_control_options => \@common_control_options,
 475                          errors => \$errors,
 476                          transcript => $transcript,
 477                          debug => $debug,
 478                          ok => \$ok,
 479                          replyto => $replyto,
 480                         );
 481         if ($terminate_control) {
 482             last;
 483         }
 484     } else {
 485         print {$transcript} "Unknown command or malformed arguments to command.\n";
 486         $errors++;
 487         if (++$unknowns >= 5) {
 488             print {$transcript} "Too many unknown commands, stopping here.\n\n";
 489             last;
 490         }
 491     }
 492 }
 493 if ($procline>$#bodylines) {
 494     print {$transcript} ">\nEnd of message, stopping processing here.\n\n";
 495 }
 496 if (!$ok && !$quickabort) {
 497     $errors++;
 498     print {$transcript} "No commands successfully parsed; sending the help text(s).\n";
 499     &sendhelp;
 500     print {$transcript} "\n";
 501 }
 502
 503 my @maintccs = determine_recipients(recipients => \%recipients,
 504                                     address_only => 1,
 505                                     cc => 1,
 506                                    );
 507 if (!defined $header{'subject'} || $header{'subject'} eq "") {
 508   $header{'subject'} = "your mail";
 509 }
 510
 511 # Error text here advertises how many errors there were
 512 my $error_text = $errors > 0 ? " (with $errors errors)":'';
 513
 514 my @common_headers;
 515 push @common_headers, 'X-Loop',$gMaintainerEmail;
 516
 517 my $temp_transcript = $transcript_scalar;
 518 eval{
 519     $temp_transcript = decode("utf8",$temp_transcript,Encode::FB_CROAK);
 520 };
 521 my $reply =
 522     create_mime_message([From          => "$gMaintainerEmail ($gProject $gBug Tracking System)",
 523                          To            => $replyto,
 524                          @maintccs ? (Cc => join(', ',@maintccs)):(),
 525                          Subject       => "Processed${error_text}: $header{subject}",
 526                          'Message-ID'  => "<handler.s.$nn.transcript\@$gEmailDomain>",
 527                          'In-Reply-To' => $header{'message-id'},
 528                          References    => join(' ',grep {defined $_} $header{'message-id'},$data->{msgid}),
 529                          Precedence    => 'bulk',
 530                          keys %affected_packages ?("X-${gProject}-PR-Package" => join(' ',keys %affected_packages)):(),
 531                          keys %affected_packages ?("X-${gProject}-PR-Source" =>
 532                                                    join(' ',
 533                                                         map {defined $_ ?(ref($_)?@{$_}:$_):()}
 534                                                         binary_to_source(binary => [keys %affected_packages],
 535                                                                          source_only => 1))):(),
 536                          "X-$gProject-PR-Message" => 'transcript',
 537                          @common_headers,
 538                         ],
 539                         fill_template('mail/message_body',
 540                                       {body => "${temp_transcript}Please contact me if you need assistance."},
 541                                      ));
 542
 543 my $repliedshow= join(', ',$replyto,
 544                       determine_recipients(recipients => \%recipients,
 545                                            cc => 1,
 546                                            address_only => 1,
 547                                           )
 548                      );
 549
 550 utime(time,time,"db-h");
 551
 552 &sendmailmessage($reply,
 553                  exists $header{'x-debbugs-no-ack'}?():$replyto,
 554                  make_list(values %{{determine_recipients(recipients => \%recipients,
 555                                                           address_only => 1,
 556                                                          )}}
 557                           ),
 558                 );
 559
 560 unlink("incoming/P$nn") || die "unlinking incoming/P$nn: $!";
 561
 562 sub sendmailmessage {
 563     my ($message,@recips) = @_;
 564     $message = "X-Loop: $gMaintainerEmail\n" . $message;
 565     send_mail_message(message    => $message,
 566                       recipients => \@recips,
 567                      );
 568     $midix++;
 569 }
 570
 571 sub fill_template{
 572      my ($template,$extra_var) = @_;
 573      $extra_var ||={};
 574      my $variables = {config => \%config,
 575                       defined($ref)?(ref    => $ref):(),
 576                       defined($data)?(data  => $data):(),
 577                       refs => [map {exists $clonebugs{$_}?$clonebugs{$_}:$_} keys %bug_affected],
 578                       %{$extra_var},
 579                      };
 580      my $hole_var = {'&bugurl' =>
 581                      sub{"$_[0]: ".
 582                               'http://'.$config{cgi_domain}.'/'.
 583                                    Debbugs::CGI::bug_links(bug=>$_[0],
 584                                                            links_only => 1,
 585                                                           );
 586                     }
 587                     };
 588      return fill_in_template(template => $template,
 589                              variables => $variables,
 590                              hole_var  => $hole_var,
 591                             );
 592 }
 593
 594 =head2 message_body_template
 595
 596      message_body_template('mail/ack',{ref=>'foo'});
 597
 598 Creates a message body using a template
 599
 600 =cut
 601
 602 sub message_body_template{
 603      my ($template,$extra_var) = @_;
 604      $extra_var ||={};
 605      my $body = fill_template($template,$extra_var);
 606      return fill_template('mail/message_body',
 607                           {%{$extra_var},
 608                            body => $body,
 609                           },
 610                          );
 611 }
 612
 613 sub sendhelp {
 614      if ($control) {
 615           &sendtxthelpraw("bug-maint-mailcontrol.txt","instructions for control\@$gEmailDomain")
 616      }
 617      else {
 618           &sendtxthelpraw("bug-log-mailserver.txt","instructions for request\@$gEmailDomain");
 619      }
 620 }
 621
 622 #sub unimplemented {
 623 #    print {$transcript} "Sorry, command $_[0] not yet implemented.\n\n";
 624 #}
 625 our %checkmatch_values;
 626 sub checkmatch {
 627     my ($string,$mvarname,$svarvalue,@newmergelist) = @_;
 628     my ($mvarvalue);
 629     if (@newmergelist) {
 630         $mvarvalue = $checkmatch_values{$mvarname};
 631         print {$transcript} "D| checkmatch \`$string' /$mvarname/$mvarvalue/$svarvalue/\n"
 632             if $dl;
 633         $mismatch .=
 634             "Values for \`$string' don't match:\n".
 635             " #$newmergelist[0] has \`$mvarvalue';\n".
 636             " #$ref has \`$svarvalue'\n"
 637             if $mvarvalue ne $svarvalue;
 638     } else {
 639          print {$transcript} "D| setupmatch \`$string' /$mvarname/$svarvalue/\n"
 640               if $dl;
 641          $checkmatch_values{$mvarname} = $svarvalue;
 642     }
 643 }
 644
 645 sub checkpkglimit {
 646     if (keys %limit_pkgs and not defined $limit_pkgs{$data->{package}}) {
 647         print {$transcript} "$gBug number $ref belongs to package $data->{package}, skipping.\n\n";
 648         $errors++;
 649         return 0;
 650     }
 651     return 1;
 652 }
 653
 654 sub manipset {
 655     my $list = shift;
 656     my $elt = shift;
 657     my $add = shift;
 658
 659     my %h = map { $_ => 1 } split ' ', $list;
 660     if ($add) {
 661         $h{$elt}=1;
 662     }
 663     else {
 664         delete $h{$elt};
 665     }
 666     return join ' ', sort keys %h;
 667 }
 668
 669 # High-level bug manipulation calls
 670 # Do announcements themselves
 671 #
 672 # Possible calling sequences:
 673 #    setbug (returns 0)
 674 #
 675 #    setbug (returns 1)
 676 #    &transcript(something)
 677 #    nochangebug
 678 #
 679 #    setbug (returns 1)
 680 #    $action= (something)
 681 #    do {
 682 #      (modify s_* variables)
 683 #    } while (getnextbug);
 684
 685 our $manybugs;
 686
 687 sub nochangebug {
 688     &dlen("nochangebug");
 689     $state eq 'single' || $state eq 'multiple' || die "$state ?";
 690     &cancelbug;
 691     &endmerge if $manybugs;
 692     $state= 'idle';
 693     &dlex("nochangebug");
 694 }
 695
 696 our $sref;
 697 our @thisbugmergelist;
 698
 699 sub setbug {
 700     &dlen("setbug $ref");
 701     if ($ref =~ m/^-\d+/) {
 702         if (!defined $clonebugs{$ref}) {
 703             &notfoundbug;
 704             &dlex("setbug => noclone");
 705             return 0;
 706         }
 707         $ref = $clonebugs{$ref};
 708     }
 709     $state eq 'idle' || die "$state ?";
 710     if (!&getbug) {
 711         &notfoundbug;
 712         &dlex("setbug => 0s");
 713         return 0;
 714     }
 715
 716     if (!&checkpkglimit) {
 717         &cancelbug;
 718         return 0;
 719     }
 720
 721     @thisbugmergelist= split(/ /,$data->{mergedwith});
 722     if (!@thisbugmergelist) {
 723         &foundbug;
 724         $manybugs= 0;
 725         $state= 'single';
 726         $sref=$ref;
 727         &dlex("setbug => 1s");
 728         return 1;
 729     }
 730     &cancelbug;
 731     &getmerge;
 732     $manybugs= 1;
 733     if (!&getbug) {
 734         &notfoundbug;
 735         &endmerge;
 736         &dlex("setbug => 0mc");
 737         return 0;
 738     }
 739     &foundbug;
 740     $state= 'multiple'; $sref=$ref;
 741     &dlex("setbug => 1m");
 742     return 1;
 743 }
 744
 745 sub getnextbug {
 746     &dlen("getnextbug");
 747     $state eq 'single' || $state eq 'multiple' || die "$state ?";
 748     &savebug;
 749     if (!$manybugs || !@thisbugmergelist) {
 750         length($action) || die;
 751         print {$transcript} "$action\n$extramessage\n";
 752         &endmerge if $manybugs;
 753         $state= 'idle';
 754         &dlex("getnextbug => 0");
 755         return 0;
 756     }
 757     $ref= shift(@thisbugmergelist);
 758     &getbug || die "bug $ref disappeared";
 759     &foundbug;
 760     &dlex("getnextbug => 1");
 761     return 1;
 762 }
 763
 764 # Low-level bug-manipulation calls
 765 # Do no announcements
 766 #
 767 #    getbug (returns 0)
 768 #
 769 #    getbug (returns 1)
 770 #    cancelbug
 771 #
 772 #    getmerge
 773 #    $action= (something)
 774 #    getbug (returns 1)
 775 #    savebug/cancelbug
 776 #    getbug (returns 1)
 777 #    savebug/cancelbug
 778 #    [getbug (returns 0)]
 779 #    &transcript("$action\n\n")
 780 #    endmerge
 781
 782 sub notfoundbug { print {$transcript} "$gBug number $ref not found. (Is it archived?)\n\n"; }
 783 sub foundbug { print {$transcript} "$gBug#$ref: $data->{subject}\n"; }
 784
 785 sub getmerge {
 786     &dlen("getmerge");
 787     $mergelowstate eq 'idle' || die "$mergelowstate ?";
 788     &filelock('lock/merge');
 789     $mergelowstate='locked';
 790     &dlex("getmerge");
 791 }
 792
 793 sub endmerge {
 794     &dlen("endmerge");
 795     $mergelowstate eq 'locked' || die "$mergelowstate ?";
 796     &unfilelock;
 797     $mergelowstate='idle';
 798     &dlex("endmerge");
 799 }
 800
 801 sub getbug {
 802     &dlen("getbug $ref");
 803     $lowstate eq 'idle' || die "$state ?";
 804     # Only use unmerged bugs here
 805     if (($data = &lockreadbug($ref,'db-h'))) {
 806         $sref= $ref;
 807         $lowstate= "open";
 808         &dlex("getbug => 1");
 809         $extramessage='';
 810         return 1;
 811     }
 812     $lowstate= 'idle';
 813     &dlex("getbug => 0");
 814     return 0;
 815 }
 816
 817 sub cancelbug {
 818     &dlen("cancelbug");
 819     $lowstate eq 'open' || die "$state ?";
 820     &unfilelock;
 821     $lowstate= 'idle';
 822     &dlex("cancelbug");
 823 }
 824
 825 sub savebug {
 826     &dlen("savebug $ref");
 827     $lowstate eq 'open' || die "$lowstate ?";
 828     length($action) || die;
 829     $ref == $sref || die "read $sref but saving $ref ?";
 830     append_action_to_log(bug => $ref,
 831                          action => $action,
 832                          requester => $header{from},
 833                          request_addr => $controlrequestaddr,
 834                          message => \@log,
 835                          get_lock => 0,
 836                         );
 837     unlockwritebug($ref, $data);
 838     $lowstate= "idle";
 839     &dlex("savebug");
 840 }
 841
 842 sub dlen {
 843     return if !$dl;
 844     print {$transcript} "C> @_ ($state $lowstate $mergelowstate)\n";
 845 }
 846
 847 sub dlex {
 848     return if !$dl;
 849     print {$transcript} "R> @_ ($state $lowstate $mergelowstate)\n";
 850 }
 851
 852 sub urlsanit {
 853     my $url = shift;
 854     $url =~ s/%/%25/g;
 855     $url =~ s/\+/%2b/g;
 856     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
 857     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
 858     return $url;
 859 }
 860
 861 sub sendlynxdoc {
 862     &sendlynxdocraw;
 863     print {$transcript} "\n";
 864     $ok++;
 865 }
 866
 867 sub sendtxthelp {
 868     &sendtxthelpraw;
 869     print {$transcript} "\n";
 870     $ok++;
 871 }
 872
 873
 874 our $doc;
 875 sub sendtxthelpraw {
 876     my ($relpath,$description) = @_;
 877     $doc='';
 878     if (not -e "$gDocDir/$relpath") {
 879         print {$transcript} "Unfortunatly, the help text doesn't exist, so it wasn't sent.\n";
 880         warn "Help text $gDocDir/$relpath not found";
 881         return;
 882     }
 883     open(D,"$gDocDir/$relpath") || die "open doc file $relpath: $!";
 884     while(<D>) { $doc.=$_; }
 885     close(D);
 886     print {$transcript} "Sending $description in separate message.\n";
 887     &sendmailmessage(<<END.$doc,$replyto);
 888 From: $gMaintainerEmail ($gProject $gBug Tracking System)
 889 To: $replyto
 890 Subject: $gProject $gBug help: $description
 891 References: $header{'message-id'}
 892 In-Reply-To: $header{'message-id'}
 893 Message-ID: <handler.s.$nn.help.$midix\@$gEmailDomain>
 894 Precedence: bulk
 895 X-$gProject-PR-Message: doc-text $relpath
 896
 897 END
 898     $ok++;
 899 }
 900
 901 sub sendlynxdocraw {
 902     my ($relpath,$description) = @_;
 903     $doc='';
 904     open(L,"lynx -nolist -dump http://$gCGIDomain/\Q$relpath\E 2>&1 |") || die "fork for lynx: $!";
 905     while(<L>) { $doc.=$_; }
 906     $!=0; close(L);
 907     if ($? == 255 && $doc =~ m/^\n*lynx: Can\'t access start file/) {
 908         print {$transcript} "Information ($description) is not available -\n".
 909              "perhaps the $gBug does not exist or is not on the WWW yet.\n";
 910          $ok++;
 911     } elsif ($?) {
 912         print {$transcript} "Error getting $description (code $? $!):\n$doc\n";
 913     } else {
 914         print {$transcript} "Sending $description.\n";
 915         &sendmailmessage(<<END.$doc,$replyto);
 916 From: $gMaintainerEmail ($gProject $gBug Tracking System)
 917 To: $replyto
 918 Subject: $gProject $gBugs information: $description
 919 References: $header{'message-id'}
 920 In-Reply-To: $header{'message-id'}
 921 Message-ID: <handler.s.$nn.info.$midix\@$gEmailDomain>
 922 Precedence: bulk
 923 X-$gProject-PR-Message: doc-html $relpath
 924
 925 END
 926          $ok++;
 927     }
 928 }
 929
 930
 931 sub sendinfo {
 932     my ($wherefrom,$path,$description) = @_;
 933     if ($wherefrom eq "ftp.d.o") {
 934       $doc = `lynx -nolist -dump http://ftp.debian.org/debian/indices/$path.gz 2>&1 | gunzip -cf` or die "fork for lynx/gunzip: $!";
 935       $! = 0;
 936       if ($? == 255 && $doc =~ m/^\n*lynx: Can\'t access start file/) {
 937           print {$transcript} "$description is not available.\n";
 938           $ok++; return;
 939       } elsif ($?) {
 940           print {$transcript} "Error getting $description (code $? $!):\n$doc\n";
 941           return;
 942       }
 943     } elsif ($wherefrom eq "local") {
 944       open P, "$path";
 945       $doc = do { local $/; <P> };
 946       close P;
 947     } else {
 948       print {$transcript} "internal errror: info files location unknown.\n";
 949       $ok++; return;
 950     }
 951     print {$transcript} "Sending $description.\n";
 952     &sendmailmessage(<<END.$doc,$replyto);
 953 From: $gMaintainerEmail ($gProject $gBug Tracking System)
 954 To: $replyto
 955 Subject: $gProject $gBugs information: $description
 956 References: $header{'message-id'}
 957 In-Reply-To: $header{'message-id'}
 958 Message-ID: <handler.s.$nn.info.$midix\@$gEmailDomain>
 959 Precedence: bulk
 960 X-$gProject-PR-Message: getinfo
 961
 962 $description follows:
 963
 964 END
 965     $ok++;
 966     print {$transcript} "\n";
 967 }