]> git.donarmstrong.com Git - debbugs.git/blob - scripts/service
reimplement _add_member_hash for speed; add _shallow_clone for limit
[debbugs.git] / scripts / service
1 #!/usr/bin/perl
2 # $Id: service.in,v 1.118 2005/10/19 01:22:14 don Exp $
3 #
4 # Usage: service <code>.nn
5 # Temps:  incoming/P<code>.nn
6
7 use warnings;
8 use strict;
9
10 use POSIX qw(strftime locale_h);
11 setlocale(LC_TIME, "C");
12
13 use Debbugs::Config qw(:globals :config);
14
15 use File::Copy;
16 use MIME::Parser;
17
18 use Params::Validate qw(:types validate_with);
19
20 use Debbugs::Common qw(:util :quit :misc :lock);
21
22 use Debbugs::Status qw(:read :status :write :versions :hook);
23 use Debbugs::Packages qw(binary_to_source);
24
25 use Debbugs::MIME qw(decode_rfc1522 encode_rfc1522 create_mime_message);
26 use Debbugs::Mail qw(send_mail_message);
27 use Debbugs::User;
28 use Debbugs::Recipients qw(:all);
29 use HTML::Entities qw(encode_entities);
30 use Debbugs::Versions::Dpkg;
31
32 use Debbugs::Status qw(splitpackages);
33
34 use Debbugs::CGI qw(html_escape);
35 use Debbugs::Control qw(:all);
36 use Debbugs::Control::Service qw(:all);
37 use Debbugs::Log qw(:misc);
38 use Debbugs::Text qw(:templates);
39
40 use Scalar::Util qw(looks_like_number);
41
42 use List::AllUtils qw(first uniqnum);
43
44 use Mail::RFC822::Address;
45 use Encode qw(decode encode);
46
47 chdir($config{spool_dir}) or
48      die "Unable to chdir to spool_dir '$config{spool_dir}': $!";
49
50 my $debug = 0;
51 umask(002);
52
53 my ($nn,$control) = $ARGV[0] =~ m/^(([RC])\.\d+)$/;
54 if (not defined $control or not defined $nn) {
55      die "Bad argument to service.in";
56 }
57 if (!rename("incoming/G$nn","incoming/P$nn")) {
58     defined $! and $! =~ m/no such file or directory/i and exit 0;
59     die "Failed to rename incoming/G$nn to incoming/P$nn: $!";
60 }
61
62 my $log_fh = IO::File->new("incoming/P$nn",'r') or
63      die "Unable to open incoming/P$nn for reading: $!";
64 my @log=<$log_fh>;
65 my @msg=@log;
66 close($log_fh);
67
68 chomp @msg;
69
70 print "###\n",join("##\n",@msg),"\n###\n" if $debug;
71
72 # Bug numbers to send e-mail to, hash so that we don't send to the
73 # same bug twice.
74 my (%bug_affected);
75
76 my (@headerlines,@bodylines);
77
78 my $parse_output = Debbugs::MIME::parse(join('',@log));
79 @headerlines = @{$parse_output->{header}};
80 @bodylines = @{$parse_output->{body}};
81
82 my %header;
83 for (@headerlines) {
84     $_ = decode_rfc1522($_);
85     s/\n\s/ /g;
86     print ">$_<\n" if $debug;
87     if (s/^(\S+):\s*//) {
88         my $v = lc $1;
89         print ">$v=$_<\n" if $debug;
90         $header{$v} = $_;
91     } else {
92         print "!>$_<\n" if $debug;
93     }
94 }
95 $header{'message-id'} ||= '';
96 $header{subject} ||= '';
97
98 grep(s/\s+$//,@bodylines);
99
100 print "***\n",join("\n",@bodylines),"\n***\n" if $debug;
101
102 if (defined $header{'resent-from'} && !defined $header{'from'}) {
103     $header{'from'} = $header{'resent-from'};
104 }
105
106 defined($header{'from'}) || die "no From header";
107
108 delete $header{'reply-to'} 
109         if ( defined($header{'reply-to'}) && $header{'reply-to'} =~ m/^\s*$/ );
110
111 my $replyto;
112 if ( defined($header{'reply-to'}) && $header{'reply-to'} ne "" ) {
113     $replyto = $header{'reply-to'};
114 } else {
115     $replyto = $header{'from'};
116 }
117
118 # This is an error counter which should be incremented every time there is an error.
119 my $errors = 0;
120 my $controlrequestaddr= ($control ? 'control' : 'request').'@'.$config{email_domain};
121 my $transcript_scalar = '';
122 open my $transcript, ">:scalar:utf8", \$transcript_scalar or
123      die "Unable to create transcript scalar: $!";
124 print {$transcript} "Processing commands for $controlrequestaddr:\n\n";
125
126
127 my $dl = 0;
128 my %affected_packages;
129 my %recipients;
130 # this is the hashref which is passed to all control calls
131 my %limit = ();
132
133
134 my @common_control_options =
135     (transcript        => $transcript,
136      requester         => $header{from},
137      request_addr      => $controlrequestaddr,
138      request_msgid     => $header{'message-id'},
139      request_subject   => $header{subject},
140      request_nn        => $nn,
141      request_replyto   => $replyto,
142      message           => \@log,
143      affected_bugs     => \%bug_affected,
144      affected_packages => \%affected_packages,
145      recipients        => \%recipients,
146      limit             => \%limit,
147     );
148
149 my $state= 'idle';
150 my $lowstate= 'idle';
151 my $mergelowstate= 'idle';
152 my $midix=0;
153
154 my $user = $replyto;
155 $user =~ s/,.*//;
156 $user =~ s/^.*<(.*)>.*$/$1/;
157 $user =~ s/[(].*[)]//;
158 $user =~ s/^\s*(\S+)\s+.*$/$1/;
159 $user = "" unless (Debbugs::User::is_valid_user($user));
160 my $indicated_user = 0;
161
162 my $quickabort = 0;
163
164
165 if (@gExcludeFromControl and grep {$replyto =~ m/\Q$_\E/} @gExcludeFromControl) {
166         print {$transcript} fill_template('mail/excluded_from_control');
167         $quickabort = 1;
168 }
169
170 my %limit_pkgs = ();
171 my %clonebugs = ();
172 my %bcc = ();
173
174
175 our $data;
176 our $message;
177 our $extramessage;
178 our $ref;
179
180 our $mismatch;
181 our $action;
182
183
184 my $ok = 0;
185 my $unknowns = 0;
186 my $procline=0;
187 for ($procline=0; $procline<=$#bodylines; $procline++) {
188     my $noriginator;
189     my $newsubmitter;
190     my $oldsubmitter;
191     my $newowner;
192     $state eq 'idle' || print "state: $state ?\n";
193     $lowstate eq 'idle' || print "lowstate: $lowstate ?\n";
194     $mergelowstate eq 'idle' || print "mergelowstate: $mergelowstate ?\n";
195     if ($quickabort) {
196          print {$transcript} "Stopping processing here.\n\n";
197          last;
198     }
199     $_= $bodylines[$procline]; s/\s+$//;
200     # Remove BOM markers from UTF-8 strings
201     # Fixes #488554
202     s/\xef\xbb\xbf//g;
203     next unless m/\S/;
204     eval {
205         my $temp = decode("utf8",$_,Encode::FB_CROAK);
206         $_ = $temp;
207     };
208     print {$transcript} "> $_\n";
209     next if m/^\s*\#/;
210     $action= '';
211     if (m/^(?:stop|quit|--|thank(?:s|\s*you)?|kthxbye)\.*\s*$/i) {
212         print {$transcript} "Stopping processing here.\n\n";
213         last;
214     } elsif (m/^debug\s+(\d+)$/i && $1 >= 0 && $1 <= 1000) {
215         $dl= $1+0;
216         if ($dl > 0 and not grep /debug/,@common_control_options) {
217             push @common_control_options,(debug => $transcript);
218         }
219         print {$transcript} "Debug level $dl.\n\n";
220     } elsif (m/^(send|get)\s+\#?(\d{2,})$/i) {
221         $ref= $2+0;
222         &sendlynxdoc("bugreport.cgi?bug=$ref","logs for $gBug#$ref");
223     } elsif (m/^send-detail\s+\#?(\d{2,})$/i) {
224         $ref= $1+0;
225         &sendlynxdoc("bugreport.cgi?bug=$ref&boring=yes",
226                      "detailed logs for $gBug#$ref");
227     } elsif (m/^index(\s+full)?$/i) {
228         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
229         $errors++;
230         $ok++; # well, it's not really ok, but it fixes #81224 :)
231     } elsif (m/^index-summary\s+by-package$/i) {
232         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
233         $errors++;
234         $ok++; # well, it's not really ok, but it fixes #81224 :)
235     } elsif (m/^index-summary(\s+by-number)?$/i) {
236         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
237         $errors++;
238         $ok++; # well, it's not really ok, but it fixes #81224 :)
239     } elsif (m/^index(\s+|-)pack(age)?s?$/i) {
240         &sendlynxdoc("pkgindex.cgi?indexon=pkg",'index of packages');
241     } elsif (m/^index(\s+|-)maints?$/i) {
242         &sendlynxdoc("pkgindex.cgi?indexon=maint",'index of maintainers');
243     } elsif (m/^index(\s+|-)maint\s+(\S+)$/i) {
244         my $maint = $2;
245         &sendlynxdoc("pkgreport.cgi?maint=" . urlsanit($maint),
246                      "$gBug list for maintainer \`$maint'");
247         $ok++;
248     } elsif (m/^index(\s+|-)pack(age)?s?\s+(\S.*\S)$/i) {
249         my $package = $+;
250         &sendlynxdoc("pkgreport.cgi?pkg=" . urlsanit($package),
251                      "$gBug list for package $package");
252         $ok++;
253     } elsif (m/^send-unmatched(\s+this|\s+-?0)?$/i) {
254         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
255         $errors++;
256         $ok++; # well, it's not really ok, but it fixes #81224 :)
257     } elsif (m/^send-unmatched\s+(last|-1)$/i) {
258         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
259         $errors++;
260         $ok++; # well, it's not really ok, but it fixes #81224 :)
261     } elsif (m/^send-unmatched\s+(old|-2)$/i) {
262         print {$transcript} "This BTS function is currently disabled, sorry.\n\n";
263         $errors++;
264         $ok++; # well, it's not really ok, but it fixes #81224 :)
265     } elsif (m/^getinfo\s+([\w.-]+)$/i) {
266         # the following is basically a Debian-specific kludge, but who cares
267         my $req = $1;
268         if ($req =~ /^maintainers$/i && -f "$gConfigDir/Maintainers") {
269             &sendinfo("local", "$gConfigDir/Maintainers", "Maintainers file");
270         } elsif ($req =~ /^override\.(\w+)\.([\w.-]+)$/i) {
271             $req =~ s/.gz$//;
272             &sendinfo("ftp.d.o", "$req", "override file for $2 part of $1 distribution");
273         } elsif ($req =~ /^pseudo-packages\.(description|maintainers)$/i && -f "$gConfigDir/$req") {
274             &sendinfo("local", "$gConfigDir/$req", "$req file");
275         } else {
276             print {$transcript} "Info file $req does not exist.\n\n";
277         }
278     } elsif (m/^help/i) {
279         &sendhelp;
280         print {$transcript} "\n";
281         $ok++;
282     } elsif (m/^refcard/i) {
283         &sendtxthelp("bug-mailserver-refcard.txt","mail servers' reference card");
284     } elsif (m/^subscribe/i) {
285         print {$transcript} <<END;
286 There is no $gProject $gBug mailing list.  If you wish to review bug reports
287 please do so via $gWebDomain or ask this mail server
288 to send them to you.
289 soon: MAILINGLISTS_TEXT
290 END
291     } elsif (m/^unsubscribe/i) {
292         print {$transcript} <<END;
293 soon: UNSUBSCRIBE_TEXT
294 soon: MAILINGLISTS_TEXT
295 END
296     } elsif (m/^user\s+(\S+)\s*$/i) {
297         my $newuser = $1;
298         if (Debbugs::User::is_valid_user($newuser)) {
299             my $olduser = ($user ne "" ? " (was $user)" : "");
300             print {$transcript} "Setting user to $newuser$olduser.\n";
301             $user = $newuser;
302             $indicated_user = 1;
303         } else {
304             print {$transcript} "Selected user id ($newuser) invalid, sorry\n";
305             $errors++;
306             $user = "";
307             $indicated_user = 1;
308         }
309     } elsif (m/^usercategory\s+(\S+)(\s+\[hidden\])?\s*$/i) {
310         $ok++;
311         my $catname = $1;
312         my $hidden = (defined $2 and $2 ne "");
313
314         my $prefix = "";
315         my @cats;
316         my $bad = 0;
317         my $catsec = 0;
318         if ($user eq "") {
319             print {$transcript} "No valid user selected\n";
320             $errors++;
321             next;
322         }
323         if (not $indicated_user and defined $user) {
324              print {$transcript} "User is $user\n";
325              $indicated_user = 1;
326         }
327         my @ords = ();
328         while (++$procline <= $#bodylines) {
329             unless ($bodylines[$procline] =~ m/^\s*([*+])\s*(\S.*)$/) {
330                 $procline--;
331                 last;
332             }
333             print {$transcript} "> $bodylines[$procline]\n";
334             next if $bad;
335             my ($o, $txt) = ($1, $2);
336             if ($#cats == -1 && $o eq "+") {
337                 print {$transcript} "User defined category specification must start with a category name. Skipping.\n\n";
338                 $errors++;
339                 $bad = 1;
340                 next;
341             }
342             if ($o eq "+") {
343                 unless (ref($cats[-1]) eq "HASH") {
344                     $cats[-1] = { "nam" => $cats[-1], 
345                                   "pri" => [], "ttl" => [] };
346                 }
347                 $catsec++;
348                 my ($desc, $ord, $op);
349                 if ($txt =~ m/^(.*\S)\s*\[((\d+):\s*)?\]\s*$/) {
350                     $desc = $1; $ord = $3; $op = "";
351                 } elsif ($txt =~ m/^(.*\S)\s*\[((\d+):\s*)?(\S+)\]\s*$/) {
352                     $desc = $1; $ord = $3; $op = $4;
353                 } elsif ($txt =~ m/^([^[\s]+)\s*$/) {
354                     $desc = ""; $op = $1;
355                 } else {
356                     print {$transcript} "Unrecognised syntax for category section. Skipping.\n\n";
357                     $errors++;
358                     $bad = 1;
359                     next;
360                 }
361                 $ord = 999 unless defined $ord;
362
363                 if ($op) {
364                     push @{$cats[-1]->{"pri"}}, $prefix . $op;
365                     push @{$cats[-1]->{"ttl"}}, $desc;
366                     push @ords, "$ord $catsec";
367                 } else {
368                     $cats[-1]->{"def"} = $desc;
369                     push @ords, "$ord DEF";
370                     $catsec--;
371                 }
372                 @ords = sort {
373                     my ($a1, $a2, $b1, $b2) = split / /, "$a $b";
374                     ((looks_like_number($a1) and looks_like_number($a2))?$a1 <=> $b1:$a1 cmp $b1) ||
375                     ((looks_like_number($a2) and looks_like_number($b2))?$a2 <=> $b2:$a2 cmp $b2);
376                 } @ords;
377                 $cats[-1]->{"ord"} = [map { m/^.* (\S+)/; $1 eq "DEF" ? $catsec + 1 : $1 } @ords];
378             } elsif ($o eq "*") {
379                 $catsec = 0;
380                 my ($name);
381                 if ($txt =~ m/^(.*\S)(\s*\[(\S+)\])\s*$/) {
382                     $name = $1; $prefix = $3;
383                 } else {
384                     $name = $txt; $prefix = "";
385                 }
386                 push @cats, $name;
387             }
388         }
389         # XXX: got @cats, now do something with it
390         my $u = Debbugs::User::get_user($user);
391         if (@cats) {
392             print {$transcript} "Added usercategory $catname.\n\n";
393             $u->{"categories"}->{$catname} = [ @cats ];
394             if (not $hidden) {
395                  push @{$u->{visible_cats}},$catname;
396             }
397         } else {
398             print {$transcript} "Removed usercategory $catname.\n\n";
399             delete $u->{"categories"}->{$catname};
400             @{$u->{visible_cats}} = grep {$_ ne $catname} @{$u->{visible_cats}};
401         }
402         $u->write();
403     } elsif (m/^usertags?\s+\#?(-?\d+)\s+(([=+-])\s*)?(\S.*)?$/i) {
404         $ok++;
405         $ref = $1;
406         my $addsubcode = $3 || "+";
407         my $tags = $4;
408         if ($ref =~ m/^-\d+$/ && defined $clonebugs{$ref}) {
409              $ref = $clonebugs{$ref};
410         }
411         if ($user eq "") {
412             print {$transcript} "No valid user selected\n";
413             $errors++;
414             $indicated_user = 1;
415         } elsif (check_limit(data => read_bug(bug => $ref),
416                              limit => \%limit,
417                              transcript => $transcript)) {
418             if (not $indicated_user and defined $user) {
419                  print {$transcript} "User is $user\n";
420                  $indicated_user = 1;
421             }
422             my %ut;
423             Debbugs::User::read_usertags(\%ut, $user);
424             my @oldtags = (); my @newtags = (); my @badtags = ();
425             my %chtags;
426             if (defined $tags and length $tags) {
427                  for my $t (split /[,\s]+/, $tags) {
428                       if ($t =~ m/^[a-zA-Z0-9.+\@-]+$/) {
429                            $chtags{$t} = 1;
430                       } else {
431                            push @badtags, $t;
432                       }
433                  }
434             }
435             if (@badtags) {
436                 print {$transcript} "Ignoring illegal tag/s: ".join(', ', @badtags).".\nPlease use only alphanumerics, at, dot, plus and dash.\n";
437                 $errors++;
438             }
439             for my $t (keys %chtags) {
440                 $ut{$t} = [] unless defined $ut{$t};
441             }
442             for my $t (keys %ut) {
443                 my %res = map { ($_, 1) } @{$ut{$t}};
444                 push @oldtags, $t if defined $res{$ref};
445                 my $addop = ($addsubcode eq "+" or $addsubcode eq "=");
446                 my $del = (defined $chtags{$t} ? $addsubcode eq "-" 
447                                                : $addsubcode eq "=");
448                 $res{$ref} = 1 if ($addop && defined $chtags{$t});
449                 delete $res{$ref} if ($del);
450                 push @newtags, $t if defined $res{$ref};
451                 $ut{$t} = [ sort { $a <=> $b } (keys %res) ];
452             }
453             if (@oldtags == 0) {
454                 print {$transcript} "There were no usertags set.\n";
455             } else {
456                 print {$transcript} "Usertags were: " . join(" ", @oldtags) . ".\n";
457             }
458             print {$transcript} "Usertags are now: " . join(" ", @newtags) . ".\n";
459             Debbugs::User::write_usertags(\%ut, $user);
460         }
461     } elsif (!$control) {
462         print {$transcript} <<END;
463 Unknown command or malformed arguments to command.
464 (Use control\@$gEmailDomain to manipulate reports.)
465
466 END
467         #### "developer only" ones start here
468     } elsif (defined valid_control($_)) {
469         my ($new_errors,$terminate_control) =
470             control_line(line => $_,
471                          clonebugs => \%clonebugs,
472                          limit => \%limit,
473                          common_control_options => \@common_control_options,
474                          errors => \$errors,
475                          transcript => $transcript,
476                          debug => $debug,
477                          ok => \$ok,
478                          replyto => $replyto,
479                         );
480         if ($terminate_control) {
481             last;
482         }
483     } else {
484         print {$transcript} "Unknown command or malformed arguments to command.\n";
485         $errors++;
486         if (++$unknowns >= 5) {
487             print {$transcript} "Too many unknown commands, stopping here.\n\n";
488             last;
489         }
490     }
491 }
492 if ($procline>$#bodylines) {
493     print {$transcript} ">\nEnd of message, stopping processing here.\n\n";
494 }
495 if (!$ok && !$quickabort) {
496     $errors++;
497     print {$transcript} "No commands successfully parsed; sending the help text(s).\n";
498     &sendhelp;
499     print {$transcript} "\n";
500 }
501
502 my @maintccs = determine_recipients(recipients => \%recipients,
503                                     address_only => 1,
504                                     cc => 1,
505                                    );
506 if (!defined $header{'subject'} || $header{'subject'} eq "") {
507   $header{'subject'} = "your mail";
508 }
509
510 # Error text here advertises how many errors there were
511 my $error_text = $errors > 0 ? " (with $errors error" . ($errors > 1 ? "s" : "") . ")" : "";
512
513 my @common_headers;
514 push @common_headers, 'X-Loop',$gMaintainerEmail;
515
516 my $temp_transcript = $transcript_scalar;
517 eval{
518     $temp_transcript = decode("utf8",$temp_transcript,Encode::FB_CROAK);
519 };
520 my $reply =
521     create_mime_message([From          => qq("$gProject $gBug Tracking System" <$gMaintainerEmail>),
522                          To            => $replyto,
523                          @maintccs ? (Cc => join(', ',@maintccs)):(),
524                          Subject       => "Processed${error_text}: $header{subject}",
525                          'Message-ID'  => "<handler.s.$nn.transcript\@$gEmailDomain>",
526                          'In-Reply-To' => $header{'message-id'},
527                          References    => join(' ',grep {defined $_} $header{'message-id'},$data->{msgid}),
528                          Precedence    => 'bulk',
529                          keys %affected_packages ?("X-${gProject}-PR-Package" => join(' ',keys %affected_packages)):(),
530                          keys %affected_packages ?("X-${gProject}-PR-Source" =>
531                                                    join(' ',
532                                                         map {defined $_ ?(ref($_)?@{$_}:$_):()}
533                                                         binary_to_source(binary => [keys %affected_packages],
534                                                                          source_only => 1))):(),
535                          "X-$gProject-PR-Message" => 'transcript',
536                          @common_headers,
537                         ],
538                         fill_template('mail/message_body',
539                                       {body => "${temp_transcript}Please contact me if you need assistance."},
540                                      ));
541
542 my $repliedshow= join(', ',$replyto,
543                       determine_recipients(recipients => \%recipients,
544                                            cc => 1,
545                                            address_only => 1,
546                                           )
547                      );
548
549 utime(time,time,"db-h");
550
551 &sendmailmessage($reply,
552                  exists $header{'x-debbugs-no-ack'}?():$replyto,
553                  make_list(values %{{determine_recipients(recipients => \%recipients,
554                                                           address_only => 1,
555                                                          )}}
556                           ),
557                 );
558
559 unlink("incoming/P$nn") || die "unlinking incoming/P$nn: $!";
560
561 sub sendmailmessage {
562     my ($message,@recips) = @_;
563     $message = "X-Loop: $gMaintainerEmail\n" . $message;
564     send_mail_message(message    => $message,
565                       recipients => \@recips,
566                      );
567     $midix++;
568 }
569
570 sub fill_template{
571      my ($template,$extra_var) = @_;
572      $extra_var ||={};
573      my $variables = {config => \%config,
574                       defined($ref)?(ref    => $ref):(),
575                       defined($data)?(data  => $data):(),
576                       refs => [sort
577                                uniqnum(defined($ref)?($ref):(),
578                                        map {exists $clonebugs{$_}?$clonebugs{$_}:$_}
579                                        keys %bug_affected)],
580                       %{$extra_var},
581                      };
582      return fill_in_template(template => $template,
583                              variables => $variables,
584                              output_type => 'text',
585                             );
586 }
587
588 =head2 message_body_template
589
590      message_body_template('mail/ack',{ref=>'foo'});
591
592 Creates a message body using a template
593
594 =cut
595
596 sub message_body_template{
597      my ($template,$extra_var) = @_;
598      $extra_var ||={};
599      my $body = fill_template($template,$extra_var);
600      return fill_template('mail/message_body',
601                           {%{$extra_var},
602                            body => $body,
603                           },
604                          );
605 }
606
607 sub sendhelp {
608      if ($control) {
609           &sendtxthelpraw("bug-maint-mailcontrol.txt","instructions for control\@$gEmailDomain")
610      }
611      else {
612           &sendtxthelpraw("bug-log-mailserver.txt","instructions for request\@$gEmailDomain");
613      }
614 }
615
616 #sub unimplemented {
617 #    print {$transcript} "Sorry, command $_[0] not yet implemented.\n\n";
618 #}
619 our %checkmatch_values;
620 sub checkmatch {
621     my ($string,$mvarname,$svarvalue,@newmergelist) = @_;
622     my ($mvarvalue);
623     if (@newmergelist) {
624         $mvarvalue = $checkmatch_values{$mvarname};
625         print {$transcript} "D| checkmatch \`$string' /$mvarname/$mvarvalue/$svarvalue/\n"
626             if $dl;
627         $mismatch .=
628             "Values for \`$string' don't match:\n".
629             " #$newmergelist[0] has \`$mvarvalue';\n".
630             " #$ref has \`$svarvalue'\n"
631             if $mvarvalue ne $svarvalue;
632     } else {
633          print {$transcript} "D| setupmatch \`$string' /$mvarname/$svarvalue/\n"
634               if $dl;
635          $checkmatch_values{$mvarname} = $svarvalue;
636     }
637 }
638
639 sub checkpkglimit {
640     if (keys %limit_pkgs and not defined $limit_pkgs{$data->{package}}) {
641         print {$transcript} "$gBug number $ref belongs to package $data->{package}, skipping.\n\n";
642         $errors++;
643         return 0;
644     }
645     return 1;
646 }
647
648 sub manipset {
649     my $list = shift;
650     my $elt = shift;
651     my $add = shift;
652
653     my %h = map { $_ => 1 } split ' ', $list;
654     if ($add) {
655         $h{$elt}=1;
656     }
657     else {
658         delete $h{$elt};
659     }
660     return join ' ', sort keys %h;
661 }
662
663 # High-level bug manipulation calls
664 # Do announcements themselves
665 #
666 # Possible calling sequences:
667 #    setbug (returns 0)
668 #    
669 #    setbug (returns 1)
670 #    &transcript(something)
671 #    nochangebug
672 #
673 #    setbug (returns 1)
674 #    $action= (something)
675 #    do {
676 #      (modify s_* variables)
677 #    } while (getnextbug);
678
679 our $manybugs;
680
681 sub nochangebug {
682     &dlen("nochangebug");
683     $state eq 'single' || $state eq 'multiple' || die "$state ?";
684     &cancelbug;
685     &endmerge if $manybugs;
686     $state= 'idle';
687     &dlex("nochangebug");
688 }
689
690 our $sref;
691 our @thisbugmergelist;
692
693 sub setbug {
694     &dlen("setbug $ref");
695     if ($ref =~ m/^-\d+/) {
696         if (!defined $clonebugs{$ref}) {
697             &notfoundbug;
698             &dlex("setbug => noclone");
699             return 0;
700         }
701         $ref = $clonebugs{$ref};
702     }
703     $state eq 'idle' || die "$state ?";
704     if (!&getbug) {
705         &notfoundbug;
706         &dlex("setbug => 0s");
707         return 0;
708     }
709
710     if (!&checkpkglimit) {
711         &cancelbug;
712         return 0;
713     }
714
715     @thisbugmergelist= split(/ /,$data->{mergedwith});
716     if (!@thisbugmergelist) {
717         &foundbug;
718         $manybugs= 0;
719         $state= 'single';
720         $sref=$ref;
721         &dlex("setbug => 1s");
722         return 1;
723     }
724     &cancelbug;
725     &getmerge;
726     $manybugs= 1;
727     if (!&getbug) {
728         &notfoundbug;
729         &endmerge;
730         &dlex("setbug => 0mc");
731         return 0;
732     }
733     &foundbug;
734     $state= 'multiple'; $sref=$ref;
735     &dlex("setbug => 1m");
736     return 1;
737 }
738
739 sub getnextbug {
740     &dlen("getnextbug");
741     $state eq 'single' || $state eq 'multiple' || die "$state ?";
742     &savebug;
743     if (!$manybugs || !@thisbugmergelist) {
744         length($action) || die;
745         print {$transcript} "$action\n$extramessage\n";
746         &endmerge if $manybugs;
747         $state= 'idle';
748         &dlex("getnextbug => 0");
749         return 0;
750     }
751     $ref= shift(@thisbugmergelist);
752     &getbug || die "bug $ref disappeared";
753     &foundbug;
754     &dlex("getnextbug => 1");
755     return 1;
756 }
757
758 # Low-level bug-manipulation calls
759 # Do no announcements
760 #
761 #    getbug (returns 0)
762 #
763 #    getbug (returns 1)
764 #    cancelbug
765 #
766 #    getmerge
767 #    $action= (something)
768 #    getbug (returns 1)
769 #    savebug/cancelbug
770 #    getbug (returns 1)
771 #    savebug/cancelbug
772 #    [getbug (returns 0)]
773 #    &transcript("$action\n\n")
774 #    endmerge
775
776 sub notfoundbug { print {$transcript} "$gBug number $ref not found. (Is it archived?)\n\n"; }
777 sub foundbug { print {$transcript} "$gBug#$ref: $data->{subject}\n"; }
778
779 sub getmerge {
780     &dlen("getmerge");
781     $mergelowstate eq 'idle' || die "$mergelowstate ?";
782     &filelock('lock/merge');
783     $mergelowstate='locked';
784     &dlex("getmerge");
785 }
786
787 sub endmerge {
788     &dlen("endmerge");
789     $mergelowstate eq 'locked' || die "$mergelowstate ?";
790     &unfilelock;
791     $mergelowstate='idle';
792     &dlex("endmerge");
793 }
794
795 sub getbug {
796     &dlen("getbug $ref");
797     $lowstate eq 'idle' || die "$state ?";
798     # Only use unmerged bugs here
799     if (($data = &lockreadbug($ref,'db-h'))) {
800         $sref= $ref;
801         $lowstate= "open";
802         &dlex("getbug => 1");
803         $extramessage='';
804         return 1;
805     }
806     $lowstate= 'idle';
807     &dlex("getbug => 0");
808     return 0;
809 }
810
811 sub cancelbug {
812     &dlen("cancelbug");
813     $lowstate eq 'open' || die "$state ?";
814     &unfilelock;
815     $lowstate= 'idle';
816     &dlex("cancelbug");
817 }
818
819 sub savebug {
820     &dlen("savebug $ref");
821     $lowstate eq 'open' || die "$lowstate ?";
822     length($action) || die;
823     $ref == $sref || die "read $sref but saving $ref ?";
824     append_action_to_log(bug => $ref,
825                          action => $action,
826                          requester => $header{from},
827                          request_addr => $controlrequestaddr,
828                          message => \@log,
829                          get_lock => 0,
830                         );
831     unlockwritebug($ref, $data);
832     $lowstate= "idle";
833     &dlex("savebug");
834 }
835
836 sub dlen {
837     return if !$dl;
838     print {$transcript} "C> @_ ($state $lowstate $mergelowstate)\n";
839 }
840
841 sub dlex {
842     return if !$dl;
843     print {$transcript} "R> @_ ($state $lowstate $mergelowstate)\n";
844 }
845
846 sub urlsanit {
847     my $url = shift;
848     $url =~ s/%/%25/g;
849     $url =~ s/\+/%2b/g;
850     my %saniarray = ('<','lt', '>','gt', '&','amp', '"','quot');
851     $url =~ s/([<>&"])/\&$saniarray{$1};/g;
852     return $url;
853 }
854
855 sub sendlynxdoc {
856     &sendlynxdocraw;
857     print {$transcript} "\n";
858     $ok++;
859 }
860
861 sub sendtxthelp {
862     &sendtxthelpraw;
863     print {$transcript} "\n";
864     $ok++;
865 }
866
867
868 our $doc;
869 sub sendtxthelpraw {
870     my ($relpath,$description) = @_;
871     $doc='';
872     if (not -e "$gDocDir/$relpath") {
873         print {$transcript} "Unfortunatly, the help text doesn't exist, so it wasn't sent.\n";
874         warn "Help text $gDocDir/$relpath not found";
875         return;
876     }
877     open(D,"$gDocDir/$relpath") || die "open doc file $relpath: $!";
878     while(<D>) { $doc.=$_; }
879     close(D);
880     print {$transcript} "Sending $description in separate message.\n";
881     &sendmailmessage(<<END.$doc,$replyto);
882 From: "$gProject $gBug Tracking System" <$gMaintainerEmail>
883 To: $replyto
884 Subject: $gProject $gBug help: $description
885 References: $header{'message-id'}
886 In-Reply-To: $header{'message-id'}
887 Message-ID: <handler.s.$nn.help.$midix\@$gEmailDomain>
888 Precedence: bulk
889 X-$gProject-PR-Message: doc-text $relpath
890
891 END
892     $ok++;
893 }
894
895 sub sendlynxdocraw {
896     my ($relpath,$description) = @_;
897     $doc='';
898     open(L,"lynx -nolist -dump $gCGIDomain/\Q$relpath\E 2>&1 |") || die "fork for lynx: $!";
899     while(<L>) { $doc.=$_; }
900     $!=0; close(L);
901     if ($? == 255 && $doc =~ m/^\n*lynx: Can\'t access start file/) {
902         print {$transcript} "Information ($description) is not available -\n".
903              "perhaps the $gBug does not exist or is not on the WWW yet.\n";
904          $ok++;
905     } elsif ($?) {
906         print {$transcript} "Error getting $description (code $? $!):\n$doc\n";
907     } else {
908         print {$transcript} "Sending $description.\n";
909         &sendmailmessage(<<END.$doc,$replyto);
910 From: "$gProject $gBug Tracking System" <$gMaintainerEmail>
911 To: $replyto
912 Subject: $gProject $gBugs information: $description
913 References: $header{'message-id'}
914 In-Reply-To: $header{'message-id'}
915 Message-ID: <handler.s.$nn.info.$midix\@$gEmailDomain>
916 Precedence: bulk
917 X-$gProject-PR-Message: doc-html $relpath
918
919 END
920          $ok++;
921     }
922 }
923
924
925 sub sendinfo {
926     my ($wherefrom,$path,$description) = @_;
927     if ($wherefrom eq "ftp.d.o") {
928       $doc = `lynx -nolist -dump http://ftp.debian.org/debian/indices/$path.gz 2>&1 | gunzip -cf` or die "fork for lynx/gunzip: $!";
929       $! = 0;
930       if ($? == 255 && $doc =~ m/^\n*lynx: Can\'t access start file/) {
931           print {$transcript} "$description is not available.\n";
932           $ok++; return;
933       } elsif ($?) {
934           print {$transcript} "Error getting $description (code $? $!):\n$doc\n";
935           return;
936       }
937     } elsif ($wherefrom eq "local") {
938       open P, "$path";
939       $doc = do { local $/; <P> };
940       close P;
941     } else {
942       print {$transcript} "internal errror: info files location unknown.\n";
943       $ok++; return;
944     }
945     print {$transcript} "Sending $description.\n";
946     &sendmailmessage(<<END.$doc,$replyto);
947 From: "$gProject $gBug Tracking System" <$gMaintainerEmail>
948 To: $replyto
949 Subject: $gProject $gBugs information: $description
950 References: $header{'message-id'}
951 In-Reply-To: $header{'message-id'}
952 Message-ID: <handler.s.$nn.info.$midix\@$gEmailDomain>
953 Precedence: bulk
954 X-$gProject-PR-Message: getinfo
955
956 $description follows:
957
958 END
959     $ok++;
960     print {$transcript} "\n";
961 }