src/Modules/Debian.pl

   1 #
   2 #   Debian.pl: Frontend to debian contents and packages files
   3 #      Author: dms
   4 #     Version: v0.8 (20000918)
   5 #     Created: 20000106
   6 #
   7
   8 package Debian;
   9
  10 use strict;
  11
  12 # format: "alias=real".
  13 my $announce    = 0;
  14 my $defaultdist = "sid";
  15 my $refresh = &::getChanConfDefault("debianRefreshInterval",7)
  16                         * 60 * 60 * 24;
  17 my $debug       = 0;
  18 my $debian_dir  = "$::bot_state_dir/debian";
  19 my $country     = "ca";
  20 my $protocol    = "http";
  21
  22 my %dists       = (
  23         "unstable"      => "sid",
  24         "testing"       => "sarge",
  25         "stable"        => "woody",
  26         "old-stable"    => "potato",    # this still works?
  27         "incoming"      => "incoming",
  28 );
  29
  30 my %urlcontents = (
  31         "Contents-##DIST-i386.gz" =>
  32                 "$protocol://ftp.$country.debian.org".
  33                 "/debian/dists/##DIST/Contents-i386.gz",
  34         "Contents-##DIST-i386-non-US.gz" =>
  35                 "$protocol://non-us.debian.org".
  36                 "/debian-non-US/dists/##DIST/non-US/Contents-i386.gz",
  37 );
  38
  39 my %urlpackages = (
  40         "Packages-##DIST-main-i386.gz" =>
  41                 "$protocol://ftp.$country.debian.org".
  42                 "/debian/dists/##DIST/main/binary-i386/Packages.gz",
  43         "Packages-##DIST-contrib-i386.gz" =>
  44                 "$protocol://ftp.$country.debian.org".
  45                 "/debian/dists/##DIST/contrib/binary-i386/Packages.gz",
  46         "Packages-##DIST-non-free-i386.gz" =>
  47                 "$protocol://ftp.$country.debian.org".
  48                 "/debian/dists/##DIST/non-free/binary-i386/Packages.gz",
  49
  50         "Packages-##DIST-non-US-main-i386.gz" =>
  51                 "$protocol://non-us.debian.org".
  52                 "/debian-non-US/dists/##DIST/non-US/main/binary-i386/Packages.gz",
  53         "Packages-##DIST-non-US-contrib-i386.gz" =>
  54                 "$protocol://non-us.debian.org".
  55                 "/debian-non-US/dists/##DIST/non-US/contrib/binary-i386/Packages.gz",
  56         "Packages-##DIST-non-US-non-free-i386.gz" =>
  57                 "$protocol://non-us.debian.org".
  58                 "/debian-non-US/dists/##DIST/non-US/non-free/binary-i386/Packages.gz",
  59 );
  60
  61 #####################
  62 ### COMMON FUNCTION....
  63 #######################
  64
  65 ####
  66 # Usage: &DebianDownload($dist, %hash);
  67 sub DebianDownload {
  68     my ($dist, %urls)   = @_;
  69     my $bad     = 0;
  70     my $good    = 0;
  71
  72     if (! -d $debian_dir) {
  73         &::status("Debian: creating debian dir.");
  74         mkdir($debian_dir, 0755);
  75     }
  76
  77     # fe dists.
  78     # Download the files.
  79     my $file;
  80     foreach $file (keys %urls) {
  81         my $url = $urls{$file};
  82         $url  =~ s/##DIST/$dist/g;
  83         $file =~ s/##DIST/$dist/g;
  84         my $update = 0;
  85
  86         if ( -f $file ) {
  87             my $last_refresh = (stat $file)[9];
  88             $update++ if (time() - $last_refresh > $refresh);
  89         } else {
  90             $update++;
  91         }
  92
  93         next unless ($update);
  94
  95         &::DEBUG("announce == $announce.") if ($debug);
  96         if ($good + $bad == 0 and !$announce) {
  97             &::status("Debian: Downloading files for '$dist'.");
  98             &::msg($::who, "Updating debian files... please wait.");
  99             $announce++;
 100         }
 101
 102         if (exists $::debian{$url}) {
 103             &::DEBUG("2: ".(time - $::debian{$url})." <= $refresh") if ($debug);
 104             next if (time() - $::debian{$url} <= $refresh);
 105             &::DEBUG("stale for url $url; updating!") if ($debug);
 106         }
 107
 108         if ($url =~ /^ftp:\/\/(.*?)\/(\S+)\/(\S+)$/) {
 109             my ($host,$path,$thisfile) = ($1,$2,$3);
 110
 111             if (!&::ftpGet($host,$path,$thisfile,$file)) {
 112                 &::WARN("deb: down: $file == BAD.");
 113                 $bad++;
 114                 next;
 115             }
 116
 117         } elsif ($url =~ /^http:\/\/\S+\/\S+$/) {
 118
 119             if (!&::getURLAsFile($url,$file)) {
 120                 &::WARN("deb: down: http: $file == BAD.");
 121                 $bad++;
 122                 next;
 123             }
 124
 125         } else {
 126             &::ERROR("Debian: invalid format of url => ($url).");
 127             $bad++;
 128             next;
 129         }
 130
 131         if (! -f $file) {
 132             &::WARN("deb: down: http: !file");
 133             $bad++;
 134             next;
 135         }
 136
 137         my $exit = CORE::system("/bin/gzip -t $file >/dev/null 2>&1");
 138         if ($exit) {
 139             &::WARN("deb: $file is corrupted :/");
 140             unlink $file;
 141             next;
 142         }
 143
 144         &::DEBUG("deb: download: good.") if ($debug);
 145         $good++;
 146     }
 147
 148     # ok... lets just run this.
 149     &::miscCheck() if (&::whatInterface() =~ /IRC/);
 150
 151     if ($good) {
 152         &generateIndex($dist);
 153         return 1;
 154     } else {
 155         return -1 unless ($bad);        # no download.
 156         &::DEBUG("DD: !good and bad($bad). :(");
 157         return 0;
 158     }
 159 }
 160
 161 ###########################
 162 # DEBIAN CONTENTS SEARCH FUNCTIONS.
 163 ########
 164
 165 ####
 166 # Usage: &searchContents($query);
 167 sub searchContents {
 168     my ($dist, $query)  = &getDistroFromStr($_[0]);
 169     &::status("Debian: Contents search for '$query' in '$dist'.");
 170     my $dccsend = 0;
 171
 172     $dccsend++          if ($query =~ s/^dcc\s+//i);
 173
 174     $query =~ s/\\([\^\$])/$1/g;        # hrm?
 175     $query =~ s/^\s+|\s+$//g;
 176
 177     if (!&::validExec($query)) {
 178         &::msg($::who, "search string looks fuzzy.");
 179         return;
 180     }
 181
 182     if ($dist eq "incoming") {          # nothing yet.
 183         &::DEBUG("sC: dist = 'incoming'. no contents yet.");
 184         return;
 185     } else {
 186         my %urls = &fixDist($dist, %urlcontents);
 187         # download contents file.
 188         &::DEBUG("deb: download 1.") if ($debug);
 189         if (!&DebianDownload($dist, %urls)) {
 190             &::WARN("Debian: could not download files.");
 191         }
 192     }
 193
 194     # start of search.
 195     my $start_time = &::timeget();
 196
 197     my $found   = 0;
 198     my $front   = 0;
 199     my %contents;
 200     my $grepRE;
 201     ### TODO: search properly if /usr/bin/blah is done.
 202     if ($query =~ s/\$$//) {
 203         &::DEBUG("deb: search-regex found.") if ($debug);
 204         $grepRE = "$query\[ \t]";
 205     } elsif ($query =~ s/^\^//) {
 206         &::DEBUG("deb: front marker regex found.") if ($debug);
 207         $front = 1;
 208         $grepRE = $query;
 209     } else {
 210         $grepRE = "$query*\[ \t]";
 211     }
 212
 213     # fix up grepRE for "*".
 214     $grepRE =~ s/\*/.*/g;
 215
 216     my @files;
 217     foreach (keys %urlcontents) {
 218         s/##DIST/$dist/g;
 219
 220         next unless ( -f "$debian_dir/$_" );
 221         push(@files, "$debian_dir/$_");
 222     }
 223
 224     if (!scalar @files) {
 225         &::ERROR("sC: no files?");
 226         &::msg($::who, "failed.");
 227         return;
 228     }
 229
 230     my $files = join(' ', @files);
 231
 232     my $regex   = $query;
 233     $regex      =~ s/\./\\./g;
 234     $regex      =~ s/\*/\\S*/g;
 235     $regex      =~ s/\?/./g;
 236
 237     open(IN,"zegrep -h '$grepRE' $files |");
 238     # wonderful abuse of last and next and unless ;)
 239     while (<IN>) {
 240         last if ($found > 100);
 241
 242         next unless (/^\.?\/?(.*?)[\t\s]+(\S+)\n$/);
 243         my ($file,$package) = ("/".$1,$2);
 244
 245         if ($query =~ /[\/\*\\]/) {
 246             next unless (eval { $file =~ /$regex/ });
 247             return unless &checkEval($@);
 248         } else {
 249             my ($basename) = $file =~ /^.*\/(.*)$/;
 250             next unless (eval { $basename =~ /$regex/ });
 251             return unless &checkEval($@);
 252         }
 253         next if ($query !~ /\.\d\.gz/ and $file =~ /\/man\//);
 254         next if ($front and eval { $file !~ /^\/$query/ });
 255         return unless &checkEval($@);
 256
 257         $contents{$package}{$file} = 1;
 258         $found++;
 259     }
 260     close IN;
 261
 262     my $pkg;
 263
 264     ### send results with dcc.
 265     if ($dccsend) {
 266         if (exists $::dcc{'SEND'}{$::who}) {
 267             &::msg($::who, "DCC already active!");
 268             return;
 269         }
 270
 271         if (!scalar %contents) {
 272             &::msg($::who,"search returned no results.");
 273             return;
 274         }
 275
 276         my $file = "$::param{tempDir}/$::who.txt";
 277         if (!open OUT, ">$file") {
 278             &::ERROR("Debian: cannot write file for dcc send.");
 279             return;
 280         }
 281
 282         foreach $pkg (keys %contents) {
 283             foreach (keys %{ $contents{$pkg} }) {
 284                 # TODO: correct padding.
 285                 print OUT "$_\t\t\t$pkg\n";
 286             }
 287         }
 288         close OUT;
 289
 290         &::shmWrite($::shm, "DCC SEND $::who $file");
 291
 292         return;
 293     }
 294
 295     &::status("Debian: $found contents results found.");
 296
 297     my @list;
 298     foreach $pkg (keys %contents) {
 299         my @tmplist = &::fixFileList(keys %{ $contents{$pkg} });
 300         my @sublist = sort { length $a <=> length $b } @tmplist;
 301
 302         pop @sublist while (scalar @sublist > 3);
 303
 304         $pkg =~ s/\,/\037\,\037/g;      # underline ','.
 305         push(@list, "(". join(', ',@sublist) .") in $pkg");
 306     }
 307     # sort the total list from shortest to longest...
 308     @list = sort { length $a <=> length $b } @list;
 309
 310     # show how long it took.
 311     my $delta_time = &::timedelta($start_time);
 312     &::status(sprintf("Debian: %.02f sec to complete query.", $delta_time)) if ($delta_time > 0);
 313
 314     my $prefix = "Debian Search of '$query' ";
 315     if (scalar @list) { # @list.
 316         &::pSReply( &::formListReply(0, $prefix, @list) );
 317
 318     } else {            # !@list.
 319         &::DEBUG("deb: ok, !\@list, searching desc for '$query'.") if ($debug);
 320         my @list = &searchDesc($query);
 321
 322         if (!scalar @list) {
 323             my $prefix = "Debian Package/File/Desc Search of '$query' ";
 324             &::pSReply( &::formListReply(0, $prefix, ) );
 325
 326         } elsif (scalar @list == 1) {   # list = 1.
 327             &::DEBUG("deb: list == 1; showing package info of '$list[0]'.");
 328             &infoPackages("info", $list[0]);
 329
 330         } else {                                # list > 1.
 331             my $prefix = "Debian Desc Search of '$query' ";
 332             &::pSReply( &::formListReply(0, $prefix, @list) );
 333         }
 334     }
 335 }
 336
 337 ####
 338 # Usage: &searchAuthor($query);
 339 sub searchAuthor {
 340     my ($dist, $query)  = &getDistroFromStr($_[0]);
 341     &::DEBUG("deb: searchAuthor: dist => '$dist', query => '$query'.") if ($debug);
 342     $query =~ s/^\s+|\s+$//g;
 343
 344     # start of search.
 345     my $start_time = &::timeget();
 346     &::status("Debian: starting author search.");
 347
 348     my $files;
 349     my ($bad,$good) = (0,0);
 350     my %urls = %urlpackages;
 351
 352     foreach (keys %urlpackages) {
 353         s/##DIST/$dist/g;
 354
 355         if (! -f "$debian_dir/$_" ) {
 356             $bad++;
 357             next;
 358         }
 359
 360         $good++;
 361         $files .= " ".$_;
 362     }
 363
 364     &::DEBUG("deb: good = $good, bad = $bad...") if ($debug);
 365
 366     if ($good == 0 and $bad != 0) {
 367         my %urls = &fixDist($dist, %urlpackages);
 368         &::DEBUG("deb: download 2.");
 369
 370         if (!&DebianDownload($dist, %urls)) {
 371             &::ERROR("Debian(sA): could not download files.");
 372             return;
 373         }
 374     }
 375
 376     my (%maint, %pkg, $package);
 377     open(IN,"zegrep -h '^Package|^Maintainer' $files |");
 378     while (<IN>) {
 379         if (/^Package: (\S+)$/) {
 380             $package = $1;
 381
 382         } elsif (/^Maintainer: (.*) \<(\S+)\>$/) {
 383             my($name,$email) = ($1,$2);
 384             if ($package eq "") {
 385                 &::DEBUG("deb: sA: package == NULL.");
 386                 next;
 387             }
 388             $maint{$name}{$email} = 1;
 389             $pkg{$name}{$package} = 1;
 390             $package = "";
 391
 392         } else {
 393             chop;
 394             &::WARN("debian: invalid line: '$_' (1).");
 395         }
 396     }
 397     close IN;
 398
 399     my %hash;
 400     # TODO: can we use 'map' here?
 401     foreach (grep /\Q$query\E/i, keys %maint) {
 402         $hash{$_} = 1;
 403     }
 404
 405     # TODO: should we only search email if '@' is used?
 406     if (scalar keys %hash < 15) {
 407         my $name;
 408
 409         foreach $name (keys %maint) {
 410             my $email;
 411
 412             foreach $email (keys %{ $maint{$name} }) {
 413                 next unless ($email =~ /\Q$query\E/i);
 414                 next if (exists $hash{$name});
 415                 $hash{$name} = 1;
 416             }
 417         }
 418     }
 419
 420     my @list = keys %hash;
 421     if (scalar @list != 1) {
 422         my $prefix = "Debian Author Search of '$query' ";
 423         &::pSReply( &::formListReply(0, $prefix, @list) );
 424         return 1;
 425     }
 426
 427     &::DEBUG("deb: showing all packages by '$list[0]'...") if ($debug);
 428
 429     my @pkg = sort keys %{ $pkg{$list[0]} };
 430
 431     # show how long it took.
 432     my $delta_time = &::timedelta($start_time);
 433     &::status(sprintf("Debian: %.02f sec to complete query.", $delta_time)) if ($delta_time > 0);
 434
 435     my $email   = join(', ', keys %{ $maint{$list[0]} });
 436     my $prefix  = "Debian Packages by $list[0] \002<\002$email\002>\002 ";
 437     &::pSReply( &::formListReply(0, $prefix, @pkg) );
 438 }
 439
 440 ####
 441 # Usage: &searchDesc($query);
 442 sub searchDesc {
 443     my ($dist, $query)  = &getDistroFromStr($_[0]);
 444     &::DEBUG("deb: searchDesc: dist => '$dist', query => '$query'.") if ($debug);
 445     $query =~ s/^\s+|\s+$//g;
 446
 447     # start of search.
 448     my $start_time = &::timeget();
 449     &::status("Debian: starting desc search.");
 450
 451     my $files;
 452     my ($bad,$good) = (0,0);
 453     my %urls = %urlpackages;
 454
 455     foreach (keys %urlpackages) {
 456         s/##DIST/$dist/g;
 457
 458         if (! -f "$debian_dir/$_" ) {
 459             $bad++;
 460             next;
 461         }
 462
 463         $good++;
 464         $files .= " $debian_dir/$_";
 465     }
 466
 467     &::DEBUG("deb(2): good = $good, bad = $bad...") if ($debug);
 468
 469     if ($good == 0 and $bad != 0) {
 470         my %urls = &fixDist($dist, %urlpackages);
 471         &::DEBUG("deb: download 2c.") if ($debug);
 472
 473         if (!&DebianDownload($dist, %urls)) {
 474             &::ERROR("deb: sD: could not download files.");
 475             return;
 476         }
 477     }
 478
 479     my $regex   = $query;
 480     $regex      =~ s/\./\\./g;
 481     $regex      =~ s/\*/\\S*/g;
 482     $regex      =~ s/\?/./g;
 483
 484     my (%desc, $package);
 485     open(IN,"zegrep -h '^Package|^Description' $files |");
 486     while (<IN>) {
 487         if (/^Package: (\S+)$/) {
 488             $package = $1;
 489         } elsif (/^Description: (.*)$/) {
 490             my $desc = $1;
 491             next unless (eval { $desc =~ /$regex/i });
 492             return unless &checkEval($@);
 493
 494             if ($package eq "") {
 495                 &::WARN("sD: package == NULL?");
 496                 next;
 497             }
 498
 499             $desc{$package} = $desc;
 500             $package = "";
 501
 502         } else {
 503             chop;
 504             &::WARN("debian: invalid line: '$_'. (2)");
 505         }
 506     }
 507     close IN;
 508
 509     # show how long it took.
 510     my $delta_time = &::timedelta($start_time);
 511     &::status(sprintf("Debian: %.02f sec to complete query.", $delta_time)) if ($delta_time > 0);
 512
 513     return keys %desc;
 514 }
 515
 516 ####
 517 # Usage: &generateIncoming();
 518 sub generateIncoming {
 519     my $pkgfile  = $debian_dir."/Packages-incoming";
 520     my $idxfile  = $pkgfile.".idx";
 521     my $stale    = 0;
 522     $stale++ if (&::isStale($pkgfile.".gz", $refresh));
 523     $stale++ if (&::isStale($idxfile, $refresh));
 524     &::DEBUG("deb: gI: stale => '$stale'.") if ($debug);
 525     return 0 unless ($stale);
 526
 527     ### STATIC URL.
 528     my %ftp = &::ftpList("llug.sep.bnl.gov", "/pub/debian/Incoming/");
 529
 530     if (!open PKG, ">$pkgfile") {
 531         &::ERROR("cannot write to pkg $pkgfile.");
 532         return 0;
 533     }
 534     if (!open IDX, ">$idxfile") {
 535         &::ERROR("cannot write to idx $idxfile.");
 536         return 0;
 537     }
 538
 539     print IDX "*$pkgfile.gz\n";
 540     my $file;
 541     foreach $file (sort keys %ftp) {
 542         next unless ($file =~ /deb$/);
 543
 544         if ($file =~ /^(\S+)\_(\S+)\_(\S+)\.deb$/) {
 545             print IDX "$1\n";
 546             print PKG "Package: $1\n";
 547             print PKG "Version: $2\n";
 548             print PKG "Architecture: ", (defined $4) ? $4 : "all", "\n";
 549         }
 550         print PKG "Filename: $file\n";
 551         print PKG "Size: $ftp{$file}\n";
 552         print PKG "\n";
 553     }
 554     close IDX;
 555     close PKG;
 556
 557     system("gzip -9fv $pkgfile");       # lame fix.
 558
 559     &::status("Debian: generateIncoming() complete.");
 560 }
 561
 562
 563 ##############################
 564 # DEBIAN PACKAGE INFO FUNCTIONS.
 565 #########
 566
 567 # Usage: &getPackageInfo($query,$file);
 568 sub getPackageInfo {
 569     my ($package, $file) = @_;
 570
 571     if (! -f $file) {
 572         &::status("gPI: file $file does not exist?");
 573         return 'NULL';
 574     }
 575
 576     my $found = 0;
 577     my (%pkg, $pkg);
 578
 579     open(IN, "zcat $file 2>&1 |");
 580
 581     my $done = 0;
 582     while (!eof IN) {
 583         $_ = <IN>;
 584
 585         next if (/^ \S+/);      # package long description.
 586
 587         # package line.
 588         if (/^Package: (.*)\n$/) {
 589             $pkg = $1;
 590             if ($pkg =~ /^\Q$package\E$/i) {
 591                 $found++;       # we can use pkg{'package'} instead.
 592                 $pkg{'package'} = $pkg;
 593             }
 594
 595             next;
 596         }
 597
 598         if ($found) {
 599             chop;
 600
 601             if (/^Version: (.*)$/) {
 602                 $pkg{'version'}         = $1;
 603             } elsif (/^Priority: (.*)$/) {
 604                 $pkg{'priority'}        = $1;
 605             } elsif (/^Section: (.*)$/) {
 606                 $pkg{'section'}         = $1;
 607             } elsif (/^Size: (.*)$/) {
 608                 $pkg{'size'}            = $1;
 609             } elsif (/^Installed-Size: (.*)$/i) {
 610                 $pkg{'installed'}       = $1;
 611             } elsif (/^Description: (.*)$/) {
 612                 $pkg{'desc'}            = $1;
 613             } elsif (/^Filename: (.*)$/) {
 614                 $pkg{'find'}            = $1;
 615             } elsif (/^Pre-Depends: (.*)$/) {
 616                 $pkg{'depends'}         = "pre-depends on $1";
 617             } elsif (/^Depends: (.*)$/) {
 618                 if (exists $pkg{'depends'}) {
 619                     $pkg{'depends'} .= "; depends on $1";
 620                 } else {
 621                     $pkg{'depends'} = "depends on $1";
 622                 }
 623             } elsif (/^Maintainer: (.*)$/) {
 624                 $pkg{'maint'} = $1;
 625             } elsif (/^Provides: (.*)$/) {
 626                 $pkg{'provides'} = $1;
 627             } elsif (/^Suggests: (.*)$/) {
 628                 $pkg{'suggests'} = $1;
 629             } elsif (/^Conflicts: (.*)$/) {
 630                 $pkg{'conflicts'} = $1;
 631             }
 632
 633 ###         &::DEBUG("=> '$_'.");
 634         }
 635
 636         # blank line.
 637         if (/^$/) {
 638             undef $pkg;
 639             last if ($found);
 640             next;
 641         }
 642
 643         next if (defined $pkg);
 644     }
 645
 646     close IN;
 647
 648     %pkg;
 649 }
 650
 651 # Usage: &infoPackages($query,$package);
 652 sub infoPackages {
 653     my ($query,$dist,$package) = ($_[0], &getDistroFromStr($_[1]));
 654
 655     &::status("Debian: Searching for package '$package' in '$dist'.");
 656
 657     # download packages file.
 658     # hrm...
 659     my %urls = &fixDist($dist, %urlpackages);
 660     if ($dist ne "incoming") {
 661         &::DEBUG("deb: download 3.") if ($debug);
 662
 663         if (!&DebianDownload($dist, %urls)) {   # no good download.
 664             &::WARN("Debian(iP): could not download ANY files.");
 665         }
 666     }
 667
 668     # check if the package is valid.
 669     my $incoming = 0;
 670     my @files = &validPackage($package, $dist);
 671     if (!scalar @files) {
 672         &::status("Debian: no valid package found; checking incoming.");
 673         @files = &validPackage($package, "incoming");
 674         if (scalar @files) {
 675             &::status("Debian: cool, it exists in incoming.");
 676             $incoming++;
 677         } else {
 678             &::msg($::who, "Package '$package' does not exist.");
 679             return 0;
 680         }
 681     }
 682
 683     if (scalar @files > 1) {
 684         &::WARN("same package in more than one file; random.");
 685         &::DEBUG("THIS SHOULD BE FIXED SOMEHOW!!!");
 686         $files[0] = &::getRandom(@files);
 687     }
 688
 689     if (! -f $files[0]) {
 690         &::WARN("files[0] ($files[0]) doesn't exist.");
 691         &::msg($::who, "WARNING: $files[0] does not exist? FIXME");
 692         return 'NULL';
 693     }
 694
 695     ### TODO: if specific package is requested, note down that a version
 696     ###         exists in incoming.
 697
 698     my $found = 0;
 699     my $file = $files[0];
 700     my ($pkg);
 701
 702     ### TODO: use fe, dump to a hash. if only one version of the package
 703     ###         exists. do as normal otherwise list all versions.
 704     if (! -f $file) {
 705         &::ERROR("D:iP: file '$file' DOES NOT EXIST!!! should never happen.");
 706         return 0;
 707     }
 708     my %pkg = &getPackageInfo($package, $file);
 709
 710     # 'fm'-like output.
 711     if ($query eq "info") {
 712         if (scalar keys %pkg > 5) {
 713             $pkg{'info'}  = "\002(\002". $pkg{'desc'} ."\002)\002";
 714             $pkg{'info'} .= ", section ".$pkg{'section'};
 715             $pkg{'info'} .= ", is ".$pkg{'priority'};
 716 #           $pkg{'info'} .= ". Version: \002$pkg{'version'}\002";
 717             $pkg{'info'} .= ". Version: \002$pkg{'version'}\002 ($dist)";
 718             $pkg{'info'} .= ", Packaged size: \002". int($pkg{'size'}/1024) ."\002 kB";
 719             $pkg{'info'} .= ", Installed size: \002$pkg{'installed'}\002 kB";
 720
 721             if ($incoming) {
 722                 &::status("iP: info requested and pkg is in incoming, too.");
 723                 my %incpkg = &getPackageInfo($query, $debian_dir ."/Packages-incoming");
 724
 725                 if (scalar keys %incpkg) {
 726                    $pkg{'info'} .= ". Is in incoming ($incpkg{'file'}).";
 727                 } else {
 728                     &::ERROR("iP: pkg $query is in incoming but we couldn't get any info?");
 729                 }
 730             }
 731         } else {
 732             &::DEBUG("deb: running debianCheck() due to problems (".scalar(keys %pkg).").");
 733             &debianCheck();
 734             &::DEBUG("deb: end of debianCheck()");
 735
 736             &::msg($::who,"Debian: Package appears to exist but I could not retrieve info about it...");
 737             return;
 738         }
 739     }
 740
 741     if ($dist eq "incoming") {
 742         $pkg{'info'} .= "Version: \002$pkg{'version'}\002";
 743         $pkg{'info'} .= ", Packaged size: \002". int($pkg{'size'}/1024) ."\002 kB";
 744         $pkg{'info'} .= ", is in incoming!!!";
 745     }
 746
 747     if (!exists $pkg{$query}) {
 748         if ($query eq "suggests") {
 749             $pkg{$query} = "has no suggestions";
 750         } elsif ($query eq "conflicts") {
 751             $pkg{$query} = "does not conflict with any other package";
 752         } elsif ($query eq "depends") {
 753             $pkg{$query} = "does not depend on anything";
 754         } elsif ($query eq "maint") {
 755             $pkg{$query} = "has no maintainer";
 756         } else {
 757             $pkg{$query} = "has nothing about $query";
 758         }
 759     }
 760
 761     &::pSReply("$package: $pkg{$query}");
 762 }
 763
 764 # Usage: &infoStats($dist);
 765 sub infoStats {
 766     my ($dist)  = @_;
 767     $dist       = &getDistro($dist);
 768     return unless (defined $dist);
 769
 770     &::DEBUG("deb: infoS: dist => '$dist'.");
 771
 772     # download packages file if needed.
 773     my %urls = &fixDist($dist, %urlpackages);
 774     &::DEBUG("deb: download 4.");
 775     if (!&DebianDownload($dist, %urls)) {
 776         &::WARN("Debian(iS): could not download ANY files.");
 777         &::msg($::who, "Debian(iS): internal error.");
 778         return;
 779     }
 780
 781     my %stats;
 782     my %total = (maint => 0, isize => 0, csize => 0);
 783     my $file;
 784     foreach $file (keys %urlpackages) {
 785         $file =~ s/##DIST/$dist/g;      # won't work for incoming.
 786         &::DEBUG("deb: file => '$file'.");
 787         if (exists $stats{$file}{'count'}) {
 788             &::DEBUG("deb: hrm... duplicate open with $file???");
 789             next;
 790         }
 791
 792         open(IN, "zcat $file 2>&1 |");
 793
 794         if (! -e $file) {
 795             &::DEBUG("deb: iS: $file does not exist.");
 796             next;
 797         }
 798
 799         while (!eof IN) {
 800             $_ = <IN>;
 801
 802             next if (/^ \S+/);  # package long description.
 803
 804             if (/^Package: (.*)\n$/) {          # counter.
 805                 $stats{$file}{'count'}++;
 806                 $total{'count'}++;
 807             } elsif (/^Maintainer: .* <(\S+)>$/) {
 808                 $stats{$file}{'maint'}{$1}++;
 809                 $total{'maint'}{$1}++;
 810             } elsif (/^Size: (.*)$/) {          # compressed size.
 811                 $stats{$file}{'csize'}  += $1;
 812                 $total{'csize'}         += $1;
 813             } elsif (/^i.*size: (.*)$/i) {      # installed size.
 814                 $stats{$file}{'isize'}  += $1;
 815                 $total{'isize'}         += $1;
 816             }
 817
 818 ###         &::DEBUG("=> '$_'.");
 819         }
 820         close IN;
 821     }
 822
 823     ### TODO: don't count ppl with multiple email addresses.
 824
 825     &::pSReply(
 826         "Debian Distro Stats on $dist... ".
 827         "\002$total{'count'}\002 packages, ".
 828         "\002".scalar(keys %{ $total{'maint'} })."\002 maintainers, ".
 829         "\002". int($total{'isize'}/1024)."\002 MB installed size, ".
 830         "\002". int($total{'csize'}/1024/1024)."\002 MB compressed size."
 831     );
 832
 833 ### TODO: do individual stats? if so, we need _another_ arg.
 834 #    foreach $file (keys %stats) {
 835 #       foreach (keys %{ $stats{$file} }) {
 836 #           &::DEBUG("  '$file' '$_' '$stats{$file}{$_}'.");
 837 #       }
 838 #    }
 839
 840     return;
 841 }
 842
 843 ###
 844 # HELPER FUNCTIONS FOR INFOPACKAGES...
 845 ###
 846
 847 # Usage: &generateIndex();
 848 sub generateIndex {
 849     my (@dists) = @_;
 850     &::DEBUG("D: generateIndex($dists[0]) called!");
 851     if (!scalar @dists or $dists[0] eq '') {
 852         &::ERROR("gI: no dists to generate index.");
 853         return 1;
 854     }
 855
 856     foreach (@dists) {
 857         my $dist = &getDistro($_); # incase the alias is returned, possible?
 858         my $idx  = $debian_dir."/Packages-$dist.idx";
 859
 860         # TODO: check if any of the Packages file have been updated then
 861         #       regenerate it, even if it's not stale.
 862         # TODO: also, regenerate the index if the packages file is newer
 863         #       than the index.
 864         next unless (&::isStale($idx, $refresh));
 865
 866         if (/^incoming$/i) {
 867             &::DEBUG("deb: gIndex: calling generateIncoming()!");
 868             &generateIncoming();
 869             next;
 870         }
 871
 872         if (/^woody$/i) {
 873             &::DEBUG("deb: Copying old index of woody to -old");
 874             system("cp $idx $idx-old");
 875         }
 876
 877         &::DEBUG("deb: gIndex: calling DebianDownload($dist, ...).") if ($debug);
 878         &DebianDownload($dist, &fixDist($dist, %urlpackages) );
 879
 880         &::status("Debian: generating index for '$dist'.");
 881         if (!open OUT, ">$idx") {
 882             &::ERROR("cannot write to $idx.");
 883             return 0;
 884         }
 885
 886         my $packages;
 887         foreach $packages (keys %urlpackages) {
 888             $packages =~ s/##DIST/$dist/;
 889             $packages =  "$debian_dir/$packages";
 890
 891             if (! -e $packages) {
 892                 &::ERROR("gIndex: '$packages' does not exist?");
 893                 next;
 894             }
 895
 896             print OUT "*$packages\n";
 897             open(IN,"zcat $packages |");
 898
 899             while (<IN>) {
 900                 next unless (/^Package: (.*)\n$/);
 901                 print OUT $1."\n";
 902             }
 903             close IN;
 904         }
 905         close OUT;
 906     }
 907
 908     return 1;
 909 }
 910
 911 # Usage: &validPackage($package, $dist);
 912 sub validPackage {
 913     my ($package,$dist) = @_;
 914     my @files;
 915     my $file;
 916
 917     ### this majorly sucks, we need some standard in place.
 918     # why is this needed... need to investigate later.
 919     my $olddist = $dist;
 920     $dist = &getDistro($dist);
 921
 922     &::DEBUG("deb: validPackage($package, $dist) called.") if ($debug);
 923
 924     my $error = 0;
 925     while (!open IN, $debian_dir."/Packages-$dist.idx") {
 926         if ($error) {
 927             &::ERROR("Packages-$dist.idx does not exist (#1).");
 928             return;
 929         }
 930
 931         &generateIndex($dist);
 932
 933         $error++;
 934     }
 935
 936     my $count = 0;
 937     while (<IN>) {
 938         if (/^\*(.*)\n$/) {
 939             $file = $1;
 940             next;
 941         }
 942
 943         if (/^\Q$package\E\n$/) {
 944             push(@files,$file);
 945         }
 946         $count++;
 947     }
 948     close IN;
 949
 950     &::VERB("vP: scanned $count items in index.",2);
 951
 952     return @files;
 953 }
 954
 955 sub searchPackage {
 956     my ($dist, $query) = &getDistroFromStr($_[0]);
 957     my $file = $debian_dir."/Packages-$dist.idx";
 958     my @files;
 959     my $error   = 0;
 960     my $warn    = ($query =~ tr/A-Z/a-z/) ? 1 : 0;
 961
 962     &::status("Debian: Search package matching '$query' in '$dist'.");
 963     unlink $file if ( -z $file );
 964
 965     while (!open IN, $file) {
 966         if ($dist eq "incoming") {
 967             &::DEBUG("deb: sP: dist == incoming; calling gI().");
 968             &generateIncoming();
 969         }
 970
 971         if ($error) {
 972             &::ERROR("could not generate index ($file)!");
 973             return;
 974         }
 975
 976         $error++;
 977         &::DEBUG("deb: should we be doing this?");
 978         &generateIndex(($dist));
 979     }
 980
 981     while (<IN>) {
 982         chop;
 983
 984         if (/^\*(.*)$/) {
 985             $file = $1;
 986
 987             if (&::isStale($file, $refresh)) {
 988                 &::DEBUG("deb: STALE $file! regen.") if ($debug);
 989                 &generateIndex(($dist));
 990 ###             @files = searchPackage("$query $dist");
 991                 &::DEBUG("deb: EVIL HACK HACK HACK.") if ($debug);
 992                 last;
 993             }
 994
 995             next;
 996         }
 997
 998         if (/\Q$query\E/) {
 999             push(@files,$_);
1000         }
1001     }
1002     close IN;
1003
1004     if (scalar @files and $warn) {
1005         &::msg($::who, "searching for package name should be fully lowercase!");
1006     }
1007
1008     return @files;
1009 }
1010
1011 sub getDistro {
1012     my $dist = $_[0];
1013
1014     if (!defined $dist or $dist eq "") {
1015         &::DEBUG("deb: gD: dist == NULL; dist = defaultdist.");
1016         $dist = $defaultdist;
1017     }
1018
1019     if ($dist =~ /^(slink|hamm|rex|bo)$/i) {
1020         &::DEBUG("deb: deprecated version ($dist).");
1021         &::msg($::who, "Debian: deprecated distribution version.");
1022         return;
1023     }
1024
1025     if (exists $dists{$dist}) {
1026         &::VERB("gD: returning dists{$dist} ($dists{$dist})",2);
1027         return $dists{$dist};
1028
1029     } else {
1030         if (!grep /^\Q$dist\E$/i, %dists) {
1031             &::msg($::who, "invalid dist '$dist'.");
1032             return;
1033         }
1034
1035         &::VERB("gD: returning $dist (no change or conversion)",2);
1036         return $dist;
1037     }
1038 }
1039
1040 sub getDistroFromStr {
1041     my ($str) = @_;
1042     my $dists   = join '|', %dists;
1043     my $dist    = $defaultdist;
1044
1045     if ($str =~ s/\s+($dists)$//i) {
1046         $dist = &getDistro(lc $1);
1047         $str =~ s/\\+$//;
1048     }
1049     $str =~ s/\\([\$\^])/$1/g;
1050
1051     return($dist,$str);
1052 }
1053
1054 sub fixDist {
1055     my ($dist, %urls) = @_;
1056     my %new;
1057     my ($key,$val);
1058
1059     while (($key,$val) = each %urls) {
1060         $key =~ s/##DIST/$dist/;
1061         $val =~ s/##DIST/$dist/;
1062         ### TODO: what should we do if the sar wasn't done.
1063         $new{$debian_dir."/".$key} = $val;
1064     }
1065
1066     return %new;
1067 }
1068
1069 sub DebianFind {
1070     # HACK! HACK! HACK!
1071     my ($str) = @_;
1072     my ($dist, $query) = &getDistroFromStr($str);
1073     my @results = sort &searchPackage($str);
1074
1075     if (!scalar @results) {
1076         &::Forker("debian", sub { &searchContents($str); } );
1077     } elsif (scalar @results == 1) {
1078         &::status("searchPackage returned one result; getting info of package instead!");
1079         &::Forker("debian", sub { &infoPackages("info", "$results[0] $dist"); } );
1080     } else {
1081         my $prefix = "Debian Package Listing of '$query' ";
1082         &::pSReply( &::formListReply(0, $prefix, @results) );
1083     }
1084 }
1085
1086 sub debianCheck {
1087     my $error   = 0;
1088
1089     &::status("debianCheck() called.");
1090
1091     ### TODO: remove the following loop (check if dir exists before)
1092     while (1) {
1093         last if (opendir(DEBIAN, $debian_dir));
1094
1095         if ($error) {
1096             &::ERROR("dC: cannot opendir debian.");
1097             return;
1098         }
1099
1100         mkdir $debian_dir, 0755;
1101         $error++;
1102     }
1103
1104     my $retval = 0;
1105     my $file;
1106     while (defined($file = readdir DEBIAN)) {
1107         next unless ($file =~ /(gz|bz2)$/);
1108
1109         my $exit = system("gzip -t '$debian_dir/$file'");
1110         next unless ($exit);
1111         &::DEBUG("deb: hmr... => ".(time() - (stat($file))[8])."'.");
1112         next unless (time() - (stat($file))[8] > 3600);
1113
1114         &::DEBUG("deb: dC: exit => '$exit'.");
1115         &::WARN("dC: '$debian_dir/$file' corrupted? deleting!");
1116         unlink $debian_dir."/".$file;
1117         $retval++;
1118     }
1119
1120     return $retval;
1121 }
1122
1123 sub checkEval {
1124     my($str)    = @_;
1125
1126     if ($str) {
1127         &::WARN("cE: $str");
1128         return 0;
1129     } else {
1130         return 1;
1131     }
1132 }
1133
1134 sub searchDescFE {
1135 #    &::DEBUG("deb: FE called for searchDesc");
1136     my ($query) = @_;
1137     my @list = &searchDesc($query);
1138
1139     if (!scalar @list) {
1140         my $prefix = "Debian Desc Search of '$query' ";
1141         &::pSReply( &::formListReply(0, $prefix, ) );
1142     } elsif (scalar @list == 1) {       # list = 1.
1143         &::DEBUG("deb: list == 1; showing package info of '$list[0]'.");
1144         &infoPackages("info", $list[0]);
1145     } else {                            # list > 1.
1146         my $prefix = "Debian Desc Search of '$query' ";
1147         &::pSReply( &::formListReply(0, $prefix, @list) );
1148     }
1149 }
1150
1151 1;