]> git.donarmstrong.com Git - wannabuild.git/blobdiff - bin/wanna-build
fix binNMU detection of installed packages, and fix testsuite and logging
[wannabuild.git] / bin / wanna-build
index 02adc05510720f48d5a93d5a680d3e3b78fedd84..6124fb3914b53b0972ca9fa7d3eae86dadc64d89 100755 (executable)
@@ -3,6 +3,7 @@
 # wanna-build: coordination script for Debian buildds
 # Copyright (C) 1998 Roman Hodek <Roman.Hodek@informatik.uni-erlangen.de>
 # Copyright (C) 2005-2008 Ryan Murray <rmurray@debian.org>
+# Copyright (C) 2010      Andreas Barth <aba@not.so.argh.org>
 #
 # This program is free software; you can redistribute it and/or
 # modify it under the terms of the GNU General Public License as
@@ -41,6 +42,7 @@ use File::Copy;
 use DBI;
 use lib '/org/wanna-build/bin';
 use lib '/org/wanna-build/lib';
+#use lib 'lib';
 use WannaBuild;
 use YAML::Tiny;
 use Data::Dumper;
@@ -497,7 +499,7 @@ sub process {
                /^merge-v3/ && do {
                         die "This operation is restricted to admin users\n"
                            if (defined @conf::admin_users and !isin( $real_user, @conf::admin_users) and !$simulate);
-                        # call with installed-packages+ . installed-sources+ [ . available-for-build-packages+ ]
+                        # call with installed-packages+ . installed-sources+ [ . available-for-build-packages* [ . consider-as-installed-source* ]  ]
                         # in case available-for-build-packages is not specified, installed-packages are used
                         lock_table() unless $simulate;
                         my $replacemap = { '%ARCH%' => $arch, '%SUITE%' => $distribution };
@@ -505,11 +507,21 @@ sub process {
                         my @ipkgs = &parse_argv( \@ARGV, '.');
                         my @isrcs = &parse_argv( \@ARGV, '.');
                         my @bpkgs = &parse_argv( \@ARGV, '.');
+                        my @psrcs = &parse_argv( \@ARGV, '.');
                         use WB::QD;
                         my $srcs = WB::QD::readsourcebins($arch, $Pas, \@isrcs, \@ipkgs);
-                        parse_all_v3($$srcs);
+                        if (@psrcs) {
+                            my $psrcs = WB::QD::readsourcebins($arch, $Pas, \@psrcs, []);
+                            foreach my $k (keys %$$psrcs) {
+                                next if $$srcs->{$k};
+                                my $pkg = $$psrcs->{$k};
+                                $pkg->{'status'} = 'related';
+                                $$srcs->{$k} = $pkg;
+                            }
+                        }
+                        parse_all_v3($$srcs, {'arch' => $arch, 'suite' => $distribution, 'time' => $curr_date});
                         @bpkgs = @ipkgs unless @bpkgs;
-                        call_edos_depcheck( {'arch' => $arch, 'pkgs' => @bpkgs, 'srcs' => $$srcs, 'depwait' => 1 });
+                        call_edos_depcheck( {'arch' => $arch, 'pkgs' => \@bpkgs, 'srcs' => $$srcs, 'depwait' => 1 });
                         last SWITCH;
                };
                /^import/ && do {
@@ -729,7 +741,7 @@ sub add_one_building {
                }
                print "$name: $ok\n" if $verbose;
             } else {
-                print "$name:\n";
+                print "$name:\n";
                 print "    - status: ok\n";
                 if ($pkg->{'binary_nmu_version'}) {
                     print "    - binNMU:\n";
@@ -748,7 +760,7 @@ sub add_one_building {
             if ($api < 1) {
                print "$name: NOT OK!\n  $reason\n";
             } else {
-               print "$name:\n    - status: not ok\n    - reason: \"$reason\"\n";
+               print "$name:\n    - status: not ok\n    - reason: \"$reason\"\n";
             }
        }
 }
@@ -2297,10 +2309,10 @@ sub log_ta {
                   "by $real_user as $user";
        
         if ($simulate) {
-            printf ("update transactions: %s %s %s %s %s %s %s %s\n",
+            printf "update transactions: %s %s %s %s %s %s %s %s\n",
                $pkg->{'package'}, $distribution,
                $pkg->{'version'}, $action, $prevstate, $pkg->{'state'},
-                $real_user, $user);
+                $real_user, $user;
             return;
         }
        $dbh->do('INSERT INTO ' . transactions_table_name() .
@@ -2422,11 +2434,11 @@ sub wb_edos_builddebcheck {
     my $sourceprefix="source---";
     my $architecture=$args->{'arch'};
     my $edosoptions = "-failures -explain -quiet";
-    my @packagefiles = $args->{'pkgs'};
+    my $packagefiles = $args->{'pkgs'};
     my $sourcesfile = $args->{'src'};
 
     my $packagearch="";
-    foreach my $packagefile (@packagefiles) {
+    foreach my $packagefile (@$packagefiles) {
         open(P,$packagefile);
         while (<P>) {
             next unless /^Architecture/;
@@ -2455,9 +2467,9 @@ sub wb_edos_builddebcheck {
         }   
     }
 
-    print "calling: edos-debcheck $edosoptions < $sourcesfile ".join('', map {" '-base FILE' ".$_ } @packagefiles)."\n";
+    print "calling: edos-debcheck $edosoptions < $sourcesfile ".join('', map {" '-base FILE' ".$_ } @$packagefiles)."\n";
     open(RESULT, '-|',
-        "edos-debcheck $edosoptions < $sourcesfile ".join('', map {" '-base FILE' ".$_ } @packagefiles));
+        "edos-debcheck $edosoptions < $sourcesfile ".join('', map {" '-base FILE' ".$_ } @$packagefiles));
 
     my $explanation="";
     my $result={};
@@ -2911,12 +2923,13 @@ sub parse_argv() {
 
 sub parse_all_v3() {
     my $srcs = shift;
+    my $vars = shift;
     my $db = get_all_source_info();
     my $binary = $srcs->{'_binary'};
 
     SRCS:
     foreach my $name (keys %$srcs) {
-        next if $name eq '_binaries';
+        next if $name eq '_binary';
 
         # state = installed, out-of-date, uncompiled, not-for-us
         my $pkgs = $srcs->{$name};
@@ -2924,29 +2937,46 @@ sub parse_all_v3() {
 
         unless ($pkg) {
             next SRCS if $pkgs->{'status'} eq 'not-for-us';
+            my $logstr = "merge-v3 $vars->{'time'} ".$name."_$pkgs->{'version'} ($vars->{'arch'}, $vars->{'suite'}):";
 
             # does at least one binary exist in the database and is more recent - if so, we're probably just outdated, ignore the source package
             for my $bin (@{$pkgs->{'binary'}}) {
-                if ($binary->{$bin} and vercmp($pkgs->{'version'}, $binary->{$bin}) < 0) {
-                    print "merge-v3: skiping $name ($arch)\n" if $verbose || $simulate;
+                if ($binary->{$bin} and vercmp($pkgs->{'version'}, $binary->{$bin}->{'version'}) < 0) {
+                    print "$logstr skipped because binaries (assumed to be) overwritten\n" if $verbose || $simulate;
                     next SRCS;
                 }
             }
             $pkg->{'package'}  = $name;
         }
+        my $logstr = "merge-v3 $vars->{'time'} ".$name."_$pkgs->{'version'}".
+            ($pkgs->{'binnmu'} ? ";b".$pkgs->{'binnmu'} : "").
+            "($vars->{'arch'}, $vars->{'suite'}, previous: $pkg->{'version'}".
+            ($pkg->{'binary_nmu_version'} ? ";b".$pkg->{'binary_nmu_version'} : "").
+            ", $pkg->{'state'}):";
 
-        if ($pkgs->{'status'} eq 'installed' && $pkg->{'binary_nmu_version'} && $pkgs->{'binnmu'} < $pkg->{'binary_nmu_version'}) {
+        if (isin($pkgs->{'status'}, qw (installed related)) && $pkg->{'binary_nmu_version'} && $pkgs->{'binnmu'} < $pkg->{'binary_nmu_version'}) {
                 $pkgs->{'status'} = 'out-of-date';
         }
-        if ($pkgs->{'status'} eq 'installed') {
+        if (isin($pkgs->{'status'}, qw (installed related))) {
+            my $change = 0;
             if ($pkg->{'state'} ne 'Installed') {
                 change_state( \$pkg, 'Installed');
-                $pkg->{'version'} = $pkgs->{'version'};
-                $pkg->{'installed_version'} = $pkgs->{'version'};
-                $pkg->{'binary_nmu_version'} = $pkgs->{'binnmu'};
-                $pkg->{'section'} = $pkgs->{'section'};
-                $pkg->{'priority'} = $pkgs->{'priority'};
-                print "merge-v3: set $name ($arch) to installed\n" if $verbose || $simulate;
+                delete $pkg->{'depends'};
+                $change++;
+            }
+            my $attrs = { 'version' => 'version', 'installed_version' => 'version', 'binary_nmu_version' => 'binnmu', 'section' => 'section', 'priority' => 'priority' };
+            foreach my $k (keys %$attrs) {
+                if ($pkg->{$k} ne $pkgs->{$attrs->{$k}}) {
+                    $pkg->{$k} = $pkgs->{$attrs->{$k}};
+                    $change++;
+                }
+            }
+            if (isin($pkgs->{'status'}, qw (related)) and $pkg->{'notes'} ne "related") {
+                $pkg->{'notes'} = "related";
+                $change++;
+            }
+            if ($change) {
+                print "$logstr set to installed/".$pkg->{'notes'}."\n" if $verbose || $simulate;
                 log_ta( $pkg, "--merge-v3: installed" ) unless $simulate;
                 update_source_info($pkg) unless $simulate;
             }
@@ -2960,18 +2990,22 @@ sub parse_all_v3() {
                 change_state( \$pkg, "Failed-Removed" );
                log_ta( $pkg, "--merge-v3: Failed-Removed" ) unless $simulate;
                update_source_info($pkg) unless $simulate;
-                print "$name ($pkg->{'version'}): (virtually) deleted from database\n" if $verbose || $simulate;
+                print "$logstr (virtually) deleted from database\n" if $verbose || $simulate;
                 next;
             }
 
-            print "should delete $name (not-for-us)\n" if $verbose || $simulate || 1; # not implemented yet on purpose
+            print "$logstr should delete (not-for-us according to P-a-s)\n" if $verbose || $simulate || 1; # not implemented yet on purpose
             next;
         }
 
         # only uncompiled / out-of-date are left, so check if anything new
+        if (!(isin($pkgs->{'status'}, qw (uncompiled out-of-date)))) {
+            print "$logstr package in unknown state: $pkgs->{'status'}\n";
+            next SRCS;
+        }
         next if $pkgs->{'version'} eq $pkg->{'version'};
+        next if isin( $pkg->{'state'}, qw(Not-For-Us Failed-Removed));
 
-        print "should set $name to needs-builds\n" if $simulate;
         if (defined( $pkg->{'state'} ) && isin( $pkg->{'state'}, qw(Building Built Build-Attempted))) {
             send_mail( $pkg->{'builder'},
                 "new version of $name (dist=$distribution)",
@@ -2981,7 +3015,7 @@ sub parse_all_v3() {
                 "compiling $name yet, you can stop it to save some work.\n".
                 "Just to inform you...\n".
                 "(This is an automated message)\n" ) unless $simulate;
-           print "$name: new version ($pkgs->{'version'}) while building $pkg->{'version'} -- sending mail to builder ($pkg->{'builder'})\n"
+           print "$logstr new version while building $pkg->{'version'} -- sending mail to builder ($pkg->{'builder'})\n"
                                  if $verbose || $simulate;
            }
         change_state( \$pkg, 'Needs-Build');
@@ -2996,16 +3030,17 @@ sub parse_all_v3() {
         delete $pkg->{'binary_nmu_changelog'};
         log_ta( $pkg, "--merge-v3: needs-build" ) unless $simulate;
         update_source_info($pkg) unless $simulate;
-        print "$name ($pkgs->{'version'} / $arch) needs rebuilding now.\n" if $verbose || $simulate;
+        print "$logstr set to needs-builds\n" if $simulate || $verbose;
     }
 
     foreach my $name (keys %$db) {
         next if $srcs->{$name};
         my $pkg = $db->{$name};
+        my $logstr = "merge-v3 $vars->{'time'} ".$name."_$pkg->{'version'} ($vars->{'arch'}, $vars->{'suite'}, previous: $pkg->{'state'}):";
         # package disappeared - delete
         change_state( \$pkg, 'deleted' );
         log_ta( $pkg, "--merge-v3: deleted" ) unless $simulate;
-       print "$name ($pkg->{'version'} / $arch) deleted from database\n" if $verbose || $simulate;
+       print "$logstr deleted from database\n" if $verbose || $simulate;
         del_source_info($name) unless $simulate;
         delete $db->{$name};
     }