]> git.donarmstrong.com Git - wannabuild.git/blobdiff - bin/wanna-build
uncommited change
[wannabuild.git] / bin / wanna-build
index b4480016c505529645408c4206a2a1efd27c224d..91d05df91f8c7c346941d69e1303a6aa0caba1f3 100755 (executable)
@@ -32,7 +32,6 @@ die "dbbase is empty\n" if ! $dbbase;
 die "transactlog is empty\n" if ! $transactlog;
 die "mailprog binary $conf::mailprog does not exist or isn't executable\n"
        if !-x $conf::mailprog;
-die "no distributions defined\n" if ! %distributions;
 package main;
 
 use strict;
@@ -40,7 +39,6 @@ use POSIX;
 use FileHandle;
 use File::Copy;
 use DBI;
-use lib '/org/wanna-build/bin';
 use lib '/org/wanna-build/lib';
 #use lib 'lib';
 use WannaBuild;
@@ -51,6 +49,7 @@ use String::Format;
 use Date::Parse;
 use List::Util qw[max];
 use Dpkg::Version qw(vercmp); # TODO: change this for running with squeeze dpkg
+use Dpkg::Deps; # TODO: same
 
 our ($verbose, $mail_logs, $list_order, $list_state,
     $curr_date, $op_mode, $user, $real_user, $distribution,
@@ -60,12 +59,14 @@ our ($verbose, $mail_logs, $list_order, $list_state,
     $category, %catval, %short_category,
     $short_date, $list_min_age, $dbbase, @curr_time,
     $build_priority, %new_vers, $binNMUver, %merge_srcvers, %merge_binsrc,
-    $printformat, $ownprintformat, $privmode, $extra_depends, $extra_conflicts
+    $printformat, $ownprintformat, $privmode, $extra_depends, $extra_conflicts,
+    %distributions, %distribution_aliases
     );
 our $Pas = '/org/buildd.debian.org/etc/packages-arch-specific/Packages-arch-specific';
 our $simulate = 0;
 our $simulate_edos = 0;
 our $api = undef; # allow buildds to specify an different api
+our $recorduser = undef;
 
 # global vars
 $ENV{'PATH'} = "/bin:/usr/bin:/usr/local/bin:/org/wanna-build/bin/";
@@ -214,6 +215,8 @@ my %options =
         export         => { arg => \$export_to, mode => "export" },
         import         => { arg => \$import_from, mode => "import" },
         "manual-edit"  => { mode => "manual-edit" },
+        "distribution-architectures" => { mode => "distribution-architectures" },
+        "distribution-aliases" => { mode => "distribution-aliases" },
         );
 
 while( @ARGV && $ARGV[0] =~ /^-/ ) {
@@ -257,9 +260,15 @@ while( @ARGV && $ARGV[0] =~ /^-/ ) {
        }
 }
 
-$op_mode = $category ? "set-failed" : "set-building"
-       if !$op_mode; # default operation
-$distribution ||= "unstable";
+my $dbh;
+
+END {
+       if (defined $dbh)
+       {
+               $dbh->disconnect or warn $dbh->errstr;
+       }
+}
+
 if ($distribution eq 'any-priv') {
     $privmode = 'yes';
     $distribution = 'any';
@@ -268,12 +277,49 @@ if ($distribution eq 'any-unpriv') {
     $privmode = 'no';
     $distribution = 'any';
 }
+
+my $schema_suffix = '';
+$recorduser //= (not -t and $user =~ /^buildd_/);
+if (isin( $op_mode, qw(list info)) && $distribution !~ /security/ && !$recorduser && !($privmode eq 'yes')) {
+       $dbh = DBI->connect("DBI:Pg:service=wanna-build") || 
+               die "FATAL: Cannot open database: $DBI::errstr\n";
+       $schema_suffix = '_public';
+}
+else
+{
+       $dbh = DBI->connect("DBI:Pg:service=wanna-build-privileged") || 
+               die "FATAL: Cannot open database: $DBI::errstr\n";
+}
+
+# TODO: This shouldn't be needed, file a bug.
+$dbh->{pg_server_prepare} = 0;
+
+$dbh->begin_work or die $dbh->errstr;
+
+my $q = 'SELECT distribution, public, auto_dep_wait FROM distributions';
+my $rows = $dbh->selectall_hashref($q, 'distribution');
+foreach my $name (keys %$rows) {
+       $distributions{$name} = {};
+       $distributions{$name}->{'noadw'} = 1 if !($rows->{$name}->{'auto_dep_wait'});
+       $distributions{$name}->{'hidden'} = 1 if !($rows->{$name}->{'public'});
+}
+
+$q = 'SELECT alias, distribution FROM distribution_aliases';
+$rows = $dbh->selectall_hashref($q, 'alias');
+foreach my $name (keys %$rows) {
+       $distribution_aliases{$name} = $rows->{$name}->{'distribution'};
+}
+$distribution = $distribution_aliases{$distribution} if (isin($distribution, keys %distribution_aliases));
+
+$op_mode = $category ? "set-failed" : "set-building"
+       if !$op_mode; # default operation
+$distribution ||= "sid";
 undef $distribution if $distribution eq 'any';
 if ($distribution) {
     my @dists = split(/[, ]+/, $distribution);
     foreach my $dist (@dists) {
         die "Bad distribution '$distribution'\n"
-           if !isin($dist, keys %conf::distributions);
+           if !isin($dist, keys %distributions);
     }
 }
 if (!isin ( $op_mode, qw(list) ) && ( !$distribution || $distribution =~ /[ ,]/)) {
@@ -298,7 +344,8 @@ if ($verbose) {
 
 if (!@ARGV && !isin( $op_mode, qw(list merge-quinn merge-partial-quinn import export
                                  merge-packages manual-edit
-                                 merge-sources))) {
+                                 merge-sources distribution-architectures
+                                 distribution-aliases))) {
        warn "No packages given.\n";
        usage();
 }
@@ -360,32 +407,6 @@ $list_order ||= $yamlmap->{"list-order"}{'default'};
 $api //= $yamlmap->{"api"};
 $api //= 0;
 
-my $dbh;
-
-END {
-       if (defined $dbh)
-       {
-               $dbh->disconnect or warn $dbh->errstr;
-       }
-}
-
-my $schema_suffix = '';
-if (isin( $op_mode, qw(list info)) && $distribution !~ /security/ && !(not -t and $user =~ /buildd-/) && !($privmode eq 'yes')) {
-       $dbh = DBI->connect("DBI:Pg:service=wanna-build") || 
-               die "FATAL: Cannot open database: $DBI::errstr\n";
-       $schema_suffix = '_public';
-}
-else
-{
-       $dbh = DBI->connect("DBI:Pg:service=wanna-build-privileged") || 
-               die "FATAL: Cannot open database: $DBI::errstr\n";
-}
-
-# TODO: This shouldn't be needed, file a bug.
-$dbh->{pg_server_prepare} = 0;
-
-$dbh->begin_work or die $dbh->errstr;
-
 process();
 
 $dbh->commit;
@@ -545,10 +566,18 @@ sub process {
                        export_db( $export_to );
                        last SWITCH;
                };
+               /^distribution-architectures/ && do {
+                       show_distribution_architectures();
+                       last SWITCH;
+               };
+               /^distribution-aliases/ && do {
+                       show_distribution_aliases();
+                       last SWITCH;
+               };
 
                die "Unexpected operation mode $op_mode\n";
        }
-       if (not -t and $user =~ /buildd-/) {
+       if ($recorduser) {
                my $userinfo = get_user_info($user);
                if (!defined $userinfo)
                {
@@ -1140,6 +1169,11 @@ sub set_one_binnmu {
                        $pkg->{'notes'} = 'out-of-date';
                        $pkg->{'buildpri'} = $pkg->{'permbuildpri'}
                                if (defined $pkg->{'permbuildpri'});
+                       if (defined $distributions{$distribution}{noadw}) {
+                               change_state( \$pkg, 'Installed' );
+                       } else {
+                               change_state( \$pkg, 'BD-Uninstallable' );
+                       }
                }
                log_ta( $pkg, "--binNMU" );
                update_source_info($pkg);
@@ -1161,7 +1195,7 @@ sub set_one_binnmu {
                return;
        }
 
-       if ($distribution eq "unstable") {
+       if (!defined $distributions{$distribution}{noadw}) {
                change_state( \$pkg, 'BD-Uninstallable' );
                $pkg->{'bd_problem'} = "Installability of build dependencies not tested yet";
        }
@@ -1905,6 +1939,13 @@ sub calculate_prio {
        my $scale = $priomap->{'waitingdays'}->{'scale'} || 1;
        $pkg->{'calprio'} += $days * $scale;
 
+        my $btime = max($pkg->{'anytime'}, $pkg->{'successtime'});
+        my $bhours = defined($btime) ? int($btime/3600) : ($priomap->{'buildhours'}->{'default'} || 2);
+       $bhours = $priomap->{'buildhours'}->{'min'} if $priomap->{'buildhours'}->{'min'} and $bhours < $priomap->{'buildhours'}->{'min'};
+       $bhours = $priomap->{'buildhours'}->{'max'} if $priomap->{'buildhours'}->{'max'} and $bhours > $priomap->{'buildhours'}->{'max'};
+       $scale = $priomap->{'buildhours'}->{'scale'} || 1;
+        $pkg->{'calprio'} -= $bhours * $scale;
+
        $pkg->{'calprio'} += $pkg->{'permbuildpri'} if  $pkg->{'permbuildpri'};
        $pkg->{'calprio'} += $pkg->{'buildpri'} if  $pkg->{'buildpri'};
 
@@ -2109,7 +2150,7 @@ sub info_packages {
        my( $name, $pkg, $key, $dist );
        my @firstkeys = qw(package version builder state section priority
                                           installed_version previous_state state_change);
-       my @dists = $info_all_dists ? keys %conf::distributions : ($distribution);
+       my @dists = $info_all_dists ? keys %distributions : ($distribution);
        my %beautykeys = ( 'package' => 'Package', 'version' => 'Version', 'builder' => 'Builder',
                'state' => 'State', 'section' => 'Section', 'priority' => 'Priority',
                'installed_version' => 'Installed-Version', 'previous_state' => 'Previous-State',
@@ -2430,24 +2471,9 @@ sub build_deplist {
 }
 
 
-sub greparch {
-    my ($gapkglong, $gaarch) = @_;
-    my ($gapkg, $gaarchs) = split(/ \[/, $gapkglong);
-    if ($gaarchs) {
-        $_ = $gapkg;
-        chop($gaarchs); # take away the ]
-        my @gaarches = split(/ /, $gaarchs);
-        if (substr($gaarches[0], 0, 1) eq '!') {
-            return 0 if grep /^!$gaarch$/, @gaarches;
-        } else { # positive case
-            return 0 unless grep /^$gaarch$/, @gaarches;
-        }
-    };
-    return 1;
-}
 sub filterarch {
-    my $faarch = $_[1];
-    return join(', ', grep { &greparch($_, $faarch) } split(/, ?/, $_[0]));
+    return "" unless $_[0];
+    return Dpkg::Deps::parse($_[0], ("reduce_arch" => 1, "host_arch" => $_[1]))->dump();
 }
 
 sub wb_edos_builddebcheck {
@@ -2544,7 +2570,7 @@ sub call_edos_depcheck {
     my $srcs = $args->{'srcs'};
     my $key;
     
-    return if defined ($conf::distributions{$distribution}{noadw}) && not defined $args->{'depwait'};
+    return if defined ($distributions{$distribution}{noadw}) && not defined $args->{'depwait'};
 
     # We need to check all of needs-build, as any new upload could make
     # something in needs-build have uninstallable deps
@@ -2554,13 +2580,13 @@ sub call_edos_depcheck {
     my $db = get_all_source_info();
     foreach $key (keys %$db) {
        my $pkg = $db->{$key};
-        if (defined $pkg and isin($pkg->{'state'}, qw/Needs-Build BD-Uninstallable/) and not defined ($conf::distributions{$distribution}{noadw})) {
+        if (defined $pkg and isin($pkg->{'state'}, qw/Needs-Build BD-Uninstallable/) and not defined ($distributions{$distribution}{noadw})) {
                $interesting_packages{$key} = undef;
        }
         if (defined $pkg and isin($pkg->{'state'}, qw/Dep-Wait/) and defined $args->{'depwait'}) {
                $interesting_packages_depwait{$key} = undef;
                 # we always check for BD-Uninstallability in depwait - could be that depwait is satisfied but package is uninstallable
-               $interesting_packages{$key} = undef unless defined ($conf::distributions{$distribution}{noadw});
+               $interesting_packages{$key} = undef unless defined ($distributions{$distribution}{noadw});
        }
     }
     
@@ -2836,6 +2862,22 @@ sub get_all_source_info {
        return $db;
 }
 
+sub show_distribution_architectures {
+       my $q = 'SELECT distribution, spacecat_all(architecture) AS architectures '.
+               'FROM distribution_architectures '.
+               'GROUP BY distribution';
+       my $rows = $dbh->selectall_hashref($q, 'distribution');
+       foreach my $name (keys %$rows) {
+               print $name.': '.$rows->{$name}->{'architectures'}."\n";
+       }
+}
+
+sub show_distribution_aliases {
+       foreach my $alias (keys %distribution_aliases) {
+               print $alias.': '.$distribution_aliases{$alias}."\n";
+       }
+}
+
 sub update_source_info {
        my $pkg = shift;
         $pkg->{'extra_depends'} = $extra_depends if defined $extra_depends;
@@ -2996,7 +3038,7 @@ sub parse_all_v3() {
             ($pkg->{'binary_nmu_version'} ? ";b".$pkg->{'binary_nmu_version'} : "").
             ", $pkg->{'state'}):";
 
-        if (isin($pkgs->{'status'}, qw (installed related)) && $pkg->{'binary_nmu_version'} && $pkgs->{'binnmu'} < int($pkg->{'binary_nmu_version'})) {
+        if (isin($pkgs->{'status'}, qw (installed related)) && $pkgs->{'version'} eq $pkg->{'version'} && $pkg->{'binary_nmu_version'} && $pkgs->{'binnmu'} < int($pkg->{'binary_nmu_version'})) {
                 $pkgs->{'status'} = 'out-of-date';
         }
         if (isin($pkgs->{'status'}, qw (installed related))) {