]> git.donarmstrong.com Git - debhelper.git/blobdiff - Debian/Debhelper/Dh_Lib.pm
Make it possible to pass perl code to autoscript.
[debhelper.git] / Debian / Debhelper / Dh_Lib.pm
index 602b77fbc012f97dae29b069c279f2ea64d12390..7b550b0ea5752820d98d1a84d49b5255c3aeeedc 100644 (file)
@@ -15,10 +15,12 @@ use vars qw(@ISA @EXPORT %dh);
            &filedoublearray &getpackages &basename &dirname &xargs %dh
            &compat &addsubstvar &delsubstvar &excludefile &package_arch
            &is_udeb &udeb_filename &debhelper_script_subst &escape_shell
-           &inhibit_log &load_log &write_log &dpkg_architecture_value
-           &sourcepackage &get_make_jobserver_status);
+           &inhibit_log &load_log &write_log &commit_override_log
+           &dpkg_architecture_value &sourcepackage
+           &is_make_jobserver_unavailable &clean_jobserver_makeflags
+           &cross_command &set_buildflags &get_buildoption);
 
-my $max_compat=7;
+my $max_compat=10;
 
 sub init {
        my %params=@_;
@@ -32,7 +34,7 @@ sub init {
            grep /^-/, @ARGV) {
                eval "use Debian::Debhelper::Dh_Getopt";
                error($@) if $@;
-               Debian::Debhelper::Dh_Getopt::parseopts($params{options});
+               Debian::Debhelper::Dh_Getopt::parseopts(%params);
        }
 
        # Another way to set excludes.
@@ -64,18 +66,18 @@ sub init {
                $dh{NO_ACT}=1;
        }
 
-       my @allpackages=getpackages();
        # Get the name of the main binary package (first one listed in
        # debian/control). Only if the main package was not set on the
        # command line.
        if (! exists $dh{MAINPACKAGE} || ! defined $dh{MAINPACKAGE}) {
+               my @allpackages=getpackages();
                $dh{MAINPACKAGE}=$allpackages[0];
        }
 
        # Check if packages to build have been specified, if not, fall back to
-       # the default, doing them all.
+       # the default, building all relevant packages.
        if (! defined $dh{DOPACKAGES} || ! @{$dh{DOPACKAGES}}) {
-               push @{$dh{DOPACKAGES}},@allpackages;
+               push @{$dh{DOPACKAGES}}, getpackages('both');
        }
 
        # Check to see if -P was specified. If so, we can only act on a single
@@ -105,16 +107,36 @@ sub END {
        }
 }
 
+sub logfile {
+       my $package=shift;
+       my $ext=pkgext($package);
+       return "debian/${ext}debhelper.log"
+}
+
+sub add_override {
+       my $line=shift;
+       $line="override_$ENV{DH_INTERNAL_OVERRIDE} $line"
+               if defined $ENV{DH_INTERNAL_OVERRIDE};
+       return $line;
+}
+
+sub remove_override {
+       my $line=shift;
+       $line=~s/^\Qoverride_$ENV{DH_INTERNAL_OVERRIDE}\E\s+//
+               if defined $ENV{DH_INTERNAL_OVERRIDE};
+       return $line;
+}
+
 sub load_log {
        my ($package, $db)=@_;
-       my $ext=pkgext($package);
 
        my @log;
-       open(LOG, "<", "debian/${ext}debhelper.log") || return;
+       open(LOG, "<", logfile($package)) || return;
        while (<LOG>) {
                chomp;
-               push @log, $_;
-               $db->{$package}{$_}=1 if defined $db;
+               my $command=remove_override($_);
+               push @log, $command;
+               $db->{$package}{$command}=1 if defined $db;
        }
        close LOG;
        return @log;
@@ -124,11 +146,26 @@ sub write_log {
        my $cmd=shift;
        my @packages=@_;
 
+       return if $dh{NO_ACT};
+
        foreach my $package (@packages) {
-               my $ext=pkgext($package);
-               my $log="debian/${ext}debhelper.log";
+               my $log=logfile($package);
                open(LOG, ">>", $log) || error("failed to write to ${log}: $!");
-               print LOG $cmd."\n";
+               print LOG add_override($cmd)."\n";
+               close LOG;
+       }
+}
+
+sub commit_override_log {
+       my @packages=@_;
+
+       return if $dh{NO_ACT};
+
+       foreach my $package (@packages) {
+               my @log=map { remove_override($_) } load_log($package);
+               my $log=logfile($package);
+               open(LOG, ">", $log) || error("failed to write to ${log}: $!");
+               print LOG $_."\n" foreach @log;
                close LOG;
        }
 }
@@ -214,6 +251,7 @@ sub xargs {
 
         # The kernel can accept command lines up to 20k worth of characters.
        my $command_max=20000; # LINUX SPECIFIC!!
+                       # (And obsolete; it's bigger now.)
                        # I could use POSIX::ARG_MAX, but that would be slow.
 
        # Figure out length of static portion of command.
@@ -250,12 +288,11 @@ sub verbose_print {
        }
 }
 
-# Output an error message and exit.
+# Output an error message and die (can be caught).
 sub error {
        my $message=shift;
 
-       warning($message);
-       exit 1;
+       die basename($0).": $message\n";
 }
 
 # Output a warning.
@@ -291,29 +328,35 @@ sub dirname {
 
        sub compat {
                my $num=shift;
+               my $nowarn=shift;
        
                if (! defined $c) {
                        $c=1;
-                       if (defined $ENV{DH_COMPAT}) {
-                               $c=$ENV{DH_COMPAT};
-                       }
-                       elsif (-e 'debian/compat') {
-                               # Try the file..
+                       if (-e 'debian/compat') {
                                open (COMPAT_IN, "debian/compat") || error "debian/compat: $!";
                                my $l=<COMPAT_IN>;
                                close COMPAT_IN;
                                if (! defined $l || ! length $l) {
-                                       warning("debian/compat is empty, assuming level $c");
+                                       warning("debian/compat is empty, assuming level $c")
+                                               unless defined $ENV{DH_COMPAT};
                                }
                                else {
                                        chomp $l;
                                        $c=$l;
                                }
                        }
+                       else {
+                               warning("No compatibility level specified in debian/compat");
+                               warning("This package will soon FTBFS; time to fix it!");
+                       }
+
+                       if (defined $ENV{DH_COMPAT}) {
+                               $c=$ENV{DH_COMPAT};
+                       }
                }
 
-               if ($c < 4 && ! $warned_compat) {
-                       warning("Compatibility levels before 5 are deprecated.");
+               if ($c <= 4 && ! $warned_compat && ! $nowarn) {
+                       warning("Compatibility levels before 5 are deprecated (level $c in use)");
                        $warned_compat=1;
                }
        
@@ -364,9 +407,23 @@ sub pkgfile {
                $filename="$dh{NAME}.$filename";
        }
        
-       my @try=("debian/$package.$filename.".buildarch(),
-                "debian/$package.$filename.".buildos(),
-                "debian/$package.$filename");
+       # First, check for files ending in buildarch and buildos.
+       my $match;
+       foreach my $file (glob("debian/$package.$filename.*")) {
+               next if ! -f $file;
+               next if $dh{IGNORE} && exists $dh{IGNORE}->{$file};
+               if ($file eq "debian/$package.$filename.".buildarch()) {
+                       $match=$file;
+                       # buildarch files are used in preference to buildos files.
+                       last;
+               }
+               elsif ($file eq "debian/$package.$filename.".buildos()) {
+                       $match=$file;
+               }
+       }
+       return $match if defined $match;
+
+       my @try=("debian/$package.$filename");
        if ($package eq $dh{MAINPACKAGE}) {
                push @try, "debian/$filename";
        }
@@ -447,7 +504,8 @@ sub pkgfilename {
 # 1: package
 # 2: script to add to
 # 3: filename of snippet
-# 4: sed to run on the snippet. Ie, s/#PACKAGE#/$PACKAGE/
+# 4: either text: shell-quoted sed to run on the snippet. Ie, 's/#PACKAGE#/$PACKAGE/'
+#    or a sub to run on each line of the snippet. Ie sub { s/#PACKAGE#/$PACKAGE/ }
 sub autoscript {
        my $package=shift;
        my $script=shift;
@@ -476,18 +534,34 @@ sub autoscript {
           && !compat(5)) {
                # Add fragments to top so they run in reverse order when removing.
                complex_doit("echo \"# Automatically added by ".basename($0)."\"> $outfile.new");
-               complex_doit("sed \"$sed\" $infile >> $outfile.new");
+               autoscript_sed($sed, $infile, "$outfile.new");
                complex_doit("echo '# End automatically added section' >> $outfile.new");
                complex_doit("cat $outfile >> $outfile.new");
                complex_doit("mv $outfile.new $outfile");
        }
        else {
                complex_doit("echo \"# Automatically added by ".basename($0)."\">> $outfile");
-               complex_doit("sed \"$sed\" $infile >> $outfile");
+               autoscript_sed($sed, $infile, $outfile);
                complex_doit("echo '# End automatically added section' >> $outfile");
        }
 }
 
+sub autoscript_sed {
+       my $sed = shift;
+       my $infile = shift;
+       my $outfile = shift;
+       if (ref($sed) eq 'CODE') {
+               open(IN, $infile) or die "$infile: $!";
+               open(OUT, ">>$outfile") or die "$outfile: $!";
+               while (<IN>) { $sed->(); print OUT }
+               close(OUT) or die "$outfile: $!";
+               close(IN) or die "$infile: $!";
+       }
+       else {
+               complex_doit("sed \"$sed\" $infile >> $outfile");
+       }
+}
+
 # Removes a whole substvar line.
 sub delsubstvar {
        my $package=shift;
@@ -561,12 +635,22 @@ sub filedoublearray {
        my $file=shift;
        my $globdir=shift;
 
+       # executable config files are a v9 thing.
+       my $x=! compat(8) && -x $file;
+       if ($x) {
+               require Cwd;
+               my $cmd=Cwd::abs_path($file);
+               open (DH_FARRAY_IN, "$cmd |") || error("cannot run $file: $!");
+       }
+       else {
+               open (DH_FARRAY_IN, $file) || error("cannot read $file: $!");
+       }
+
        my @ret;
-       open (DH_FARRAY_IN, $file) || error("cannot read $file: $1");
        while (<DH_FARRAY_IN>) {
                chomp;
                # Only ignore comments and empty lines in v5 mode.
-               if (! compat(4)) {
+               if (! compat(4) && ! $x)  {
                        next if /^#/ || /^$/;
                }
                my @line;
@@ -575,8 +659,8 @@ sub filedoublearray {
                # The tricky bit is that the glob expansion is done
                # as if we were in the specified directory, so the
                # filenames that come out are relative to it.
-               if (defined $globdir && ! compat(2)) {
-                       for (map { glob "$globdir/$_" } split) {
+               if (defined $globdir && ! compat(2) && ! $x) {
+                       foreach (map { glob "$globdir/$_" } split) {
                                s#^$globdir/##;
                                push @line, $_;
                        }
@@ -586,7 +670,8 @@ sub filedoublearray {
                }
                push @ret, [@line];
        }
-       close DH_FARRAY_IN;
+
+       close DH_FARRAY_IN || error("problem reading $file: $!");
        
        return @ret;
 }
@@ -606,47 +691,64 @@ sub excludefile {
         return 0;
 }
 
-sub dpkg_architecture_value {
-       my $var = shift;
-       my $value=`dpkg-architecture -q$var` || error("dpkg-architecture failed");
-       chomp $value;
-       return $value;
-}
-
-# Returns the build architecture. (Memoized)
 {
-       my $arch;
-       
-       sub buildarch {
-               if (!defined $arch) {
-                   $arch=dpkg_architecture_value('DEB_HOST_ARCH');
+       my %dpkg_arch_output;
+       sub dpkg_architecture_value {
+               my $var = shift;
+               if (! exists($dpkg_arch_output{$var})) {
+                       local $_;
+                       open(PIPE, '-|', 'dpkg-architecture')
+                               or error("dpkg-architecture failed");
+                       while (<PIPE>) {
+                               chomp;
+                               my ($k, $v) = split(/=/, $_, 2);
+                               $dpkg_arch_output{$k} = $v;
+                       }
+                       close(PIPE);
                }
-               return $arch;
+               return $dpkg_arch_output{$var};
        }
 }
 
-# Returns the build OS. (Memoized)
-{
-       my $os;
+# Returns the build architecture.
+sub buildarch {
+       dpkg_architecture_value('DEB_HOST_ARCH');
+}
 
-       sub buildos {
-               if (!defined $os) {
-                       $os=dpkg_architecture_value("DEB_HOST_ARCH_OS");
-               }
-               return $os;
-       }
+# Returns the build OS.
+sub buildos {
+       dpkg_architecture_value("DEB_HOST_ARCH_OS");
 }
 
 # Passed an arch and a list of arches to match against, returns true if matched
-sub samearch {
-       my $arch=shift;
-       my @archlist=split(/\s+/,shift);
+{
+       my %knownsame;
 
-       foreach my $a (@archlist) {
-               system("dpkg-architecture", "-a$arch", "-i$a") == 0 && return 1;
+       sub samearch {
+               my $arch=shift;
+               my @archlist=split(/\s+/,shift);
+       
+               foreach my $a (@archlist) {
+                       # Avoid expensive dpkg-architecture call to compare
+                       # with a simple architecture name. "linux-any" and
+                       # other architecture wildcards are (currently)
+                       # always hypenated.
+                       if ($a !~ /-/) {
+                               return 1 if $arch eq $a;
+                       }
+                       elsif (exists $knownsame{$arch}{$a}) {
+                               return 1 if $knownsame{$arch}{$a};
+                       }
+                       elsif (system("dpkg-architecture", "-a$arch", "-i$a") == 0) {
+                               return $knownsame{$arch}{$a}=1;
+                       }
+                       else {
+                               $knownsame{$arch}{$a}=0;
+                       }
+               }
+       
+               return 0;
        }
-
-       return 0;
 }
 
 # Returns source package name
@@ -667,8 +769,10 @@ sub sourcepackage {
 }
 
 # Returns a list of packages in the control file.
-# Pass "arch" or "indep" to specify arch-dependant or
-# independant. If nothing is specified, returns all packages.
+# Pass "arch" or "indep" to specify arch-dependant (that will be built
+# for the system's arch) or independant. If nothing is specified,
+# returns all packages. Also, "both" returns the union of "arch" and "indep"
+# packages.
 # As a side effect, populates %package_arches and %package_types with the
 # types of all packages (not only those returned).
 my (%package_types, %package_arches);
@@ -715,8 +819,8 @@ sub getpackages {
                        }
 
                        if ($package &&
-                           (($type eq 'indep' && $arch eq 'all') ||
-                            ($type eq 'arch' && ($arch eq 'any' ||
+                           ((($type eq 'indep' || $type eq 'both') && $arch eq 'all') ||
+                            (($type eq 'arch'  || $type eq 'both') && ($arch eq 'any' ||
                                             ($arch ne 'all' &&
                                              samearch(buildarch(), $arch)))) ||
                             ! $type)) {
@@ -794,44 +898,83 @@ sub debhelper_script_subst {
        }
 }
 
-# A helper subroutine for detecting (based on MAKEFLAGS) if make jobserver 
-# is enabled, if it is available or MAKEFLAGS contains "jobs" option.
-# It returns current status (jobserver, jobserver-unavailable or jobs-N where
-# N is number of jobs, 0 if infinite) and MAKEFLAGS cleaned up from 
-# job control options.
-sub get_make_jobserver_status {
-       my $jobsre = qr/(?:^|\s)(?:(?:-j\s*|--jobs(?:=|\s+))(\d+)?|--jobs)\b/;
-       my $status = "";
-       my $makeflags;
+# Checks if make's jobserver is enabled via MAKEFLAGS, but
+# the FD used to communicate with it is actually not available.
+sub is_make_jobserver_unavailable {
+       if (exists $ENV{MAKEFLAGS} && 
+           $ENV{MAKEFLAGS} =~ /(?:^|\s)--jobserver-fds=(\d+)/) {
+               if (!open(my $in, "<&$1")) {
+                       return 1; # unavailable
+               }
+               else {
+                       close $in;
+                       return 0; # available
+               }
+       }
+
+       return; # no jobserver specified
+}
 
+# Cleans out jobserver options from MAKEFLAGS.
+sub clean_jobserver_makeflags {
        if (exists $ENV{MAKEFLAGS}) {
-               $makeflags = $ENV{MAKEFLAGS};
-               if ($makeflags =~ /(?:^|\s)--jobserver-fds=(\d+)/) {
-                       $status = "jobserver";
-                       if (!open(my $in, "<&", "$1")) {
-                               # Job server is unavailable
-                               $status .= "-unavailable";
-                       }
-                       else {
-                               close $in;
-                       }
-                       # Clean makeflags up
-                       $makeflags =~ s/(?:^|\s)--jobserver-fds=\S+//g;
-                       $makeflags =~ s/(?:^|\s)-j\b//g;
+               if ($ENV{MAKEFLAGS} =~ /(?:^|\s)--jobserver-fds=(\d+)/) {
+                       $ENV{MAKEFLAGS} =~ s/(?:^|\s)--jobserver-fds=\S+//g;
+                       $ENV{MAKEFLAGS} =~ s/(?:^|\s)-j\b//g;
                }
-               elsif (my @m = ($makeflags =~ /$jobsre/g)) {
-                       # Job count is specified in MAKEFLAGS. Whenever make reads it, a new
-                       # jobserver will be started. Job count returned is 0 if infinite.
-                       $status = "jobs-" . (defined $m[$#m] ? $m[$#m] : "0");
-                       # Clean makeflags up from "jobs" option(s)
-                       $makeflags =~ s/$jobsre//g;
+               delete $ENV{MAKEFLAGS} if $ENV{MAKEFLAGS} =~ /^\s*$/;
+       }
+}
+
+# If cross-compiling, returns appropriate cross version of command.
+sub cross_command {
+       my $command=shift;
+       if (dpkg_architecture_value("DEB_BUILD_GNU_TYPE")
+           ne dpkg_architecture_value("DEB_HOST_GNU_TYPE")) {
+               return dpkg_architecture_value("DEB_HOST_GNU_TYPE")."-$command";
+       }
+       else {
+               return $command;
+       }
+}
+
+# Sets environment variables from dpkg-buildflags. Avoids changing
+# any existing environment variables.
+sub set_buildflags {
+       return if $ENV{DH_INTERNAL_BUILDFLAGS} || compat(8);
+       $ENV{DH_INTERNAL_BUILDFLAGS}=1;
+
+       eval "use Dpkg::BuildFlags";
+       if ($@) {
+               warning "unable to load build flags: $@";
+               return;
+       }
+
+       my $buildflags = Dpkg::BuildFlags->new();
+       $buildflags->load_config();
+       foreach my $flag ($buildflags->list()) {
+               next unless $flag =~ /^[A-Z]/; # Skip flags starting with lowercase
+               if (! exists $ENV{$flag}) {
+                       $ENV{$flag} = $buildflags->get($flag);
                }
        }
-       if ($status) {
-               # MAKEFLAGS could be unset if it is empty
-               $makeflags = undef if $makeflags =~ /^\s*$/;
+}
+
+# Gets a DEB_BUILD_OPTIONS option, if set.
+sub get_buildoption {
+       my $wanted=shift;
+
+       return undef unless exists $ENV{DEB_BUILD_OPTIONS};
+
+       foreach my $opt (split(/\s+/, $ENV{DEB_BUILD_OPTIONS})) {
+               # currently parallel= is the only one with a parameter
+               if ($opt =~ /^parallel=(-?\d+)$/ && $wanted eq 'parallel') {
+                       return $1;
+               }
+               elsif ($opt eq $wanted) {
+                       return 1;
+               }
        }
-       return wantarray ? ($status, $makeflags) : $status;
 }
 
 1