dh_compress

   1 #!/usr/bin/perl -w
   2
   3 =head1 NAME
   4
   5 dh_compress - compress files and fix symlinks in package build directories
   6
   7 =cut
   8
   9 use strict;
  10 use Cwd;
  11 use Debian::Debhelper::Dh_Lib;
  12
  13 =head1 SYNOPSIS
  14
  15 B<dh_compress> [S<I<debhelper options>>] [B<-X>I<item>] [B<-A>] [S<I<file ...>>]
  16
  17 =head1 DESCRIPTION
  18
  19 dh_compress is a debhelper program that is responsible for compressing
  20 the files in package build directories, and makes sure that any symlinks
  21 that pointed to the files before they were compressed are updated to point
  22 to the new files.
  23
  24 By default, dh_compress compresses files that debian policy mandates should
  25 be compressed, namely all files in usr/share/info, usr/share/man,
  26 usr/X11R6/man, files in usr/share/doc that are larger than 4k in size,
  27 (except the copyright file, .html and .css files, and files that appear to be
  28 already compressed based on their extensions), and all changelog files. Plus
  29 PCF fonts underneath usr/X11R6/lib/X11/fonts/ and usr/share/fonts/X11/
  30
  31 If a debian/package.compress file exists, the default files are not
  32 compressed. Instead, the debian/packages.compress is ran as a shell
  33 script, and all filenames that the shell script outputs will be compressed.
  34 The shell script will be run from inside the package build directory. Note
  35 though that using -X is a much better idea in general; you should only use a
  36 debian/package.compress file if you really need to.
  37
  38 =head1 OPTIONS
  39
  40 =over 4
  41
  42 =item B<-X>I<item>, B<--exclude=>I<item>
  43
  44 Exclude files that contain "item" anywhere in their filename from being
  45 compressed. For example, -X.jpeg will exclude jpeg files from compression.
  46 You may use this option multiple times to build up a list of things to
  47 exclude. You can accomplish the same thing by using a debian/compress file,
  48 but this is easier.
  49
  50 =item B<-A>, B<--all>
  51
  52 Compress all files specified by command line parameters in ALL packages
  53 acted on.
  54
  55 =item I<file ...>
  56
  57 Add these files to the list of files to compress.
  58
  59 =back
  60
  61 =head1 CONFORMS TO
  62
  63 Debian policy, version 3.0
  64
  65 =cut
  66
  67 init();
  68
  69 foreach my $package (@{$dh{DOPACKAGES}}) {
  70         my $tmp=tmpdir($package);
  71         my $compress=pkgfile($package,"compress");
  72
  73         # Run the file name gathering commands from within the directory
  74         # structure that will be effected.
  75         my $olddir=getcwd();
  76         verbose_print("cd $tmp");
  77         chdir($tmp) || error("Can't cd to $tmp: $!");
  78
  79         # Figure out what files to compress.
  80         my @files;
  81         # First of all, deal with any files specified right on the command line.
  82         if (($package eq $dh{FIRSTPACKAGE} || $dh{PARAMS_ALL}) && @ARGV) {
  83                 push @files, @ARGV;
  84         }
  85         if ($compress) {
  86                 # The config file is a sh script that outputs the files to be compressed
  87                 # (typically using find).
  88                 push @files, split(/\n/,`sh $olddir/$compress 2>/dev/null`);
  89         }
  90         else {
  91                 # Note that all the excludes of odd things like _z
  92                 # are because gzip refuses to compress such files, assumming
  93                 # they are zip files. I looked at the gzip source to get the
  94                 # complete list of such extensions: ".gz", ".z", ".taz",
  95                 # ".tgz", "-gz", "-z", "_z"
  96                 push @files, split(/\n/,`
  97                         find usr/info usr/share/info usr/man usr/share/man usr/X11*/man -type f ! -name "*.gz" 2>/dev/null || true;
  98                         find usr/share/doc -type f \\( -size +4k -or -name "changelog*" -or -name "NEWS*" \\) \\
  99                                 \\( -name changelog.html -or ! -iname "*.htm*" \\) \\
 100                                 ! -iname "*.gif" ! -iname "*.png" ! -iname "*.jpg" \\
 101                                 ! -iname "*.jpeg" ! -iname "*.gz" ! -iname "*.taz" \\
 102                                 ! -iname "*.tgz" ! -iname "*.z" ! -iname "*.bz2" \\
 103                                 ! -iname "*-gz"  ! -iname "*-z" ! -iname "*_z" \\
 104                                 ! -iname "*.jar" ! -iname "*.zip" ! -iname "*.css" \\
 105                                 ! -name "index.sgml" \\
 106                                 ! -name "copyright" 2>/dev/null || true;
 107                         find usr/X11R6/lib/X11/fonts usr/share/fonts/X11 -type f -name "*.pcf" 2>/dev/null || true;
 108                 `);
 109         }
 110
 111         # Exclude files from compression.
 112         if (@files && defined($dh{EXCLUDE}) && $dh{EXCLUDE}) {
 113                 my @new=();
 114                 foreach (@files) {
 115                         my $ok=1;
 116                         foreach my $x (@{$dh{EXCLUDE}}) {
 117                                 if (/\Q$x\E/) {
 118                                         $ok='';
 119                                         last;
 120                                 }
 121                         }
 122                         push @new,$_ if $ok;
 123                 }
 124                 @files=@new;
 125         }
 126
 127         # Look for files with hard links. If we are going to compress both,
 128         # we can preserve the hard link across the compression and save
 129         # space in the end.
 130         my @f=();
 131         my %hardlinks;
 132         my %seen;
 133         foreach (@files) {
 134                 my ($dev, $inode, undef, $nlink)=stat($_);
 135                 if ($nlink > 1) {
 136                         if (! $seen{"$inode.$dev"}) {
 137                                 $seen{"$inode.$dev"}=$_;
 138                                 push @f, $_;
 139                         }
 140                         else {
 141                                 # This is a hardlink.
 142                                 $hardlinks{$_}=$seen{"$inode.$dev"};
 143                         }
 144                 }
 145                 else {
 146                         push @f, $_;
 147                 }
 148         }
 149
 150         if (@f) {
 151                 # Make executables not be anymore.
 152                 xargs(\@f,"chmod","a-x");
 153
 154                 xargs(\@f,"gzip","-9nf");
 155         }
 156
 157         # Now change over any files we can that used to be hard links so
 158         # they are again.
 159         foreach (keys %hardlinks) {
 160                 # Remove old file.
 161                 doit("rm","-f","$_");
 162                 # Make new hardlink.
 163                 doit("ln","$hardlinks{$_}.gz","$_.gz");
 164         }
 165
 166         verbose_print("cd '$olddir'");
 167         chdir($olddir);
 168
 169         # Fix up symlinks that were pointing to the uncompressed files.
 170         my %links = map { chomp; $_ => 1 } `find $tmp -type l`;
 171         my $changed;
 172         # Keep looping through looking for broken links until no more
 173         # changes are made. This is done in case there are links pointing
 174         # to links, pointing to compressed files.
 175         do {
 176                 $changed = 0;
 177                 foreach my $link (keys %links) {
 178                         my ($directory) = $link =~ m:(.*)/:;
 179                         my $linkval = readlink($link);
 180                         if (! -e "$directory/$linkval" && -e "$directory/$linkval.gz") {
 181                                 doit("rm","-f",$link);
 182                                 doit("ln","-sf","$linkval.gz","$link.gz");
 183                                 delete $links{$link};
 184                                 $changed++;
 185                         }
 186                 }
 187         } while $changed;
 188 }
 189
 190 =head1 SEE ALSO
 191
 192 L<debhelper(7)>
 193
 194 This program is a part of debhelper.
 195
 196 =head1 AUTHOR
 197
 198 Joey Hess <joeyh@debian.org>
 199
 200 =cut