dh_compress

   1 #!/usr/bin/perl -w
   2
   3 =head1 NAME
   4
   5 dh_compress - compress files and fix symlinks in package build directories
   6
   7 =cut
   8
   9 use strict;
  10 use Cwd;
  11 use Debian::Debhelper::Dh_Lib;
  12
  13 =head1 SYNOPSIS
  14
  15 B<dh_compress> [S<I<debhelper options>>] [B<-X>I<item>] [B<-A>] [S<I<file ...>>]
  16
  17 =head1 DESCRIPTION
  18
  19 dh_compress is a debhelper program that is responsible for compressing
  20 the files in package build directories, and makes sure that any symlinks
  21 that pointed to the files before they were compressed are updated to point
  22 to the new files.
  23
  24 By default, dh_compress compresses files that debian policy mandates should
  25 be compressed, namely all files in usr/share/info, usr/share/man,
  26 files in usr/share/doc that are larger than 4k in size,
  27 (except the copyright file, .html and .css files, image files, and files
  28 that appear to be already compressed based on their extensions), and all
  29 changelog files. Plus PCF fonts underneath usr/share/fonts/X11/
  30
  31 =head1 FILES
  32
  33 =over 4
  34
  35 =item debian/I<package>.compress
  36
  37 If this file exists, the default files are not compressed. Instead, the
  38 file is ran as a shell script, and all filenames that the shell script
  39 outputs will be compressed. The shell script will be run from inside the
  40 package build directory. Note though that using -X is a much better idea in
  41 general; you should only use a debian/package.compress file if you really
  42 need to.
  43
  44 =back
  45
  46 =head1 OPTIONS
  47
  48 =over 4
  49
  50 =item B<-X>I<item>, B<--exclude=>I<item>
  51
  52 Exclude files that contain "item" anywhere in their filename from being
  53 compressed. For example, -X.tiff will exclude tiff files from compression.
  54 You may use this option multiple times to build up a list of things to
  55 exclude. You can accomplish the same thing by using a debian/compress file,
  56 but this is easier.
  57
  58 =item B<-A>, B<--all>
  59
  60 Compress all files specified by command line parameters in ALL packages
  61 acted on.
  62
  63 =item I<file ...>
  64
  65 Add these files to the list of files to compress.
  66
  67 =back
  68
  69 =head1 CONFORMS TO
  70
  71 Debian policy, version 3.0
  72
  73 =cut
  74
  75 init();
  76
  77 foreach my $package (@{$dh{DOPACKAGES}}) {
  78         my $tmp=tmpdir($package);
  79         my $compress=pkgfile($package,"compress");
  80
  81         # Run the file name gathering commands from within the directory
  82         # structure that will be effected.
  83         my $olddir=getcwd();
  84         verbose_print("cd $tmp");
  85         chdir($tmp) || error("Can't cd to $tmp: $!");
  86
  87         # Figure out what files to compress.
  88         my @files;
  89         # First of all, deal with any files specified right on the command line.
  90         if (($package eq $dh{FIRSTPACKAGE} || $dh{PARAMS_ALL}) && @ARGV) {
  91                 push @files, @ARGV;
  92         }
  93         if ($compress) {
  94                 # The config file is a sh script that outputs the files to be compressed
  95                 # (typically using find).
  96                 push @files, split(/\n/,`sh $olddir/$compress 2>/dev/null`);
  97         }
  98         else {
  99                 # Note that all the excludes of odd things like _z
 100                 # are because gzip refuses to compress such files, assumming
 101                 # they are zip files. I looked at the gzip source to get the
 102                 # complete list of such extensions: ".gz", ".z", ".taz",
 103                 # ".tgz", "-gz", "-z", "_z"
 104                 push @files, split(/\n/,`
 105                         find usr/info usr/share/info usr/man usr/share/man usr/X11*/man -type f ! -name "*.gz" 2>/dev/null || true;
 106                         find usr/share/doc -type f \\( -size +4k -or -name "changelog*" -or -name "NEWS*" \\) \\
 107                                 \\( -name changelog.html -or ! -iname "*.htm*" \\) \\
 108                                 ! -iname "*.gif" ! -iname "*.png" ! -iname "*.jpg" \\
 109                                 ! -iname "*.jpeg" ! -iname "*.gz" ! -iname "*.taz" \\
 110                                 ! -iname "*.tgz" ! -iname "*.z" ! -iname "*.bz2" \\
 111                                 ! -iname "*-gz"  ! -iname "*-z" ! -iname "*_z" \\
 112                                 ! -iname "*.jar" ! -iname "*.zip" ! -iname "*.css" \\
 113                                 ! -iname "*.svg" ! -iname "*.svgz" \\
 114                                 ! -name "index.sgml" \\
 115                                 ! -name "copyright" 2>/dev/null || true;
 116                         find usr/share/fonts/X11 -type f -name "*.pcf" 2>/dev/null || true;
 117                 `);
 118         }
 119
 120         # Exclude files from compression.
 121         if (@files && defined($dh{EXCLUDE}) && $dh{EXCLUDE}) {
 122                 my @new=();
 123                 foreach (@files) {
 124                         my $ok=1;
 125                         foreach my $x (@{$dh{EXCLUDE}}) {
 126                                 if (/\Q$x\E/) {
 127                                         $ok='';
 128                                         last;
 129                                 }
 130                         }
 131                         push @new,$_ if $ok;
 132                 }
 133                 @files=@new;
 134         }
 135
 136         # Look for files with hard links. If we are going to compress both,
 137         # we can preserve the hard link across the compression and save
 138         # space in the end.
 139         my @f=();
 140         my %hardlinks;
 141         my %seen;
 142         foreach (@files) {
 143                 my ($dev, $inode, undef, $nlink)=stat($_);
 144                 if ($nlink > 1) {
 145                         if (! $seen{"$inode.$dev"}) {
 146                                 $seen{"$inode.$dev"}=$_;
 147                                 push @f, $_;
 148                         }
 149                         else {
 150                                 # This is a hardlink.
 151                                 $hardlinks{$_}=$seen{"$inode.$dev"};
 152                         }
 153                 }
 154                 else {
 155                         push @f, $_;
 156                 }
 157         }
 158
 159         if (@f) {
 160                 # Make executables not be anymore.
 161                 xargs(\@f,"chmod","a-x");
 162
 163                 xargs(\@f,"gzip","-9nf");
 164         }
 165
 166         # Now change over any files we can that used to be hard links so
 167         # they are again.
 168         foreach (keys %hardlinks) {
 169                 # Remove old file.
 170                 doit("rm","-f","$_");
 171                 # Make new hardlink.
 172                 doit("ln","$hardlinks{$_}.gz","$_.gz");
 173         }
 174
 175         verbose_print("cd '$olddir'");
 176         chdir($olddir);
 177
 178         # Fix up symlinks that were pointing to the uncompressed files.
 179         my %links = map { chomp; $_ => 1 } `find $tmp -type l`;
 180         my $changed;
 181         # Keep looping through looking for broken links until no more
 182         # changes are made. This is done in case there are links pointing
 183         # to links, pointing to compressed files.
 184         do {
 185                 $changed = 0;
 186                 foreach my $link (keys %links) {
 187                         my ($directory) = $link =~ m:(.*)/:;
 188                         my $linkval = readlink($link);
 189                         if (! -e "$directory/$linkval" && -e "$directory/$linkval.gz") {
 190                                 doit("rm","-f",$link);
 191                                 doit("ln","-sf","$linkval.gz","$link.gz");
 192                                 delete $links{$link};
 193                                 $changed++;
 194                         }
 195                 }
 196         } while $changed;
 197 }
 198
 199 =head1 SEE ALSO
 200
 201 L<debhelper(7)>
 202
 203 This program is a part of debhelper.
 204
 205 =head1 AUTHOR
 206
 207 Joey Hess <joeyh@debian.org>
 208
 209 =cut