scripts/update-lily.py

   1 #!@PYTHON@
   2 #
   3 # update-lily.py -- lilypond autobuilder
   4 #
   5 # source file of the GNU LilyPond music typesetter
   6 #
   7 # download and rebuild latest lilypond or from specified url
   8 #
   9
  10 '''
  11 TODO:
  12     * more flexible build paths
  13     * cleanup previous tree
  14     * flexible build command
  15     * show only?
  16 '''
  17
  18 import os
  19 import fnmatch
  20 import stat
  21 import string
  22 import re
  23 import getopt
  24 import sys
  25 import __main__
  26 import operator
  27 import tempfile
  28
  29
  30 sys.path.append ('@datadir@/python')
  31 import gettext
  32 gettext.bindtextdomain ('lilypond', '@localedir@')
  33 gettext.textdomain('lilypond')
  34 _ = gettext.gettext
  35
  36
  37 program_name = 'build-lily'
  38 package_name = 'lilypond'
  39 help_summary = _("Fetch and rebuild from latest source package")
  40 build_root = os.environ ['HOME'] + '/usr/src'
  41 build_command = './configure; make web'
  42 release_dir = build_root + '/releases'
  43 patch_dir = build_root + '/patches'
  44
  45 url = 'file:/home/ftp/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  46 url = 'ftp://appel.lilypond.org/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  47 url = 'ftp://ftp.cs.uu.nl/pub/GNU/LilyPond/development/lilypond-*.tar.gz'
  48
  49
  50 # lily_py.py -- options and stuff
  51 #
  52 # source file of the GNU LilyPond music typesetter
  53
  54 # BEGIN Library for these?
  55 # cut-n-paste from ly2dvi
  56
  57 program_version = '@TOPLEVEL_VERSION@'
  58 if program_version == '@' + 'TOPLEVEL_VERSION' + '@':
  59         program_version = '1.3.142'
  60
  61
  62 original_dir = os.getcwd ()
  63 temp_dir = '%s.dir' % program_name
  64 keep_temp_dir_p = 0
  65 verbose_p = 0
  66
  67 def identify ():
  68         sys.stdout.write ('%s (GNU LilyPond) %s\n' % (program_name, program_version))
  69
  70 def warranty ():
  71         identify ()
  72         sys.stdout.write ('\n')
  73         sys.stdout.write (_ ('Copyright (c) %s by' % ' 2001'))
  74         sys.stdout.write ('\n')
  75         sys.stdout.write ('  Han-Wen Nienhuys')
  76         sys.stdout.write ('  Jan Nieuwenhuizen')
  77         sys.stdout.write ('\n')
  78         sys.stdout.write (_ (r'''
  79 Distributed under terms of the GNU General Public License. It comes with
  80 NO WARRANTY.'''))
  81         sys.stdout.write ('\n')
  82
  83 def progress (s):
  84         sys.stderr.write (s + '\n')
  85
  86 def warning (s):
  87         sys.stderr.write (_ ("warning: ") + s)
  88         sys.stderr.write ('\n')
  89
  90
  91 def error (s):
  92         sys.stderr.write (_ ("error: ") + s)
  93         sys.stderr.write ('\n')
  94         raise _ ("Exiting ... ")
  95
  96 def getopt_args (opts):
  97         '''Construct arguments (LONG, SHORT) for getopt from  list of options.'''
  98         short = ''
  99         long = []
 100         for o in opts:
 101                 if o[1]:
 102                         short = short + o[1]
 103                         if o[0]:
 104                                 short = short + ':'
 105                 if o[2]:
 106                         l = o[2]
 107                         if o[0]:
 108                                 l = l + '='
 109                         long.append (l)
 110         return (short, long)
 111
 112 def option_help_str (o):
 113         '''Transform one option description (4-tuple ) into neatly formatted string'''
 114         sh = '  '
 115         if o[1]:
 116                 sh = '-%s' % o[1]
 117
 118         sep = ' '
 119         if o[1] and o[2]:
 120                 sep = ','
 121
 122         long = ''
 123         if o[2]:
 124                 long= '--%s' % o[2]
 125
 126         arg = ''
 127         if o[0]:
 128                 if o[2]:
 129                         arg = '='
 130                 arg = arg + o[0]
 131         return '  ' + sh + sep + long + arg
 132
 133
 134 def options_help_str (opts):
 135         '''Convert a list of options into a neatly formatted string'''
 136         w = 0
 137         strs =[]
 138         helps = []
 139
 140         for o in opts:
 141                 s = option_help_str (o)
 142                 strs.append ((s, o[3]))
 143                 if len (s) > w:
 144                         w = len (s)
 145
 146         str = ''
 147         for s in strs:
 148                 str = str + '%s%s%s\n' % (s[0], ' ' * (w - len(s[0])  + 3), s[1])
 149         return str
 150
 151 def help ():
 152         sys.stdout.write (_ ("Usage: %s [OPTION]... FILE") % program_name)
 153         sys.stdout.write ('\n\n')
 154         sys.stdout.write (help_summary)
 155         sys.stdout.write ('\n\n')
 156         sys.stdout.write (_ ("Options:"))
 157         sys.stdout.write ('\n')
 158         sys.stdout.write (options_help_str (option_definitions))
 159         sys.stdout.write ('\n\n')
 160         sys.stdout.write (_ ("Report bugs to %s") % 'bug-gnu-music@gnu.org')
 161         sys.stdout.write ('\n')
 162         sys.exit (0)
 163
 164
 165 def setup_temp ():
 166         global temp_dir
 167         if not keep_temp_dir_p:
 168                 temp_dir = tempfile.mktemp (program_name)
 169         try:
 170                 os.mkdir (temp_dir, 0777)
 171         except OSError:
 172                 pass
 173
 174
 175 def system (cmd, ignore_error = 0):
 176         if verbose_p:
 177                 progress (_ ("Invoking `%s\'") % cmd)
 178         st = os.system (cmd)
 179         if st:
 180                 msg =  ( _ ("error: ") + _ ("command exited with value %d") % st)
 181                 if ignore_error:
 182                         sys.stderr.write (msg + ' ' + _ ("(ignored)") + ' ')
 183                 else:
 184                         error (msg)
 185
 186         return st
 187
 188
 189 def cleanup_temp ():
 190         if not keep_temp_dir_p:
 191                 if verbose_p:
 192                         progress (_ ('Cleaning up `%s\'') % temp_dir)
 193                 system ('rm -rf %s' % temp_dir)
 194
 195
 196 def set_setting (dict, key, val):
 197         try:
 198                 val = string.atof (val)
 199         except ValueError:
 200                 #warning (_ ("invalid value: %s") % `val`)
 201                 pass
 202
 203         try:
 204                 dict[key].append (val)
 205         except KeyError:
 206                 warning (_ ("no such setting: %s") % `key`)
 207                 dict[key] = [val]
 208
 209 # END Library
 210
 211 option_definitions = [
 212         ('DIR', 'b', 'build-root', _ ("unpack and build in DIR [%s]") % build_root),
 213         ('', 'h', 'help', _ ("this help")),
 214         ('', 'k', 'keep', _ ("keep all output, and name the directory %s") % temp_dir),
 215         ('', 'V', 'verbose', _ ("verbose")),
 216         ('', 'v', 'version', _ ("print version number")),
 217         ('URL', 'u', 'url', _ ("fetch and build URL [%s]") % url),
 218         ('', 'w', 'warranty', _ ("show warranty and copyright")),
 219         ]
 220
 221 def list_file (user, passwd, host, dir, file):
 222         match = []
 223         for i in os.listdir (dir):
 224                 if fnmatch.fnmatch (i, file):
 225                         match.append (i)
 226         return match
 227
 228 list_ = list_file
 229
 230 #
 231 # ugh: use ftp module.
 232 #
 233 def list_ftp (user, passwd, host, dir, file):
 234         if user == 'None':
 235                 user = 'anonymous'
 236         if passwd == 'None':
 237                 passwd = program_name
 238
 239         command = '''
 240 open -u%s,%s -p21 %s
 241 set passive-mode off
 242 cd "%s"
 243 ls -1 "%s"
 244 ''' % (user, passwd, host, dir, file)
 245         temp = tempfile.mktemp (program_name)
 246         f = open (temp, 'w')
 247         f.write (command)
 248         f.close ()
 249         p = os.popen ('lftp -f %s' % temp, 'r')
 250         s = p.read ()
 251         status = p.close ()
 252         return string.split (s[:-1], '\n')
 253
 254 def split_url (url):
 255         m = re.match ('([^:/]*)(:)?(/*([^:]*):)?(/*([^@]*)@)?(//([^/]*))?(.*)/(.*)',
 256                       url)
 257         if not m:
 258                 error ("can't parse url: %s " % url)
 259         return (m.group (1), m.group (4), m.group (6), m.group (8),
 260                 m.group (9), m.group (10))
 261
 262 def list_url (url):
 263         s = "list_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 264         return eval (s)
 265
 266 def version_tuple_to_str (t):
 267         if t[3]:
 268                 my = '.%s%d' % (t[3], t[4])
 269         else:
 270                 my = ''
 271         return ('%d.%d.%d' % t[0:3]) + my
 272
 273 def version_str_to_tuple (s):
 274         t = string.split (s, '.')
 275         if len (t) >= 4:
 276                 my_name = t[3][:-1]
 277                 my_number = string.atoi (t[3][-1])
 278         else:
 279                 my_name = None
 280                 my_number = None
 281         return (string.atoi (t[0]), string.atoi (t[1]), string.atoi (t[2]),
 282                 my_name, my_number)
 283
 284 def split_package (p):
 285         m = re.match ('(.*)-([0-9]*.*).tar.gz', p)
 286         return (m.group (1), version_str_to_tuple (m.group (2)))
 287
 288 def join_package (t):
 289         return t[0] + '-' + version_tuple_to_str (t[1])
 290
 291 def copy_file (user, passwd, host, dir, file):
 292         os.system ('cp %s/%s .' % (dir, file))
 293
 294 copy_ = copy_file
 295
 296 def copy_ftp (user, passwd, host, dir, file):
 297         if user == 'None':
 298                 user = 'anonymous'
 299         if passwd == 'None':
 300                 passwd = program_name
 301
 302         command = '''
 303 open -u%s,%s -p21 %s
 304 set passive-mode off
 305 cd "%s"
 306 get "%s"
 307 ''' % (user, passwd, host, dir, file)
 308         temp = tempfile.mktemp (program_name)
 309         f = open (temp, 'w')
 310         f.write (command)
 311         f.close ()
 312         p = os.popen ('lftp -f %s' % temp, 'r')
 313         s = p.read ()
 314         status = p.close ()
 315
 316 def copy_url (url, dir):
 317         os.chdir (dir)
 318         s = "copy_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 319         eval (s)
 320
 321
 322 def find_latest (url):
 323         progress (_ ("listing %s...") % url)
 324         list = map (split_package, list_url (url))
 325         list.sort ()
 326         return join_package (list[-1])
 327
 328 def build (p):
 329         os.chdir (build_root)
 330         system ('tar xzf %s/%s.tar.gz' % (release_dir, p))
 331         os.chdir (p)
 332         return system (build_command)
 333
 334 (sh, long) = getopt_args (__main__.option_definitions)
 335 try:
 336         (options, files) = getopt.getopt (sys.argv[1:], sh, long)
 337 except:
 338         help ()
 339         sys.exit (2)
 340
 341 for opt in options:
 342         o = opt[0]
 343         a = opt[1]
 344
 345         if 0:
 346                 pass
 347         elif o == '--help' or o == '-h':
 348                 help ()
 349         elif o == '--buid-root' or o == '-b':
 350                 build_root = a
 351         elif o == '--url' or o == '-u':
 352                 url = a
 353         elif o == '--verbose' or o == '-V':
 354                 verbose_p = 1
 355         elif o == '--version' or o == '-v':
 356                 identify ()
 357                 sys.exit (0)
 358         elif o == '--warranty' or o == '-w':
 359                 warranty ()
 360                 sys.exit (0)
 361
 362 if 1:
 363         latest = find_latest (url)
 364
 365         if os.path.isdir ('%s/%s' % (build_root, latest)):
 366                 progress (_ ("latest is %s") % latest)
 367                 progress (_ ("relax, %s is up to date" % package_name))
 368                 sys.exit (0)
 369
 370         get_base = url[:string.rindex (url, '/')] + '/'
 371         if os.path.isdir (patch_dir):
 372                 os.chdir (patch_dir)
 373                 if not os.path.isfile (latest + '.diff.gz'):
 374                         get = get_base + latest + '.diff.gz'
 375                         progress (_ ("fetching %s...") % get)
 376                         copy_url (get, '.')
 377
 378         if not os.path.isdir (build_root):
 379                 build_root = temp_dir
 380         if not os.path.isdir (release_dir):
 381                 release_dir = temp_dir
 382                 setup_temp ()
 383
 384         os.chdir (release_dir)
 385         if not os.path.isfile (latest + '.tar.gz'):
 386                 get = get_base + latest + '.tar.gz'
 387                 progress (_ ("fetching %s...") % get)
 388                 copy_url (get, '.')
 389
 390         build_command = './configure --prefix=$HOME/usr && make web'
 391         if not build (latest):
 392                 if os.path.isdir ('%s/%s' % (build_root, package_name)):
 393                         os.chdir ('%s/%s' % (build_root, package_name))
 394                         previous = os.getcwd ()
 395                         os.chdir (build_root)
 396                         system ('rm -f %s' % package_name)
 397                         system ('echo rm -rf %s/%s' % (build_root, previous))
 398
 399                 os.symlink ('%s/%s' % (build_root, latest),  package_name)
 400
 401         os.chdir (original_dir)
 402         if release_dir != temp_dir:
 403                 cleanup_temp ()
 404         sys.exit (0)
 405