scripts/update-lily.py

   1 #!@PYTHON@
   2 #
   3 # update-lily.py -- lilypond autobuilder
   4 #
   5 # source file of the GNU LilyPond music typesetter
   6 #
   7 # download and rebuild latest lilypond or from specified url
   8 #
   9
  10 '''
  11 TODO:
  12     * more flexible build/ftp/patches/releases paths
  13     * flexible build command
  14     * show only?
  15 '''
  16
  17 import os
  18 import fnmatch
  19 import stat
  20 import string
  21 import re
  22 import getopt
  23 import sys
  24 import __main__
  25 import operator
  26 import tempfile
  27
  28 try:
  29         import gettext
  30         gettext.bindtextdomain ('lilypond', '@localedir@')
  31         gettext.textdomain('lilypond')
  32         _ = gettext.gettext
  33 except:
  34         def _ (s):
  35                 return s
  36
  37 sys.path.append ('@datadir@/python')
  38 import gettext
  39 gettext.bindtextdomain ('lilypond', '@localedir@')
  40 gettext.textdomain('lilypond')
  41 _ = gettext.gettext
  42
  43
  44 program_name = 'build-lily'
  45 package_name = 'lilypond'
  46 help_summary = _("Fetch and rebuild from latest source package")
  47 obuild_command = '(./configure --prefix=$HOME/usr && make all web) >> log.txt 2>&1'
  48 build_command = '''
  49 cd $HOME/usr/src &&
  50 (
  51 tar xzf %t &&
  52 rm -f building &&
  53 ln -s %n-%v building &&
  54 cd %n-%v &&
  55 ./configure --prefix=$HOME/usr && make all web
  56 ) >> log.txt 2>&1 &&
  57 rm -f %n &&
  58 ln -s %n%-%v %n
  59 '''
  60
  61 release_dir = build_root + '/releases'
  62 patch_dir = build_root + '/patches'
  63
  64 url = 'file:/home/ftp/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  65 url = 'ftp://appel.lilypond.org/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  66 url = 'ftp://ftp.cs.uu.nl/pub/GNU/LilyPond/development/lilypond-*.tar.gz'
  67
  68 remove_previous_p = 0
  69
  70
  71 # lily_py.py -- options and stuff
  72 #
  73 # source file of the GNU LilyPond music typesetter
  74
  75 # BEGIN Library for these?
  76 # cut-n-paste from ly2dvi
  77
  78 program_version = '@TOPLEVEL_VERSION@'
  79 if program_version == '@' + 'TOPLEVEL_VERSION' + '@':
  80         program_version = '1.3.142'
  81
  82
  83 original_dir = os.getcwd ()
  84 temp_dir = '%s.dir' % program_name
  85 keep_temp_dir_p = 0
  86 verbose_p = 0
  87
  88 def identify ():
  89         sys.stdout.write ('%s (GNU LilyPond) %s\n' % (program_name, program_version))
  90
  91 def warranty ():
  92         identify ()
  93         sys.stdout.write ('\n')
  94         sys.stdout.write (_ ('Copyright (c) %s by' % ' 2001'))
  95         sys.stdout.write ('\n')
  96         sys.stdout.write ('  Han-Wen Nienhuys')
  97         sys.stdout.write ('  Jan Nieuwenhuizen')
  98         sys.stdout.write ('\n')
  99         sys.stdout.write (_ (r'''
 100 Distributed under terms of the GNU General Public License. It comes with
 101 NO WARRANTY.'''))
 102         sys.stdout.write ('\n')
 103
 104 def progress (s):
 105         sys.stderr.write (s + '\n')
 106
 107 def warning (s):
 108         sys.stderr.write (_ ("warning: ") + s)
 109         sys.stderr.write ('\n')
 110
 111
 112 def error (s):
 113         sys.stderr.write (_ ("error: ") + s)
 114         sys.stderr.write ('\n')
 115         raise _ ("Exiting ... ")
 116
 117 def getopt_args (opts):
 118         '''Construct arguments (LONG, SHORT) for getopt from  list of options.'''
 119         short = ''
 120         long = []
 121         for o in opts:
 122                 if o[1]:
 123                         short = short + o[1]
 124                         if o[0]:
 125                                 short = short + ':'
 126                 if o[2]:
 127                         l = o[2]
 128                         if o[0]:
 129                                 l = l + '='
 130                         long.append (l)
 131         return (short, long)
 132
 133 def option_help_str (o):
 134         '''Transform one option description (4-tuple ) into neatly formatted string'''
 135         sh = '  '
 136         if o[1]:
 137                 sh = '-%s' % o[1]
 138
 139         sep = ' '
 140         if o[1] and o[2]:
 141                 sep = ','
 142
 143         long = ''
 144         if o[2]:
 145                 long= '--%s' % o[2]
 146
 147         arg = ''
 148         if o[0]:
 149                 if o[2]:
 150                         arg = '='
 151                 arg = arg + o[0]
 152         return '  ' + sh + sep + long + arg
 153
 154
 155 def options_help_str (opts):
 156         '''Convert a list of options into a neatly formatted string'''
 157         w = 0
 158         strs =[]
 159         helps = []
 160
 161         for o in opts:
 162                 s = option_help_str (o)
 163                 strs.append ((s, o[3]))
 164                 if len (s) > w:
 165                         w = len (s)
 166
 167         str = ''
 168         for s in strs:
 169                 str = str + '%s%s%s\n' % (s[0], ' ' * (w - len(s[0])  + 3), s[1])
 170         return str
 171
 172 def help ():
 173         sys.stdout.write (_ ("Usage: %s [OPTION]... FILE") % program_name)
 174         sys.stdout.write ('\n\n')
 175         sys.stdout.write (help_summary)
 176         sys.stdout.write ('\n\n')
 177         sys.stdout.write (_ ("Options:"))
 178         sys.stdout.write ('\n')
 179         sys.stdout.write (options_help_str (option_definitions))
 180         sys.stdout.write ('\n\n')
 181         sys.stdout.write (_ ("Report bugs to %s") % 'bug-gnu-music@gnu.org')
 182         sys.stdout.write ('\n')
 183         sys.exit (0)
 184
 185
 186 def setup_temp ():
 187         global temp_dir
 188         if not keep_temp_dir_p:
 189                 temp_dir = tempfile.mktemp (program_name)
 190         try:
 191                 os.mkdir (temp_dir, 0777)
 192         except OSError:
 193                 pass
 194
 195
 196 def system (cmd, ignore_error = 0):
 197         if verbose_p:
 198                 progress (_ ("Invoking `%s\'") % cmd)
 199         st = os.system (cmd)
 200         if st:
 201                 msg =  ( _ ("error: ") + _ ("command exited with value %d") % st)
 202                 if ignore_error:
 203                         sys.stderr.write (msg + ' ' + _ ("(ignored)") + ' ')
 204                 else:
 205                         error (msg)
 206
 207         return st
 208
 209
 210 def cleanup_temp ():
 211         if not keep_temp_dir_p:
 212                 if verbose_p:
 213                         progress (_ ("Cleaning %s...") % temp_dir)
 214                 system ('rm -rf %s' % temp_dir)
 215
 216
 217 def set_setting (dict, key, val):
 218         try:
 219                 val = string.atof (val)
 220         except ValueError:
 221                 #warning (_ ("invalid value: %s") % `val`)
 222                 pass
 223
 224         try:
 225                 dict[key].append (val)
 226         except KeyError:
 227                 warning (_ ("no such setting: %s") % `key`)
 228                 dict[key] = [val]
 229
 230 # END Library
 231
 232 option_definitions = [
 233         ('DIR', 'b', 'build-root', _ ("unpack and build in DIR [%s]") % build_root),
 234         ('COMMAND', 'c', 'command', _ ("execute COMMAND, subtitute:") \
 235          + '\n                            ' + _ ("%%n: package name") \
 236          + '\n                            ' + _ ("%%v: package version") \
 237          + '\n                            ' + _ ("%%t: tarball") \
 238          ),
 239         ('', 'h', 'help', _ ("this help")),
 240         ('', 'k', 'keep', _ ("keep all output, and name the directory %s") % temp_dir),
 241         ('', 'r', 'remove-previous', _ ("remove previous build")),
 242         ('', 'V', 'verbose', _ ("verbose")),
 243         ('', 'v', 'version', _ ("print version number")),
 244         ('URL', 'u', 'url', _ ("fetch and build URL [%s]") % url),
 245         ('', 'w', 'warranty', _ ("show warranty and copyright")),
 246         ]
 247
 248 def list_file (user, passwd, host, dir, file):
 249         match = []
 250         for i in os.listdir (dir):
 251                 if fnmatch.fnmatch (i, file):
 252                         match.append (i)
 253         return match
 254
 255 list_ = list_file
 256
 257 #
 258 # ugh: use ftp module.
 259 #
 260 def list_ftp (user, passwd, host, dir, file):
 261         if user == 'None':
 262                 user = 'anonymous'
 263         if passwd == 'None':
 264                 passwd = program_name
 265
 266         command = '''
 267 open -u%s,%s -p21 %s
 268 set passive-mode off
 269 cd "%s"
 270 ls -1 "%s"
 271 ''' % (user, passwd, host, dir, file)
 272         temp = tempfile.mktemp (program_name)
 273         f = open (temp, 'w')
 274         f.write (command)
 275         f.close ()
 276         p = os.popen ('lftp -f %s' % temp, 'r')
 277         s = p.read ()
 278         status = p.close ()
 279         return string.split (s[:-1], '\n')
 280
 281 def split_url (url):
 282         m = re.match ('([^:/]*)(:)?(/*([^:]*):)?(/*([^@]*)@)?(//([^/]*))?(.*)/(.*)',
 283                       url)
 284         if not m:
 285                 error ("can't parse url: %s " % url)
 286         return (m.group (1), m.group (4), m.group (6), m.group (8),
 287                 m.group (9), m.group (10))
 288
 289 def list_url (url):
 290         s = "list_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 291         return eval (s)
 292
 293 def version_tuple_to_str (t):
 294         if t[3]:
 295                 my = '.%s%d' % (t[3], t[4])
 296         else:
 297                 my = ''
 298         return ('%d.%d.%d' % t[0:3]) + my
 299
 300 def version_str_to_tuple (s):
 301         t = string.split (s, '.')
 302         if len (t) >= 4:
 303                 my_name = t[3][:-1]
 304                 my_number = string.atoi (t[3][-1])
 305         else:
 306                 my_name = None
 307                 my_number = None
 308         return (string.atoi (t[0]), string.atoi (t[1]), string.atoi (t[2]),
 309                 my_name, my_number)
 310
 311 def split_package (p):
 312         m = re.match ('(.*)-([0-9]*.*).tar.gz', p)
 313         return (m.group (1), version_str_to_tuple (m.group (2)))
 314
 315 def join_package (t):
 316         return t[0] + '-' + version_tuple_to_str (t[1])
 317
 318 def copy_file (user, passwd, host, dir, file):
 319         os.system ('cp %s/%s .' % (dir, file))
 320
 321 copy_ = copy_file
 322
 323 def copy_ftp (user, passwd, host, dir, file):
 324         if user == 'None':
 325                 user = 'anonymous'
 326         if passwd == 'None':
 327                 passwd = program_name
 328
 329         command = '''
 330 open -u%s,%s -p21 %s
 331 set passive-mode off
 332 cd "%s"
 333 get "%s"
 334 ''' % (user, passwd, host, dir, file)
 335         temp = tempfile.mktemp (program_name)
 336         f = open (temp, 'w')
 337         f.write (command)
 338         f.close ()
 339         p = os.popen ('lftp -f %s' % temp, 'r')
 340         s = p.read ()
 341         status = p.close ()
 342
 343 def copy_url (url, dir):
 344         os.chdir (dir)
 345         s = "copy_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 346         eval (s)
 347
 348
 349 def find_latest (url):
 350         progress (_ ("listing %s...") % url)
 351         list = map (split_package, list_url (url))
 352         list.sort ()
 353         return join_package (list[-1])
 354
 355 def build (p):
 356         tar_ball = p + '.tar.gz'
 357         (tar_name, tar_version) = split_package (tar_ball)
 358
 359         expand = {
 360                 '%n' : tar_name,
 361                 '%t' : tar_ball,
 362                 '%v' : version_tuple_to_str (tar_version),
 363                 }
 364
 365         c = build_command
 366         for i in expand.keys ():
 367                 c = re.sub (i, expand[i], c)
 368         return system (c)
 369
 370 (sh, long) = getopt_args (__main__.option_definitions)
 371 try:
 372         (options, files) = getopt.getopt (sys.argv[1:], sh, long)
 373 except:
 374         help ()
 375         sys.exit (2)
 376
 377 for opt in options:
 378         o = opt[0]
 379         a = opt[1]
 380
 381         if 0:
 382                 pass
 383         elif o == '--help' or o == '-h':
 384                 help ()
 385         elif o == '--buid-root' or o == '-b':
 386                 build_root = a
 387         elif o == '--command' or o == '-c':
 388                 build_command = a
 389         elif o == '--remove-previous' or o == '-r':
 390                 remove_previous_p = 1
 391         elif o == '--url' or o == '-u':
 392                 url = a
 393         elif o == '--verbose' or o == '-V':
 394                 verbose_p = 1
 395         elif o == '--version' or o == '-v':
 396                 identify ()
 397                 sys.exit (0)
 398         elif o == '--warranty' or o == '-w':
 399                 warranty ()
 400                 sys.exit (0)
 401
 402 if 1:
 403         latest = find_latest (url)
 404
 405         if os.path.isdir ('%s/%s' % (build_root, latest)):
 406                 progress (_ ("latest is %s") % latest)
 407                 progress (_ ("relax, %s is up to date" % package_name))
 408                 sys.exit (0)
 409
 410         get_base = url[:string.rindex (url, '/')] + '/'
 411         if os.path.isdir (patch_dir):
 412                 os.chdir (patch_dir)
 413                 if not os.path.isfile (latest + '.diff.gz'):
 414                         get = get_base + latest + '.diff.gz'
 415                         progress (_ ("fetching %s...") % get)
 416                         copy_url (get, '.')
 417
 418         if not os.path.isdir (build_root):
 419                 build_root = temp_dir
 420         if not os.path.isdir (release_dir):
 421                 release_dir = temp_dir
 422                 setup_temp ()
 423
 424         os.chdir (release_dir)
 425         if not os.path.isfile (latest + '.tar.gz'):
 426                 get = get_base + latest + '.tar.gz'
 427                 progress (_ ("fetching %s...") % get)
 428                 copy_url (get, '.')
 429
 430         if os.path.isdir (os.path.join (build_command, package_name)):
 431                 os.chdir (os.path.join (build_command, package_name))
 432                 previous = os.getcwd ()
 433         else:
 434                 previous = 0
 435
 436         progress (_ ("building %s...") % get)
 437         os.chdir (build_root)
 438         if not build (latest) and previous and remove_previous_p:
 439                 system ('rm -rf %s' % os.path.join (build_root, previous))
 440
 441         os.chdir (original_dir)
 442         if release_dir != temp_dir:
 443                 cleanup_temp ()
 444         sys.exit (0)
 445