scripts/update-lily.py

   1 #!@PYTHON@
   2 #
   3 # update-lily.py -- lilypond autobuilder
   4 #
   5 # source file of the GNU LilyPond music typesetter
   6 #
   7 # download and rebuild latest lilypond or from specified url
   8 #
   9
  10 '''
  11 TODO:
  12     * more flexible build/ftp/patches/releases paths
  13     * flexible build command
  14     * show only?
  15 '''
  16
  17 import os
  18 import fnmatch
  19 import stat
  20 import string
  21 import re
  22 import getopt
  23 import sys
  24 import __main__
  25 import operator
  26 import tempfile
  27
  28 try:
  29         import gettext
  30         gettext.bindtextdomain ('lilypond', '@localedir@')
  31         gettext.textdomain('lilypond')
  32         _ = gettext.gettext
  33 except:
  34         def _ (s):
  35                 return s
  36
  37 sys.path.append ('@datadir@/python')
  38 import gettext
  39 gettext.bindtextdomain ('lilypond', '@localedir@')
  40 gettext.textdomain('lilypond')
  41 _ = gettext.gettext
  42
  43
  44 program_name = 'build-lily'
  45 package_name = 'lilypond'
  46 help_summary = _("Fetch and rebuild from latest source package")
  47 build_root = os.path.join (os.environ ['HOME'], 'usr', 'src')
  48 release_dir = build_root + '/releases'
  49 patch_dir = build_root + '/patches'
  50 notify = 0
  51
  52 build_command = '''
  53 set -x
  54 cd %b &&
  55 [ -d %n-%v ] && exit 1 || true;
  56 mkdir -p %n-%v
  57 (
  58 tar xzf %r/%t &&
  59 rm -f building &&
  60 ln -s %n-%v building &&
  61 cd %n-%v &&
  62 ./configure --prefix=$HOME/usr && make all web
  63 ) >> %n-%v/log.txt 2>&1 &&
  64 rm -f %n &&
  65 ln -s %n-%v %n
  66 '''
  67
  68
  69 url = 'file:/home/ftp/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  70 url = 'ftp://appel.lilypond.org/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  71 url = 'ftp://ftp.cs.uu.nl/pub/GNU/LilyPond/development/lilypond-*.tar.gz'
  72
  73 remove_previous_p = 0
  74
  75
  76 # lily_py.py -- options and stuff
  77 #
  78 # source file of the GNU LilyPond music typesetter
  79
  80 # BEGIN Library for these?
  81 # cut-n-paste from ly2dvi
  82
  83 program_version = '@TOPLEVEL_VERSION@'
  84 if program_version == '@' + 'TOPLEVEL_VERSION' + '@':
  85         program_version = '1.3.142'
  86
  87
  88 original_dir = os.getcwd ()
  89 temp_dir = '%s.dir' % program_name
  90 keep_temp_dir_p = 0
  91 verbose_p = 0
  92
  93 def identify ():
  94         sys.stdout.write ('%s (GNU LilyPond) %s\n' % (program_name, program_version))
  95
  96 def warranty ():
  97         identify ()
  98         sys.stdout.write ('\n')
  99         sys.stdout.write (_ ('Copyright (c) %s by' % ' 2001'))
 100         sys.stdout.write ('\n')
 101         sys.stdout.write ('  Han-Wen Nienhuys')
 102         sys.stdout.write ('  Jan Nieuwenhuizen')
 103         sys.stdout.write ('\n')
 104         sys.stdout.write (_ (r'''
 105 Distributed under terms of the GNU General Public License. It comes with
 106 NO WARRANTY.'''))
 107         sys.stdout.write ('\n')
 108
 109 def progress (s):
 110         sys.stderr.write (s + '\n')
 111
 112 def warning (s):
 113         sys.stderr.write (_ ("warning: ") + s)
 114         sys.stderr.write ('\n')
 115
 116
 117 def error (s):
 118         sys.stderr.write (_ ("error: ") + s)
 119         sys.stderr.write ('\n')
 120         raise _ ("Exiting ... ")
 121
 122 def getopt_args (opts):
 123         '''Construct arguments (LONG, SHORT) for getopt from  list of options.'''
 124         short = ''
 125         long = []
 126         for o in opts:
 127                 if o[1]:
 128                         short = short + o[1]
 129                         if o[0]:
 130                                 short = short + ':'
 131                 if o[2]:
 132                         l = o[2]
 133                         if o[0]:
 134                                 l = l + '='
 135                         long.append (l)
 136         return (short, long)
 137
 138 def option_help_str (o):
 139         '''Transform one option description (4-tuple ) into neatly formatted string'''
 140         sh = '  '
 141         if o[1]:
 142                 sh = '-%s' % o[1]
 143
 144         sep = ' '
 145         if o[1] and o[2]:
 146                 sep = ','
 147
 148         long = ''
 149         if o[2]:
 150                 long= '--%s' % o[2]
 151
 152         arg = ''
 153         if o[0]:
 154                 if o[2]:
 155                         arg = '='
 156                 arg = arg + o[0]
 157         return '  ' + sh + sep + long + arg
 158
 159
 160 def options_help_str (opts):
 161         '''Convert a list of options into a neatly formatted string'''
 162         w = 0
 163         strs =[]
 164         helps = []
 165
 166         for o in opts:
 167                 s = option_help_str (o)
 168                 strs.append ((s, o[3]))
 169                 if len (s) > w:
 170                         w = len (s)
 171
 172         str = ''
 173         for s in strs:
 174                 str = str + '%s%s%s\n' % (s[0], ' ' * (w - len(s[0])  + 3), s[1])
 175         return str
 176
 177 def help ():
 178         sys.stdout.write (_ ("Usage: %s [OPTION]... FILE") % program_name)
 179         sys.stdout.write ('\n\n')
 180         sys.stdout.write (help_summary)
 181         sys.stdout.write ('\n\n')
 182         sys.stdout.write (_ ("Options:"))
 183         sys.stdout.write ('\n')
 184         sys.stdout.write (options_help_str (option_definitions))
 185         sys.stdout.write ('\n\n')
 186         sys.stdout.write (_ ("Report bugs to %s") % 'bug-gnu-music@gnu.org')
 187         sys.stdout.write ('\n')
 188         sys.exit (0)
 189
 190
 191 def setup_temp ():
 192         global temp_dir
 193         if not keep_temp_dir_p:
 194                 temp_dir = tempfile.mktemp (program_name)
 195         try:
 196                 os.mkdir (temp_dir, 0777)
 197         except OSError:
 198                 pass
 199
 200
 201 def system (cmd, ignore_error = 0):
 202         if verbose_p:
 203                 progress (_ ("Invoking `%s\'") % cmd)
 204         st = os.system (cmd)
 205         if st:
 206                 msg =  ( _ ("error: ") + _ ("command exited with value %d") % st)
 207                 if ignore_error:
 208                         sys.stderr.write (msg + ' ' + _ ("(ignored)") + ' ')
 209                 else:
 210                         error (msg)
 211
 212         return st
 213
 214
 215 def cleanup_temp ():
 216         if not keep_temp_dir_p:
 217                 if verbose_p:
 218                         progress (_ ("Cleaning %s...") % temp_dir)
 219                 system ('rm -rf %s' % temp_dir)
 220
 221
 222 def set_setting (dict, key, val):
 223         try:
 224                 val = string.atof (val)
 225         except ValueError:
 226                 #warning (_ ("invalid value: %s") % `val`)
 227                 pass
 228
 229         try:
 230                 dict[key].append (val)
 231         except KeyError:
 232                 warning (_ ("no such setting: %s") % `key`)
 233                 dict[key] = [val]
 234
 235 # END Library
 236
 237 option_definitions = [
 238         ('DIR', 'b', 'build-root', _ ("unpack and build in DIR [%s]") % build_root),
 239         ('COMMAND', 'c', 'command', _ ("execute COMMAND, subtitute:") \
 240          + '\n                            ' + _ ("%b: build root") \
 241          + '\n                            ' + _ ("%n: package name") \
 242          + '\n                            ' + _ ("%r: release directory") \
 243          + '\n                            ' + _ ("%t: tarball") \
 244          + '\n                            ' + _ ("%v: package version") \
 245          ),
 246         ('', 'h', 'help', _ ("this help")),
 247         ('', 'k', 'keep', _ ("keep all output, and name the directory %s") % temp_dir),
 248         ('EMAIL', 'n', 'notify', _ ("upon failure notify EMAIL[,EMAIL]")),
 249         ('', 'r', 'remove-previous', _ ("remove previous build")),
 250         ('', 'V', 'verbose', _ ("verbose")),
 251         ('', 'v', 'version', _ ("print version number")),
 252         ('URL', 'u', 'url', _ ("fetch and build URL [%s]") % url),
 253         ('', 'w', 'warranty', _ ("show warranty and copyright")),
 254         ]
 255
 256 def list_file (user, passwd, host, dir, file):
 257         match = []
 258         for i in os.listdir (dir):
 259                 if fnmatch.fnmatch (i, file):
 260                         match.append (i)
 261         return match
 262
 263 list_ = list_file
 264
 265 #
 266 # ugh: use ftp module.
 267 #
 268 def list_ftp (user, passwd, host, dir, file):
 269         if user == 'None':
 270                 user = 'anonymous'
 271         if passwd == 'None':
 272                 passwd = program_name
 273
 274         command = '''
 275 open -u%s,%s -p21 %s
 276 set passive-mode off
 277 cd "%s"
 278 ls -1 "%s"
 279 ''' % (user, passwd, host, dir, file)
 280         temp = tempfile.mktemp (program_name)
 281         f = open (temp, 'w')
 282         f.write (command)
 283         f.close ()
 284         p = os.popen ('lftp -f %s' % temp, 'r')
 285         s = p.read ()
 286         status = p.close ()
 287         return string.split (s[:-1], '\n')
 288
 289 def split_url (url):
 290         m = re.match ('([^:/]*)(:)?(/*([^:]*):)?(/*([^@]*)@)?(//([^/]*))?(.*)/(.*)',
 291                       url)
 292         if not m:
 293                 error ("can't parse url: %s " % url)
 294         return (m.group (1), m.group (4), m.group (6), m.group (8),
 295                 m.group (9), m.group (10))
 296
 297 def list_url (url):
 298         s = "list_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 299         return eval (s)
 300
 301 def version_tuple_to_str (t):
 302         if t[3]:
 303                 my = '.%s%d' % (t[3], t[4])
 304         else:
 305                 my = ''
 306         return ('%d.%d.%d' % t[0:3]) + my
 307
 308 def version_str_to_tuple (s):
 309         t = string.split (s, '.')
 310         if len (t) >= 4:
 311                 my_name = t[3][:-1]
 312                 my_number = string.atoi (t[3][-1])
 313         else:
 314                 my_name = None
 315                 my_number = None
 316         return (string.atoi (t[0]), string.atoi (t[1]), string.atoi (t[2]),
 317                 my_name, my_number)
 318
 319 def split_package (p):
 320         m = re.match ('(.*)-([0-9]*.*).tar.gz', p)
 321         return (m.group (1), version_str_to_tuple (m.group (2)))
 322
 323 def join_package (t):
 324         return t[0] + '-' + version_tuple_to_str (t[1])
 325
 326 def copy_file (user, passwd, host, dir, file):
 327         os.system ('cp %s/%s .' % (dir, file))
 328
 329 copy_ = copy_file
 330
 331 def copy_ftp (user, passwd, host, dir, file):
 332         if user == 'None':
 333                 user = 'anonymous'
 334         if passwd == 'None':
 335                 passwd = program_name
 336
 337         command = '''
 338 open -u%s,%s -p21 %s
 339 set passive-mode off
 340 cd "%s"
 341 get "%s"
 342 ''' % (user, passwd, host, dir, file)
 343         temp = tempfile.mktemp (program_name)
 344         f = open (temp, 'w')
 345         f.write (command)
 346         f.close ()
 347         p = os.popen ('lftp -f %s' % temp, 'r')
 348         s = p.read ()
 349         status = p.close ()
 350
 351 def copy_url (url, dir):
 352         os.chdir (dir)
 353         s = "copy_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 354         eval (s)
 355
 356
 357 def find_latest (url):
 358         progress (_ ("listing %s...") % url)
 359         list = map (split_package, list_url (url))
 360         list.sort ()
 361         return join_package (list[-1])
 362
 363 def build (p):
 364         tar_ball = p + '.tar.gz'
 365         (tar_name, tar_version) = split_package (tar_ball)
 366
 367         expand = {
 368                 '%b' : build_root,
 369                 '%n' : tar_name,
 370                 '%r' : release_dir,
 371                 '%v' : version_tuple_to_str (tar_version),
 372                 '%t' : tar_ball,
 373                 }
 374
 375         c = build_command
 376         for i in expand.keys ():
 377                 c = re.sub (i, expand[i], c)
 378         return system (c, 1)
 379
 380 (sh, long) = getopt_args (__main__.option_definitions)
 381 try:
 382         (options, files) = getopt.getopt (sys.argv[1:], sh, long)
 383 except:
 384         help ()
 385         sys.exit (2)
 386
 387 for opt in options:
 388         o = opt[0]
 389         a = opt[1]
 390
 391         if 0:
 392                 pass
 393         elif o == '--help' or o == '-h':
 394                 help ()
 395         elif o == '--buid-root' or o == '-b':
 396                 build_root = a
 397         elif o == '--command' or o == '-c':
 398                 build_command = a
 399         elif o == '--notify' or o == '-n':
 400                 notify = a
 401         elif o == '--remove-previous' or o == '-r':
 402                 remove_previous_p = 1
 403         elif o == '--url' or o == '-u':
 404                 url = a
 405         elif o == '--verbose' or o == '-V':
 406                 verbose_p = 1
 407         elif o == '--version' or o == '-v':
 408                 identify ()
 409                 sys.exit (0)
 410         elif o == '--warranty' or o == '-w':
 411                 warranty ()
 412                 sys.exit (0)
 413
 414 if 1:
 415         latest = find_latest (url)
 416
 417         if os.path.isdir ('%s/%s' % (build_root, latest)):
 418                 progress (_ ("latest is: %s") % latest)
 419                 progress (_ ("relax, %s is up to date" % package_name))
 420                 sys.exit (0)
 421
 422         get_base = url[:string.rindex (url, '/')] + '/'
 423         if os.path.isdir (patch_dir):
 424                 os.chdir (patch_dir)
 425                 if not os.path.isfile (latest + '.diff.gz'):
 426                         get = get_base + latest + '.diff.gz'
 427                         progress (_ ("fetching %s...") % get)
 428                         copy_url (get, '.')
 429
 430         if not os.path.isdir (build_root):
 431                 build_root = temp_dir
 432         if not os.path.isdir (release_dir):
 433                 release_dir = temp_dir
 434                 setup_temp ()
 435
 436         os.chdir (release_dir)
 437         if not os.path.isfile (latest + '.tar.gz'):
 438                 get = get_base + latest + '.tar.gz'
 439                 progress (_ ("fetching %s...") % get)
 440                 copy_url (get, '.')
 441
 442         if os.path.isdir (os.path.join (build_root, package_name)):
 443                 os.chdir (os.path.join (build_root, package_name))
 444                 previous = os.getcwd ()
 445         else:
 446                 previous = 0
 447
 448         progress (_ ("building %s...") % latest)
 449         os.chdir (build_root)
 450         if build (latest):
 451                 if previous and remove_previous_p:
 452                         system ('rm -rf %s' % os.path.join (build_root, previous))
 453         else:
 454                 if notify:
 455                         system ('(date; uname -a) | mail -s "%s failed" %s' % (program_name, notify))
 456                 sys.exit (1)
 457
 458         os.chdir (original_dir)
 459         if release_dir != temp_dir:
 460                 cleanup_temp ()
 461         sys.exit (0)
 462