scripts/update-lily.py

   1 #!@PYTHON@
   2 #
   3 # update-lily.py -- lilypond autobuilder
   4 #
   5 # source file of the GNU LilyPond music typesetter
   6 #
   7 # download and rebuild latest lilypond or from specified url
   8 #
   9
  10 '''
  11 TODO:
  12     * more flexible build/ftp/patches/releases paths
  13     * flexible build command
  14     * show only?
  15 '''
  16
  17 import os
  18 import fnmatch
  19 import stat
  20 import string
  21 import re
  22 import getopt
  23 import sys
  24 import __main__
  25 import operator
  26 import tempfile
  27
  28 try:
  29         import gettext
  30         gettext.bindtextdomain ('lilypond', '@localedir@')
  31         gettext.textdomain('lilypond')
  32         _ = gettext.gettext
  33 except:
  34         def _ (s):
  35                 return s
  36
  37 sys.path.append ('@datadir@/python')
  38 import gettext
  39 gettext.bindtextdomain ('lilypond', '@localedir@')
  40 gettext.textdomain('lilypond')
  41 _ = gettext.gettext
  42
  43
  44 program_name = 'build-lily'
  45 package_name = 'lilypond'
  46 help_summary = _("Fetch and rebuild from latest source package")
  47 build_root = os.environ ['HOME'] + '/usr/src'
  48 build_command = '(./configure --prefix=$HOME/usr && make all web) >> log.txt 2>&1'
  49
  50 release_dir = build_root + '/releases'
  51 patch_dir = build_root + '/patches'
  52
  53 url = 'file:/home/ftp/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  54 url = 'ftp://appel.lilypond.org/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  55 url = 'ftp://ftp.cs.uu.nl/pub/GNU/LilyPond/development/lilypond-*.tar.gz'
  56
  57 remove_previous_p = 0
  58
  59
  60 # lily_py.py -- options and stuff
  61 #
  62 # source file of the GNU LilyPond music typesetter
  63
  64 # BEGIN Library for these?
  65 # cut-n-paste from ly2dvi
  66
  67 program_version = '@TOPLEVEL_VERSION@'
  68 if program_version == '@' + 'TOPLEVEL_VERSION' + '@':
  69         program_version = '1.3.142'
  70
  71
  72 original_dir = os.getcwd ()
  73 temp_dir = '%s.dir' % program_name
  74 keep_temp_dir_p = 0
  75 verbose_p = 0
  76
  77 def identify ():
  78         sys.stdout.write ('%s (GNU LilyPond) %s\n' % (program_name, program_version))
  79
  80 def warranty ():
  81         identify ()
  82         sys.stdout.write ('\n')
  83         sys.stdout.write (_ ('Copyright (c) %s by' % ' 2001'))
  84         sys.stdout.write ('\n')
  85         sys.stdout.write ('  Han-Wen Nienhuys')
  86         sys.stdout.write ('  Jan Nieuwenhuizen')
  87         sys.stdout.write ('\n')
  88         sys.stdout.write (_ (r'''
  89 Distributed under terms of the GNU General Public License. It comes with
  90 NO WARRANTY.'''))
  91         sys.stdout.write ('\n')
  92
  93 def progress (s):
  94         sys.stderr.write (s + '\n')
  95
  96 def warning (s):
  97         sys.stderr.write (_ ("warning: ") + s)
  98         sys.stderr.write ('\n')
  99
 100
 101 def error (s):
 102         sys.stderr.write (_ ("error: ") + s)
 103         sys.stderr.write ('\n')
 104         raise _ ("Exiting ... ")
 105
 106 def getopt_args (opts):
 107         '''Construct arguments (LONG, SHORT) for getopt from  list of options.'''
 108         short = ''
 109         long = []
 110         for o in opts:
 111                 if o[1]:
 112                         short = short + o[1]
 113                         if o[0]:
 114                                 short = short + ':'
 115                 if o[2]:
 116                         l = o[2]
 117                         if o[0]:
 118                                 l = l + '='
 119                         long.append (l)
 120         return (short, long)
 121
 122 def option_help_str (o):
 123         '''Transform one option description (4-tuple ) into neatly formatted string'''
 124         sh = '  '
 125         if o[1]:
 126                 sh = '-%s' % o[1]
 127
 128         sep = ' '
 129         if o[1] and o[2]:
 130                 sep = ','
 131
 132         long = ''
 133         if o[2]:
 134                 long= '--%s' % o[2]
 135
 136         arg = ''
 137         if o[0]:
 138                 if o[2]:
 139                         arg = '='
 140                 arg = arg + o[0]
 141         return '  ' + sh + sep + long + arg
 142
 143
 144 def options_help_str (opts):
 145         '''Convert a list of options into a neatly formatted string'''
 146         w = 0
 147         strs =[]
 148         helps = []
 149
 150         for o in opts:
 151                 s = option_help_str (o)
 152                 strs.append ((s, o[3]))
 153                 if len (s) > w:
 154                         w = len (s)
 155
 156         str = ''
 157         for s in strs:
 158                 str = str + '%s%s%s\n' % (s[0], ' ' * (w - len(s[0])  + 3), s[1])
 159         return str
 160
 161 def help ():
 162         sys.stdout.write (_ ("Usage: %s [OPTION]... FILE") % program_name)
 163         sys.stdout.write ('\n\n')
 164         sys.stdout.write (help_summary)
 165         sys.stdout.write ('\n\n')
 166         sys.stdout.write (_ ("Options:"))
 167         sys.stdout.write ('\n')
 168         sys.stdout.write (options_help_str (option_definitions))
 169         sys.stdout.write ('\n\n')
 170         sys.stdout.write (_ ("Report bugs to %s") % 'bug-gnu-music@gnu.org')
 171         sys.stdout.write ('\n')
 172         sys.exit (0)
 173
 174
 175 def setup_temp ():
 176         global temp_dir
 177         if not keep_temp_dir_p:
 178                 temp_dir = tempfile.mktemp (program_name)
 179         try:
 180                 os.mkdir (temp_dir, 0777)
 181         except OSError:
 182                 pass
 183
 184
 185 def system (cmd, ignore_error = 0):
 186         if verbose_p:
 187                 progress (_ ("Invoking `%s\'") % cmd)
 188         st = os.system (cmd)
 189         if st:
 190                 msg =  ( _ ("error: ") + _ ("command exited with value %d") % st)
 191                 if ignore_error:
 192                         sys.stderr.write (msg + ' ' + _ ("(ignored)") + ' ')
 193                 else:
 194                         error (msg)
 195
 196         return st
 197
 198
 199 def cleanup_temp ():
 200         if not keep_temp_dir_p:
 201                 if verbose_p:
 202                         progress (_ ("Cleaning %s...") % temp_dir)
 203                 system ('rm -rf %s' % temp_dir)
 204
 205
 206 def set_setting (dict, key, val):
 207         try:
 208                 val = string.atof (val)
 209         except ValueError:
 210                 #warning (_ ("invalid value: %s") % `val`)
 211                 pass
 212
 213         try:
 214                 dict[key].append (val)
 215         except KeyError:
 216                 warning (_ ("no such setting: %s") % `key`)
 217                 dict[key] = [val]
 218
 219 # END Library
 220
 221 option_definitions = [
 222         ('DIR', 'b', 'build-root', _ ("unpack and build in DIR [%s]") % build_root),
 223         ('', 'h', 'help', _ ("this help")),
 224         ('', 'k', 'keep', _ ("keep all output, and name the directory %s") % temp_dir),
 225         ('', 'V', 'verbose', _ ("verbose")),
 226         ('', 'v', 'version', _ ("print version number")),
 227         ('URL', 'u', 'url', _ ("fetch and build URL [%s]") % url),
 228         ('', 'w', 'warranty', _ ("show warranty and copyright")),
 229         ]
 230
 231 def list_file (user, passwd, host, dir, file):
 232         match = []
 233         for i in os.listdir (dir):
 234                 if fnmatch.fnmatch (i, file):
 235                         match.append (i)
 236         return match
 237
 238 list_ = list_file
 239
 240 #
 241 # ugh: use ftp module.
 242 #
 243 def list_ftp (user, passwd, host, dir, file):
 244         if user == 'None':
 245                 user = 'anonymous'
 246         if passwd == 'None':
 247                 passwd = program_name
 248
 249         command = '''
 250 open -u%s,%s -p21 %s
 251 set passive-mode off
 252 cd "%s"
 253 ls -1 "%s"
 254 ''' % (user, passwd, host, dir, file)
 255         temp = tempfile.mktemp (program_name)
 256         f = open (temp, 'w')
 257         f.write (command)
 258         f.close ()
 259         p = os.popen ('lftp -f %s' % temp, 'r')
 260         s = p.read ()
 261         status = p.close ()
 262         return string.split (s[:-1], '\n')
 263
 264 def split_url (url):
 265         m = re.match ('([^:/]*)(:)?(/*([^:]*):)?(/*([^@]*)@)?(//([^/]*))?(.*)/(.*)',
 266                       url)
 267         if not m:
 268                 error ("can't parse url: %s " % url)
 269         return (m.group (1), m.group (4), m.group (6), m.group (8),
 270                 m.group (9), m.group (10))
 271
 272 def list_url (url):
 273         s = "list_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 274         return eval (s)
 275
 276 def version_tuple_to_str (t):
 277         if t[3]:
 278                 my = '.%s%d' % (t[3], t[4])
 279         else:
 280                 my = ''
 281         return ('%d.%d.%d' % t[0:3]) + my
 282
 283 def version_str_to_tuple (s):
 284         t = string.split (s, '.')
 285         if len (t) >= 4:
 286                 my_name = t[3][:-1]
 287                 my_number = string.atoi (t[3][-1])
 288         else:
 289                 my_name = None
 290                 my_number = None
 291         return (string.atoi (t[0]), string.atoi (t[1]), string.atoi (t[2]),
 292                 my_name, my_number)
 293
 294 def split_package (p):
 295         m = re.match ('(.*)-([0-9]*.*).tar.gz', p)
 296         return (m.group (1), version_str_to_tuple (m.group (2)))
 297
 298 def join_package (t):
 299         return t[0] + '-' + version_tuple_to_str (t[1])
 300
 301 def copy_file (user, passwd, host, dir, file):
 302         os.system ('cp %s/%s .' % (dir, file))
 303
 304 copy_ = copy_file
 305
 306 def copy_ftp (user, passwd, host, dir, file):
 307         if user == 'None':
 308                 user = 'anonymous'
 309         if passwd == 'None':
 310                 passwd = program_name
 311
 312         command = '''
 313 open -u%s,%s -p21 %s
 314 set passive-mode off
 315 cd "%s"
 316 get "%s"
 317 ''' % (user, passwd, host, dir, file)
 318         temp = tempfile.mktemp (program_name)
 319         f = open (temp, 'w')
 320         f.write (command)
 321         f.close ()
 322         p = os.popen ('lftp -f %s' % temp, 'r')
 323         s = p.read ()
 324         status = p.close ()
 325
 326 def copy_url (url, dir):
 327         os.chdir (dir)
 328         s = "copy_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 329         eval (s)
 330
 331
 332 def find_latest (url):
 333         progress (_ ("listing %s...") % url)
 334         list = map (split_package, list_url (url))
 335         list.sort ()
 336         return join_package (list[-1])
 337
 338 def build (p):
 339         os.chdir (build_root)
 340         system ('tar xzf %s/%s.tar.gz' % (release_dir, p))
 341         system ('rm -f building')
 342         os.symlink ('%s/%s' % (build_root, p), 'building')
 343         os.chdir (p)
 344         return system (build_command)
 345
 346 (sh, long) = getopt_args (__main__.option_definitions)
 347 try:
 348         (options, files) = getopt.getopt (sys.argv[1:], sh, long)
 349 except:
 350         help ()
 351         sys.exit (2)
 352
 353 for opt in options:
 354         o = opt[0]
 355         a = opt[1]
 356
 357         if 0:
 358                 pass
 359         elif o == '--help' or o == '-h':
 360                 help ()
 361         elif o == '--buid-root' or o == '-b':
 362                 build_root = a
 363         elif o == '--remove-previous' or o == '-r':
 364                 remove_previous_p = 1
 365         elif o == '--url' or o == '-u':
 366                 url = a
 367         elif o == '--verbose' or o == '-V':
 368                 verbose_p = 1
 369         elif o == '--version' or o == '-v':
 370                 identify ()
 371                 sys.exit (0)
 372         elif o == '--warranty' or o == '-w':
 373                 warranty ()
 374                 sys.exit (0)
 375
 376 if 1:
 377         latest = find_latest (url)
 378
 379         #if os.path.isdir ('%s/%s' % (build_root, latest)):
 380         if os.path.isdir ('%s/%s/%s' % (build_root, latest, 'lily/out/lilypond')):
 381                 progress (_ ("latest is %s") % latest)
 382                 progress (_ ("relax, %s is up to date" % package_name))
 383                 sys.exit (0)
 384
 385         get_base = url[:string.rindex (url, '/')] + '/'
 386         if os.path.isdir (patch_dir):
 387                 os.chdir (patch_dir)
 388                 if not os.path.isfile (latest + '.diff.gz'):
 389                         get = get_base + latest + '.diff.gz'
 390                         progress (_ ("fetching %s...") % get)
 391                         copy_url (get, '.')
 392
 393         if not os.path.isdir (build_root):
 394                 build_root = temp_dir
 395         if not os.path.isdir (release_dir):
 396                 release_dir = temp_dir
 397                 setup_temp ()
 398
 399         os.chdir (release_dir)
 400         if not os.path.isfile (latest + '.tar.gz'):
 401                 get = get_base + latest + '.tar.gz'
 402                 progress (_ ("fetching %s...") % get)
 403                 copy_url (get, '.')
 404
 405         if not build (latest):
 406                 if os.path.isdir ('%s/%s' % (build_root, package_name)):
 407                         os.chdir ('%s/%s' % (build_root, package_name))
 408                         previous = os.getcwd ()
 409                         os.chdir (build_root)
 410                         if remove_previous_p:
 411                                 system ('echo rm -rf %s/%s' % (build_root, previous))
 412
 413                 system ('rm -f %s' % package_name)
 414                 os.symlink ('%s/%s' % (build_root, latest),  package_name)
 415
 416         os.chdir (original_dir)
 417         if release_dir != temp_dir:
 418                 cleanup_temp ()
 419         sys.exit (0)
 420