scripts/update-lily.py

   1 #!@PYTHON@
   2 #
   3 # update-lily.py -- lilypond autobuilder
   4 #
   5 # source file of the GNU LilyPond music typesetter
   6 #
   7 # download and rebuild latest lilypond or from specified url
   8 #
   9
  10 '''
  11 TODO:
  12     * more flexible build paths
  13     * cleanup previous tree
  14     * flexible build command
  15     * show only?
  16 '''
  17
  18 import os
  19 import fnmatch
  20 import stat
  21 import string
  22 import re
  23 import getopt
  24 import sys
  25 import __main__
  26 import operator
  27 import tempfile
  28
  29
  30 sys.path.append ('@datadir@/python')
  31 import gettext
  32 gettext.bindtextdomain ('lilypond', '@localedir@')
  33 gettext.textdomain('lilypond')
  34 _ = gettext.gettext
  35
  36
  37 program_name = 'build-lily'
  38 package_name = 'lilypond'
  39 help_summary = _("Fetch and rebuild from latest source package")
  40 build_root = os.environ ['HOME'] + '/usr/src'
  41 release_dir = build_root + '/releases'
  42 patch_dir = build_root + '/patches'
  43
  44 url = 'file:/home/ftp/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  45 url = 'ftp://appel.lilypond.org/pub/gnu/LilyPond/development/lilypond-*.tar.gz'
  46 url = 'ftp://ftp.cs.uu.nl/pub/GNU/LilyPond/development/lilypond-*.tar.gz'
  47
  48
  49 # lily_py.py -- options and stuff
  50 #
  51 # source file of the GNU LilyPond music typesetter
  52
  53 # BEGIN Library for these?
  54 # cut-n-paste from ly2dvi
  55
  56 program_version = '@TOPLEVEL_VERSION@'
  57 if program_version == '@' + 'TOPLEVEL_VERSION' + '@':
  58         program_version = '1.3.142'
  59
  60
  61 original_dir = os.getcwd ()
  62 temp_dir = '%s.dir' % program_name
  63 keep_temp_dir_p = 0
  64 verbose_p = 0
  65
  66 def identify ():
  67         sys.stdout.write ('%s (GNU LilyPond) %s\n' % (program_name, program_version))
  68
  69 def warranty ():
  70         identify ()
  71         sys.stdout.write ('\n')
  72         sys.stdout.write (_ ('Copyright (c) %s by' % ' 2001'))
  73         sys.stdout.write ('\n')
  74         sys.stdout.write ('  Han-Wen Nienhuys')
  75         sys.stdout.write ('  Jan Nieuwenhuizen')
  76         sys.stdout.write ('\n')
  77         sys.stdout.write (_ (r'''
  78 Distributed under terms of the GNU General Public License. It comes with
  79 NO WARRANTY.'''))
  80         sys.stdout.write ('\n')
  81
  82 def progress (s):
  83         sys.stderr.write (s + '\n')
  84
  85 def warning (s):
  86         sys.stderr.write (_ ("warning: ") + s)
  87         sys.stderr.write ('\n')
  88
  89
  90 def error (s):
  91         sys.stderr.write (_ ("error: ") + s)
  92         sys.stderr.write ('\n')
  93         raise _ ("Exiting ... ")
  94
  95 def getopt_args (opts):
  96         '''Construct arguments (LONG, SHORT) for getopt from  list of options.'''
  97         short = ''
  98         long = []
  99         for o in opts:
 100                 if o[1]:
 101                         short = short + o[1]
 102                         if o[0]:
 103                                 short = short + ':'
 104                 if o[2]:
 105                         l = o[2]
 106                         if o[0]:
 107                                 l = l + '='
 108                         long.append (l)
 109         return (short, long)
 110
 111 def option_help_str (o):
 112         '''Transform one option description (4-tuple ) into neatly formatted string'''
 113         sh = '  '
 114         if o[1]:
 115                 sh = '-%s' % o[1]
 116
 117         sep = ' '
 118         if o[1] and o[2]:
 119                 sep = ','
 120
 121         long = ''
 122         if o[2]:
 123                 long= '--%s' % o[2]
 124
 125         arg = ''
 126         if o[0]:
 127                 if o[2]:
 128                         arg = '='
 129                 arg = arg + o[0]
 130         return '  ' + sh + sep + long + arg
 131
 132
 133 def options_help_str (opts):
 134         '''Convert a list of options into a neatly formatted string'''
 135         w = 0
 136         strs =[]
 137         helps = []
 138
 139         for o in opts:
 140                 s = option_help_str (o)
 141                 strs.append ((s, o[3]))
 142                 if len (s) > w:
 143                         w = len (s)
 144
 145         str = ''
 146         for s in strs:
 147                 str = str + '%s%s%s\n' % (s[0], ' ' * (w - len(s[0])  + 3), s[1])
 148         return str
 149
 150 def help ():
 151         sys.stdout.write (_ ("Usage: %s [OPTION]... FILE") % program_name)
 152         sys.stdout.write ('\n\n')
 153         sys.stdout.write (help_summary)
 154         sys.stdout.write ('\n\n')
 155         sys.stdout.write (_ ("Options:"))
 156         sys.stdout.write ('\n')
 157         sys.stdout.write (options_help_str (option_definitions))
 158         sys.stdout.write ('\n\n')
 159         sys.stdout.write (_ ("Report bugs to %s") % 'bug-gnu-music@gnu.org')
 160         sys.stdout.write ('\n')
 161         sys.exit (0)
 162
 163
 164 def setup_temp ():
 165         global temp_dir
 166         if not keep_temp_dir_p:
 167                 temp_dir = tempfile.mktemp (program_name)
 168         try:
 169                 os.mkdir (temp_dir, 0777)
 170         except OSError:
 171                 pass
 172
 173
 174 def system (cmd, ignore_error = 0):
 175         if verbose_p:
 176                 progress (_ ("Invoking `%s\'") % cmd)
 177         st = os.system (cmd)
 178         if st:
 179                 msg =  ( _ ("error: ") + _ ("command exited with value %d") % st)
 180                 if ignore_error:
 181                         sys.stderr.write (msg + ' ' + _ ("(ignored)") + ' ')
 182                 else:
 183                         error (msg)
 184
 185         return st
 186
 187
 188 def cleanup_temp ():
 189         if not keep_temp_dir_p:
 190                 if verbose_p:
 191                         progress (_ ('Cleaning up `%s\'') % temp_dir)
 192                 system ('rm -rf %s' % temp_dir)
 193
 194
 195 def set_setting (dict, key, val):
 196         try:
 197                 val = string.atof (val)
 198         except ValueError:
 199                 #warning (_ ("invalid value: %s") % `val`)
 200                 pass
 201
 202         try:
 203                 dict[key].append (val)
 204         except KeyError:
 205                 warning (_ ("no such setting: %s") % `key`)
 206                 dict[key] = [val]
 207
 208 # END Library
 209
 210 option_definitions = [
 211         ('DIR', 'b', 'build-root', _ ("unpack and build in DIR [%s]") % build_root),
 212         ('', 'h', 'help', _ ("this help")),
 213         ('', 'k', 'keep', _ ("keep all output, and name the directory %s") % temp_dir),
 214         ('', 'V', 'verbose', _ ("verbose")),
 215         ('', 'v', 'version', _ ("print version number")),
 216         ('URL', 'u', 'url', _ ("fetch and build URL [%s]") % url),
 217         ('', 'w', 'warranty', _ ("show warranty and copyright")),
 218         ]
 219
 220 def list_file (user, passwd, host, dir, file):
 221         match = []
 222         for i in os.listdir (dir):
 223                 if fnmatch.fnmatch (i, file):
 224                         match.append (i)
 225         return match
 226
 227 list_ = list_file
 228
 229 def list_ftp (user, passwd, host, dir, file):
 230         if user == 'None':
 231                 user = 'anonymous'
 232         if passwd == 'None':
 233                 passwd = program_name
 234
 235         command = '''
 236 open -u%s,%s -p21 %s
 237 set passive-mode off
 238 cd "%s"
 239 ls -1 "%s"
 240 ''' % (user, passwd, host, dir, file)
 241         temp = tempfile.mktemp (program_name)
 242         f = open (temp, 'w')
 243         f.write (command)
 244         f.close ()
 245         p = os.popen ('lftp -f %s' % temp, 'r')
 246         s = p.read ()
 247         status = p.close ()
 248         return string.split (s[:-1], '\n')
 249
 250 def split_url (url):
 251         m = re.match ('([^:/]*)(:)?(/*([^:]*):)?(/*([^@]*)@)?(//([^/]*))?(.*)/(.*)',
 252                       url)
 253         if not m:
 254                 error ("can't parse url: %s " % url)
 255         return (m.group (1), m.group (4), m.group (6), m.group (8),
 256                 m.group (9), m.group (10))
 257
 258 def list_url (url):
 259         s = "list_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 260         return eval (s)
 261
 262 def version_tuple_to_str (t):
 263         if t[3]:
 264                 my = '.%s%d' % (t[3], t[4])
 265         else:
 266                 my = ''
 267         return ('%d.%d.%d' % t[0:3]) + my
 268
 269 def version_str_to_tuple (s):
 270         t = string.split (s, '.')
 271         if len (t) >= 4:
 272                 my_name = t[3][:-1]
 273                 my_number = string.atoi (t[3][-1])
 274         else:
 275                 my_name = None
 276                 my_number = None
 277         return (string.atoi (t[0]), string.atoi (t[1]), string.atoi (t[2]),
 278                 my_name, my_number)
 279
 280 def split_package (p):
 281         m = re.match ('(.*)-([0-9]*.*).tar.gz', p)
 282         return (m.group (1), version_str_to_tuple (m.group (2)))
 283
 284 def join_package (t):
 285         return t[0] + '-' + version_tuple_to_str (t[1])
 286
 287 def copy_file (user, passwd, host, dir, file):
 288         os.system ('cp %s/%s .' % (dir, file))
 289
 290 copy_ = copy_file
 291
 292 def copy_ftp (user, passwd, host, dir, file):
 293         if user == 'None':
 294                 user = 'anonymous'
 295         if passwd == 'None':
 296                 passwd = program_name
 297
 298         command = '''
 299 open -u%s,%s -p21 %s
 300 set passive-mode off
 301 cd "%s"
 302 get "%s"
 303 ''' % (user, passwd, host, dir, file)
 304         temp = tempfile.mktemp (program_name)
 305         f = open (temp, 'w')
 306         f.write (command)
 307         f.close ()
 308         p = os.popen ('lftp -f %s' % temp, 'r')
 309         s = p.read ()
 310         status = p.close ()
 311
 312 def copy_url (url, dir):
 313         os.chdir (dir)
 314         s = "copy_%s ('%s', '%s', '%s', '%s', '%s')" % split_url (url)
 315         eval (s)
 316
 317
 318 def find_latest (url):
 319         progress (_ ("listing %s...") % url)
 320         list = map (split_package, list_url (url))
 321         list.sort ()
 322         return join_package (list[-1])
 323
 324 def build (p):
 325         os.chdir (build_root)
 326         system ('tar xzf %s/%s.tar.gz' % (release_dir, p))
 327         os.chdir (p)
 328         return system ('./configure; make web')
 329
 330 (sh, long) = getopt_args (__main__.option_definitions)
 331 try:
 332         (options, files) = getopt.getopt(sys.argv[1:], sh, long)
 333 except:
 334         help ()
 335         sys.exit (2)
 336
 337 for opt in options:
 338         o = opt[0]
 339         a = opt[1]
 340
 341         if 0:
 342                 pass
 343         elif o == '--help' or o == '-h':
 344                 help ()
 345         elif o == '--buid-root' or o == '-b':
 346                 build_root = a
 347         elif o == '--url' or o == '-u':
 348                 url = a
 349         elif o == '--verbose' or o == '-V':
 350                 verbose_p = 1
 351         elif o == '--version' or o == '-v':
 352                 identify ()
 353                 sys.exit (0)
 354         elif o == '--warranty' or o == '-w':
 355                 warranty ()
 356                 sys.exit (0)
 357
 358 if 1:
 359         latest = find_latest (url)
 360
 361         if os.path.isdir ('%s/%s' % (build_root, latest)):
 362                 progress (_ ("latest is %s") % latest)
 363                 progress (_ ("relax, %s is up to date" % package_name))
 364                 sys.exit (0)
 365
 366         get_base = url[:string.rindex (url, '/')] + '/' + latest
 367         if os.path.isdir (patch_dir):
 368                 os.chdir (patch_dir)
 369                 get = get_base + '.diff.tar.gz'
 370                 progress (_ ("fetching %s...") % get)
 371                 copy_url (get, '.')
 372
 373         if not os.path.isdir (build_dir):
 374                 build_dir = temp_dir
 375         if not os.path.isdir (release_dir):
 376                 release_dir = temp_dir
 377                 setup_temp ()
 378
 379         os.chdir (temp_dir)
 380         get = get_base +  '.tar.gz'
 381         progress (_ ("fetching %s...") % get)
 382         copy_url (get, '.')
 383
 384         if not build (latest):
 385                 os.link ('%s/%s package_name' % (package_name, build_root, latest))
 386                 previous = 'hairy'
 387                 if os.path.isdir ('%s/%s' % (build_root, previous)):
 388                         system ('rm -rf %s/%s' % (build_root, previous))
 389
 390         os.chdir (original_dir)
 391         if release_dir != temp_dir:
 392                 cleanup_temp ()
 393         sys.exit (0)
 394