scripts/musicxml2ly.py

   1 #!@TARGET_PYTHON@
   2
   3 import optparse
   4 import sys
   5 import re
   6 import os
   7 import string
   8 import codecs
   9 import zipfile
  10 import StringIO
  11 from gettext import gettext as _
  12
  13 """
  14 @relocate-preamble@
  15 """
  16
  17 import lilylib as ly
  18
  19 import musicxml
  20 import musicexp
  21
  22 from rational import Rational
  23
  24 # Store command-line options in a global variable, so we can access them everythwere
  25 options = None
  26
  27 def progress (str):
  28     ly.stderr_write (str + '\n')
  29     sys.stderr.flush ()
  30
  31 def error_message (str):
  32     ly.stderr_write (str + '\n')
  33     sys.stderr.flush ()
  34
  35 needed_additional_definitions = []
  36 additional_definitions = {
  37   "snappizzicato": """#(define-markup-command (snappizzicato layout props) ()
  38   (interpret-markup layout props
  39     (markup #:stencil
  40       (ly:stencil-translate-axis
  41         (ly:stencil-add
  42           (make-circle-stencil 0.7 0.1 #f)
  43           (ly:make-stencil
  44             (list 'draw-line 0.1 0 0.1 0 1)
  45             '(-0.1 . 0.1) '(0.1 . 1)
  46           )
  47         )
  48         0.7 X
  49       )
  50     )
  51   )
  52 )"""
  53 }
  54
  55 def round_to_two_digits (val):
  56     return round (val * 100) / 100
  57
  58 def extract_layout_information (tree):
  59     paper = musicexp.Paper ()
  60     defaults = tree.get_maybe_exist_named_child ('defaults')
  61     if not defaults:
  62         return None
  63     tenths = -1
  64     scaling = defaults.get_maybe_exist_named_child ('scaling')
  65     if scaling:
  66         mm = scaling.get_named_child ('millimeters')
  67         mm = string.atof (mm.get_text ())
  68         tn = scaling.get_maybe_exist_named_child ('tenths')
  69         tn = string.atof (tn.get_text ())
  70         tenths = mm / tn
  71         paper.global_staff_size = mm * 72.27 / 25.4
  72     # We need the scaling (i.e. the size of staff tenths for everything!
  73     if tenths < 0:
  74         return None
  75
  76     def from_tenths (txt):
  77         return round_to_two_digits (string.atof (txt) * tenths / 10)
  78     def set_paper_variable (varname, parent, element_name):
  79         el = parent.get_maybe_exist_named_child (element_name)
  80         if el: # Convert to cm from tenths
  81             setattr (paper, varname, from_tenths (el.get_text ()))
  82
  83     pagelayout = defaults.get_maybe_exist_named_child ('page-layout')
  84     if pagelayout:
  85         # TODO: How can one have different margins for even and odd pages???
  86         set_paper_variable ("page_height", pagelayout, 'page-height')
  87         set_paper_variable ("page_width", pagelayout, 'page-width')
  88
  89         pmargins = pagelayout.get_named_children ('page-margins')
  90         for pm in pmargins:
  91             set_paper_variable ("left_margin", pm, 'left-margin')
  92             set_paper_variable ("right_margin", pm, 'right-margin')
  93             set_paper_variable ("bottom_margin", pm, 'bottom-margin')
  94             set_paper_variable ("top_margin", pm, 'top-margin')
  95
  96     systemlayout = defaults.get_maybe_exist_named_child ('system-layout')
  97     if systemlayout:
  98         sl = systemlayout.get_maybe_exist_named_child ('system-margins')
  99         if sl:
 100             set_paper_variable ("system_left_margin", sl, 'left-margin')
 101             set_paper_variable ("system_right_margin", sl, 'right-margin')
 102         set_paper_variable ("system_distance", systemlayout, 'system-distance')
 103         set_paper_variable ("top_system_distance", systemlayout, 'top-system-distance')
 104
 105     stafflayout = defaults.get_named_children ('staff-layout')
 106     for sl in stafflayout:
 107         nr = getattr (sl, 'number', 1)
 108         dist = sl.get_named_child ('staff-distance')
 109         #TODO: the staff distance needs to be set in the Staff context!!!
 110
 111     # TODO: Finish appearance?, music-font?, word-font?, lyric-font*, lyric-language*
 112     appearance = defaults.get_named_child ('appearance')
 113     if appearance:
 114         lws = appearance.get_named_children ('line-width')
 115         for lw in lws:
 116             # Possible types are: beam, bracket, dashes,
 117             #    enclosure, ending, extend, heavy barline, leger,
 118             #    light barline, octave shift, pedal, slur middle, slur tip,
 119             #    staff, stem, tie middle, tie tip, tuplet bracket, and wedge
 120             tp = lw.type
 121             w = from_tenths (lw.get_text  ())
 122             # TODO: Do something with these values!
 123         nss = appearance.get_named_children ('note-size')
 124         for ns in nss:
 125             # Possible types are: cue, grace and large
 126             tp = ns.type
 127             sz = from_tenths (ns.get_text ())
 128             # TODO: Do something with these values!
 129         # <other-appearance> elements have no specified meaning
 130
 131     rawmusicfont = defaults.get_named_child ('music-font')
 132     if rawmusicfont:
 133         # TODO: Convert the font
 134         pass
 135     rawwordfont = defaults.get_named_child ('word-font')
 136     if rawwordfont:
 137         # TODO: Convert the font
 138         pass
 139     rawlyricsfonts = defaults.get_named_children ('lyric-font')
 140     for lyricsfont in rawlyricsfonts:
 141         # TODO: Convert the font
 142         pass
 143
 144     return paper
 145
 146
 147
 148 # score information is contained in the <work>, <identification> or <movement-title> tags
 149 # extract those into a hash, indexed by proper lilypond header attributes
 150 def extract_score_information (tree):
 151     header = musicexp.Header ()
 152     def set_if_exists (field, value):
 153         if value:
 154             header.set_field (field, musicxml.escape_ly_output_string (value))
 155
 156     work = tree.get_maybe_exist_named_child ('work')
 157     if work:
 158         set_if_exists ('title', work.get_work_title ())
 159         set_if_exists ('worknumber', work.get_work_number ())
 160         set_if_exists ('opus', work.get_opus ())
 161     else:
 162         movement_title = tree.get_maybe_exist_named_child ('movement-title')
 163         if movement_title:
 164             set_if_exists ('title', movement_title.get_text ())
 165
 166     identifications = tree.get_named_children ('identification')
 167     for ids in identifications:
 168         set_if_exists ('copyright', ids.get_rights ())
 169         set_if_exists ('composer', ids.get_composer ())
 170         set_if_exists ('arranger', ids.get_arranger ())
 171         set_if_exists ('editor', ids.get_editor ())
 172         set_if_exists ('poet', ids.get_poet ())
 173
 174         set_if_exists ('tagline', ids.get_encoding_software ())
 175         set_if_exists ('encodingsoftware', ids.get_encoding_software ())
 176         set_if_exists ('encodingdate', ids.get_encoding_date ())
 177         set_if_exists ('encoder', ids.get_encoding_person ())
 178         set_if_exists ('encodingdescription', ids.get_encoding_description ())
 179
 180     return header
 181
 182 class PartGroupInfo:
 183     def __init__ (self):
 184         self.start = {}
 185         self.end = {}
 186     def is_empty (self):
 187         return len (self.start) + len (self.end) == 0
 188     def add_start (self, g):
 189         self.start[getattr (g, 'number', "1")] = g
 190     def add_end (self, g):
 191         self.end[getattr (g, 'number', "1")] = g
 192     def print_ly (self, printer):
 193         error_message (_ ("Unprocessed PartGroupInfo %s encountered") % self)
 194     def ly_expression (self):
 195         error_message (_ ("Unprocessed PartGroupInfo %s encountered") % self)
 196         return ''
 197
 198 def staff_attributes_to_string_tunings (mxl_attr):
 199     details = mxl_attr.get_maybe_exist_named_child ('staff-details')
 200     if not details:
 201         return []
 202     lines = 6
 203     staff_lines = details.get_maybe_exist_named_child ('staff-lines')
 204     if staff_lines:
 205         lines = string.atoi (staff_lines.get_text ())
 206
 207     tunings = [0]*lines
 208     staff_tunings = details.get_named_children ('staff-tuning')
 209     for i in staff_tunings:
 210         p = musicexp.Pitch()
 211         line = 0
 212         try:
 213             line = string.atoi (i.line) - 1
 214         except ValueError:
 215             pass
 216         tunings[line] = p
 217
 218         step = i.get_named_child (u'tuning-step')
 219         step = step.get_text ().strip ()
 220         p.step = musicxml_step_to_lily (step)
 221
 222         octave = i.get_named_child (u'tuning-octave')
 223         octave = octave.get_text ().strip ()
 224         p.octave = int (octave) - 4
 225
 226         alter = i.get_named_child (u'tuning-alter')
 227         if alter:
 228             p.alteration = int (alter.get_text ().strip ())
 229     # lilypond seems to use the opposite ordering than MusicXML...
 230     tunings.reverse ()
 231
 232     return tunings
 233
 234
 235 def staff_attributes_to_lily_staff (mxl_attr):
 236     if not mxl_attr:
 237         return musicexp.Staff ()
 238
 239     (staff_id, attributes) = mxl_attr.items ()[0]
 240
 241     # distinguish by clef:
 242     # percussion (percussion and rhythmic), tab, and everything else
 243     clef_sign = None
 244     clef = attributes.get_maybe_exist_named_child ('clef')
 245     if clef:
 246         sign = clef.get_maybe_exist_named_child ('sign')
 247         if sign:
 248             clef_sign = {"percussion": "percussion", "TAB": "tab"}.get (sign.get_text (), None)
 249
 250     lines = 5
 251     details = attributes.get_maybe_exist_named_child ('staff-details')
 252     if details:
 253         staff_lines = details.get_maybe_exist_named_child ('staff-lines')
 254         if staff_lines:
 255             lines = string.atoi (staff_lines.get_text ())
 256
 257     staff = None
 258     if clef_sign == "percussion" and lines == 1:
 259         staff = musicexp.RhythmicStaff ()
 260     elif clef_sign == "percussion":
 261         staff = musicexp.DrumStaff ()
 262         # staff.drum_style_table = ???
 263     elif clef_sign == "tab":
 264         staff = musicexp.TabStaff ()
 265         staff.string_tunings = staff_attributes_to_string_tunings (attributes)
 266         # staff.tablature_format = ???
 267     else:
 268         # TODO: Handle case with lines <> 5!
 269         staff = musicexp.Staff ()
 270
 271     return staff
 272
 273
 274 def extract_score_layout (part_list, staffinfo):
 275     layout = musicexp.StaffGroup (None)
 276     if not part_list:
 277         return layout
 278
 279     def read_score_part (el):
 280         if not isinstance (el, musicxml.Score_part):
 281             return
 282         # Depending on the attributes of the first measure, we create different
 283         # types of staves (Staff, RhythmicStaff, DrumStaff, TabStaff, etc.)
 284         staff = staff_attributes_to_lily_staff (staffinfo.get (el.id, None))
 285         if not staff:
 286             return None
 287         staff.id = el.id
 288         partname = el.get_maybe_exist_named_child ('part-name')
 289         # Finale gives unnamed parts the name "MusicXML Part" automatically!
 290         if partname and partname.get_text() != "MusicXML Part":
 291             staff.instrument_name = partname.get_text ()
 292         if el.get_maybe_exist_named_child ('part-abbreviation'):
 293             staff.short_instrument_name = el.get_maybe_exist_named_child ('part-abbreviation').get_text ()
 294         # TODO: Read in the MIDI device / instrument
 295         return staff
 296
 297     def read_score_group (el):
 298         if not isinstance (el, musicxml.Part_group):
 299             return
 300         group = musicexp.StaffGroup ()
 301         if hasattr (el, 'number'):
 302             id = el.number
 303             group.id = id
 304             #currentgroups_dict[id] = group
 305             #currentgroups.append (id)
 306         if el.get_maybe_exist_named_child ('group-name'):
 307             group.instrument_name = el.get_maybe_exist_named_child ('group-name').get_text ()
 308         if el.get_maybe_exist_named_child ('group-abbreviation'):
 309             group.short_instrument_name = el.get_maybe_exist_named_child ('group-abbreviation').get_text ()
 310         if el.get_maybe_exist_named_child ('group-symbol'):
 311             group.symbol = el.get_maybe_exist_named_child ('group-symbol').get_text ()
 312         if el.get_maybe_exist_named_child ('group-barline'):
 313             group.spanbar = el.get_maybe_exist_named_child ('group-barline').get_text ()
 314         return group
 315
 316
 317     parts_groups = part_list.get_all_children ()
 318
 319     # the start/end group tags are not necessarily ordered correctly and groups
 320     # might even overlap, so we can't go through the children sequentially!
 321
 322     # 1) Replace all Score_part objects by their corresponding Staff objects,
 323     #    also collect all group start/stop points into one PartGroupInfo object
 324     staves = []
 325     group_info = PartGroupInfo ()
 326     for el in parts_groups:
 327         if isinstance (el, musicxml.Score_part):
 328             if not group_info.is_empty ():
 329                 staves.append (group_info)
 330                 group_info = PartGroupInfo ()
 331             staff = read_score_part (el)
 332             if staff:
 333                 staves.append (staff)
 334         elif isinstance (el, musicxml.Part_group):
 335             if el.type == "start":
 336                 group_info.add_start (el)
 337             elif el.type == "stop":
 338                 group_info.add_end (el)
 339     if not group_info.is_empty ():
 340         staves.append (group_info)
 341
 342     # 2) Now, detect the groups:
 343     group_starts = []
 344     pos = 0
 345     while pos < len (staves):
 346         el = staves[pos]
 347         if isinstance (el, PartGroupInfo):
 348             prev_start = 0
 349             if len (group_starts) > 0:
 350                 prev_start = group_starts[-1]
 351             elif len (el.end) > 0: # no group to end here
 352                 el.end = {}
 353             if len (el.end) > 0: # closes an existing group
 354                 ends = el.end.keys ()
 355                 prev_started = staves[prev_start].start.keys ()
 356                 grpid = None
 357                 intersection = filter(lambda x:x in ends, prev_started)
 358                 if len (intersection) > 0:
 359                     grpid = intersection[0]
 360                 else:
 361                     # Close the last started group
 362                     grpid = staves[prev_start].start.keys () [0]
 363                     # Find the corresponding closing tag and remove it!
 364                     j = pos + 1
 365                     foundclosing = False
 366                     while j < len (staves) and not foundclosing:
 367                         if isinstance (staves[j], PartGroupInfo) and staves[j].end.has_key (grpid):
 368                             foundclosing = True
 369                             del staves[j].end[grpid]
 370                             if staves[j].is_empty ():
 371                                 del staves[j]
 372                         j += 1
 373                 grpobj = staves[prev_start].start[grpid]
 374                 group = read_score_group (grpobj)
 375                 # remove the id from both the start and end
 376                 if el.end.has_key (grpid):
 377                     del el.end[grpid]
 378                 del staves[prev_start].start[grpid]
 379                 if el.is_empty ():
 380                     del staves[pos]
 381                 # replace the staves with the whole group
 382                 for j in staves[(prev_start + 1):pos]:
 383                     if j.is_group:
 384                         j.stafftype = "InnerStaffGroup"
 385                     group.append_staff (j)
 386                 del staves[(prev_start + 1):pos]
 387                 staves.insert (prev_start + 1, group)
 388                 # reset pos so that we continue at the correct position
 389                 pos = prev_start
 390                 # remove an empty start group
 391                 if staves[prev_start].is_empty ():
 392                     del staves[prev_start]
 393                     group_starts.remove (prev_start)
 394                     pos -= 1
 395             elif len (el.start) > 0: # starts new part groups
 396                 group_starts.append (pos)
 397         pos += 1
 398
 399     if len (staves) == 1:
 400         return staves[0]
 401     for i in staves:
 402         layout.append_staff (i)
 403     return layout
 404
 405
 406
 407 def musicxml_duration_to_lily (mxl_note):
 408     d = musicexp.Duration ()
 409     # if the note has no Type child, then that method spits out a warning and
 410     # returns 0, i.e. a whole note
 411     d.duration_log = mxl_note.get_duration_log ()
 412
 413     d.dots = len (mxl_note.get_typed_children (musicxml.Dot))
 414     # Grace notes by specification have duration 0, so no time modification
 415     # factor is possible. It even messes up the output with *0/1
 416     if not mxl_note.get_maybe_exist_typed_child (musicxml.Grace):
 417         d.factor = mxl_note._duration / d.get_length ()
 418
 419     return d
 420
 421 def rational_to_lily_duration (rational_len):
 422     d = musicexp.Duration ()
 423     d.duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (rational_len.denominator (), -1)
 424     d.factor = Rational (rational_len.numerator ())
 425     if d.duration_log < 0:
 426         error_message (_ ("Encountered rational duration with denominator %s, "
 427                        "unable to convert to lilypond duration") %
 428                        rational_len.denominator ())
 429         # TODO: Test the above error message
 430         return None
 431     else:
 432         return d
 433
 434 def musicxml_partial_to_lily (partial_len):
 435     if partial_len > 0:
 436         p = musicexp.Partial ()
 437         p.partial = rational_to_lily_duration (partial_len)
 438         return p
 439     else:
 440         return Null
 441
 442 # Detect repeats and alternative endings in the chord event list (music_list)
 443 # and convert them to the corresponding musicexp objects, containing nested
 444 # music
 445 def group_repeats (music_list):
 446     repeat_replaced = True
 447     music_start = 0
 448     i = 0
 449     # Walk through the list of expressions, looking for repeat structure
 450     # (repeat start/end, corresponding endings). If we find one, try to find the
 451     # last event of the repeat, replace the whole structure and start over again.
 452     # For nested repeats, as soon as we encounter another starting repeat bar,
 453     # treat that one first, and start over for the outer repeat.
 454     while repeat_replaced and i < 100:
 455         i += 1
 456         repeat_start = -1  # position of repeat start / end
 457         repeat_end = -1 # position of repeat start / end
 458         repeat_times = 0
 459         ending_start = -1 # position of current ending start
 460         endings = [] # list of already finished endings
 461         pos = 0
 462         last = len (music_list) - 1
 463         repeat_replaced = False
 464         final_marker = 0
 465         while pos < len (music_list) and not repeat_replaced:
 466             e = music_list[pos]
 467             repeat_finished = False
 468             if isinstance (e, RepeatMarker):
 469                 if not repeat_times and e.times:
 470                     repeat_times = e.times
 471                 if e.direction == -1:
 472                     if repeat_end >= 0:
 473                         repeat_finished = True
 474                     else:
 475                         repeat_start = pos
 476                         repeat_end = -1
 477                         ending_start = -1
 478                         endings = []
 479                 elif e.direction == 1:
 480                     if repeat_start < 0:
 481                         repeat_start = 0
 482                     if repeat_end < 0:
 483                         repeat_end = pos
 484                     final_marker = pos
 485             elif isinstance (e, EndingMarker):
 486                 if e.direction == -1:
 487                     if repeat_start < 0:
 488                         repeat_start = 0
 489                     if repeat_end < 0:
 490                         repeat_end = pos
 491                     ending_start = pos
 492                 elif e.direction == 1:
 493                     if ending_start < 0:
 494                         ending_start = 0
 495                     endings.append ([ending_start, pos])
 496                     ending_start = -1
 497                     final_marker = pos
 498             elif not isinstance (e, musicexp.BarLine):
 499                 # As soon as we encounter an element when repeat start and end
 500                 # is set and we are not inside an alternative ending,
 501                 # this whole repeat structure is finished => replace it
 502                 if repeat_start >= 0 and repeat_end > 0 and ending_start < 0:
 503                     repeat_finished = True
 504
 505             # Finish off all repeats without explicit ending bar (e.g. when
 506             # we convert only one page of a multi-page score with repeats)
 507             if pos == last and repeat_start >= 0:
 508                 repeat_finished = True
 509                 final_marker = pos
 510                 if repeat_end < 0:
 511                     repeat_end = pos
 512                 if ending_start >= 0:
 513                     endings.append ([ending_start, pos])
 514                     ending_start = -1
 515
 516             if repeat_finished:
 517                 # We found the whole structure replace it!
 518                 r = musicexp.RepeatedMusic ()
 519                 if repeat_times <= 0:
 520                     repeat_times = 2
 521                 r.repeat_count = repeat_times
 522                 # don't erase the first element for "implicit" repeats (i.e. no
 523                 # starting repeat bars at the very beginning)
 524                 start = repeat_start+1
 525                 if repeat_start == music_start:
 526                     start = music_start
 527                 r.set_music (music_list[start:repeat_end])
 528                 for (start, end) in endings:
 529                     s = musicexp.SequentialMusic ()
 530                     s.elements = music_list[start+1:end]
 531                     r.add_ending (s)
 532                 del music_list[repeat_start:final_marker+1]
 533                 music_list.insert (repeat_start, r)
 534                 repeat_replaced = True
 535             pos += 1
 536         # TODO: Implement repeats until the end without explicit ending bar
 537     return music_list
 538
 539
 540
 541 def group_tuplets (music_list, events):
 542
 543
 544     """Collect Musics from
 545     MUSIC_LIST demarcated by EVENTS_LIST in TimeScaledMusic objects.
 546     """
 547
 548
 549     indices = []
 550
 551     j = 0
 552     for (ev_chord, tuplet_elt, fraction) in events:
 553         while (j < len (music_list)):
 554             if music_list[j] == ev_chord:
 555                 break
 556             j += 1
 557         if tuplet_elt.type == 'start':
 558             indices.append ((j, None, fraction))
 559         elif tuplet_elt.type == 'stop':
 560             indices[-1] = (indices[-1][0], j, indices[-1][2])
 561
 562     new_list = []
 563     last = 0
 564     for (i1, i2, frac) in indices:
 565         if i1 >= i2:
 566             continue
 567
 568         new_list.extend (music_list[last:i1])
 569         seq = musicexp.SequentialMusic ()
 570         last = i2 + 1
 571         seq.elements = music_list[i1:last]
 572
 573         tsm = musicexp.TimeScaledMusic ()
 574         tsm.element = seq
 575
 576         tsm.numerator = frac[0]
 577         tsm.denominator  = frac[1]
 578
 579         new_list.append (tsm)
 580
 581     new_list.extend (music_list[last:])
 582     return new_list
 583
 584
 585 def musicxml_clef_to_lily (attributes):
 586     change = musicexp.ClefChange ()
 587     (change.type, change.position, change.octave) = attributes.get_clef_information ()
 588     return change
 589
 590 def musicxml_time_to_lily (attributes):
 591     (beats, type) = attributes.get_time_signature ()
 592
 593     change = musicexp.TimeSignatureChange()
 594     change.fraction = (beats, type)
 595
 596     return change
 597
 598 def musicxml_key_to_lily (attributes):
 599     start_pitch  = musicexp.Pitch ()
 600     (fifths, mode) = attributes.get_key_signature ()
 601     try:
 602         (n,a) = {
 603             'major' : (0,0),
 604             'minor' : (5,0),
 605             }[mode]
 606         start_pitch.step = n
 607         start_pitch.alteration = a
 608     except  KeyError:
 609         error_message (_ ("unknown mode %s, expecting 'major' or 'minor'") % mode)
 610
 611     fifth = musicexp.Pitch()
 612     fifth.step = 4
 613     if fifths < 0:
 614         fifths *= -1
 615         fifth.step *= -1
 616         fifth.normalize ()
 617
 618     for x in range (fifths):
 619         start_pitch = start_pitch.transposed (fifth)
 620
 621     start_pitch.octave = 0
 622
 623     change = musicexp.KeySignatureChange()
 624     change.mode = mode
 625     change.tonic = start_pitch
 626     return change
 627
 628 def musicxml_attributes_to_lily (attrs):
 629     elts = []
 630     attr_dispatch =  {
 631         'clef': musicxml_clef_to_lily,
 632         'time': musicxml_time_to_lily,
 633         'key': musicxml_key_to_lily
 634     }
 635     for (k, func) in attr_dispatch.items ():
 636         children = attrs.get_named_children (k)
 637         if children:
 638             elts.append (func (attrs))
 639
 640     return elts
 641
 642 class Marker (musicexp.Music):
 643     def __init__ (self):
 644         self.direction = 0
 645         self.event = None
 646     def print_ly (self, printer):
 647         ly.stderr_write (_ ("Encountered unprocessed marker %s\n") % self)
 648         pass
 649     def ly_expression (self):
 650         return ""
 651 class RepeatMarker (Marker):
 652     def __init__ (self):
 653         Marker.__init__ (self)
 654         self.times = 0
 655 class EndingMarker (Marker):
 656     pass
 657
 658 # Convert the <barline> element to musicxml.BarLine (for non-standard barlines)
 659 # and to RepeatMarker and EndingMarker objects for repeat and
 660 # alternatives start/stops
 661 def musicxml_barline_to_lily (barline):
 662     # retval contains all possible markers in the order:
 663     # 0..bw_ending, 1..bw_repeat, 2..barline, 3..fw_repeat, 4..fw_ending
 664     retval = {}
 665     bartype_element = barline.get_maybe_exist_named_child ("bar-style")
 666     repeat_element = barline.get_maybe_exist_named_child ("repeat")
 667     ending_element = barline.get_maybe_exist_named_child ("ending")
 668
 669     bartype = None
 670     if bartype_element:
 671         bartype = bartype_element.get_text ()
 672
 673     if repeat_element and hasattr (repeat_element, 'direction'):
 674         repeat = RepeatMarker ()
 675         repeat.direction = {"forward": -1, "backward": 1}.get (repeat_element.direction, 0)
 676
 677         if ( (repeat_element.direction == "forward" and bartype == "heavy-light") or
 678              (repeat_element.direction == "backward" and bartype == "light-heavy") ):
 679             bartype = None
 680         if hasattr (repeat_element, 'times'):
 681             try:
 682                 repeat.times = int (repeat_element.times)
 683             except ValueError:
 684                 repeat.times = 2
 685         repeat.event = barline
 686         if repeat.direction == -1:
 687             retval[3] = repeat
 688         else:
 689             retval[1] = repeat
 690
 691     if ending_element and hasattr (ending_element, 'type'):
 692         ending = EndingMarker ()
 693         ending.direction = {"start": -1, "stop": 1, "discontinue": 1}.get (ending_element.type, 0)
 694         ending.event = barline
 695         if ending.direction == -1:
 696             retval[4] = ending
 697         else:
 698             retval[0] = ending
 699
 700     if bartype:
 701         b = musicexp.BarLine ()
 702         b.type = bartype
 703         retval[2] = b
 704
 705     return retval.values ()
 706
 707 spanner_event_dict = {
 708     'beam' : musicexp.BeamEvent,
 709     'dashes' : musicexp.TextSpannerEvent,
 710     'bracket' : musicexp.BracketSpannerEvent,
 711     'glissando' : musicexp.GlissandoEvent,
 712     'octave-shift' : musicexp.OctaveShiftEvent,
 713     'pedal' : musicexp.PedalEvent,
 714     'slide' : musicexp.GlissandoEvent,
 715     'slur' : musicexp.SlurEvent,
 716     'wavy-line' : musicexp.TrillSpanEvent,
 717     'wedge' : musicexp.HairpinEvent
 718 }
 719 spanner_type_dict = {
 720     'start': -1,
 721     'begin': -1,
 722     'crescendo': -1,
 723     'decreschendo': -1,
 724     'diminuendo': -1,
 725     'continue': 0,
 726     'change': 0,
 727     'up': -1,
 728     'down': -1,
 729     'stop': 1,
 730     'end' : 1
 731 }
 732
 733 def musicxml_spanner_to_lily_event (mxl_event):
 734     ev = None
 735
 736     name = mxl_event.get_name()
 737     func = spanner_event_dict.get (name)
 738     if func:
 739         ev = func()
 740     else:
 741         error_message (_ ('unknown span event %s') % mxl_event)
 742
 743
 744     type = mxl_event.get_type ()
 745     span_direction = spanner_type_dict.get (type)
 746     # really check for None, because some types will be translated to 0, which
 747     # would otherwise also lead to the unknown span warning
 748     if span_direction != None:
 749         ev.span_direction = span_direction
 750     else:
 751         error_message (_ ('unknown span type %s for %s') % (type, name))
 752
 753     ev.set_span_type (type)
 754     ev.line_type = getattr (mxl_event, 'line-type', 'solid')
 755
 756     # assign the size, which is used for octave-shift, etc.
 757     ev.size = mxl_event.get_size ()
 758
 759     return ev
 760
 761 def musicxml_direction_to_indicator (direction):
 762     return { "above": 1, "upright": 1, "up": 1, "below": -1, "downright": -1, "down": -1, "inverted": -1 }.get (direction, 0)
 763
 764 def musicxml_fermata_to_lily_event (mxl_event):
 765     ev = musicexp.ArticulationEvent ()
 766     txt = mxl_event.get_text ()
 767     # The contents of the element defined the shape, possible are normal, angled and square
 768     ev.type = { "angled": "shortfermata", "square": "longfermata" }.get (txt, "fermata")
 769     if hasattr (mxl_event, 'type'):
 770       dir = musicxml_direction_to_indicator (mxl_event.type)
 771       if dir and options.convert_directions:
 772         ev.force_direction = dir
 773     return ev
 774
 775 def musicxml_arpeggiate_to_lily_event (mxl_event):
 776     ev = musicexp.ArpeggioEvent ()
 777     ev.direction = musicxml_direction_to_indicator (getattr (mxl_event, 'direction', None))
 778     return ev
 779
 780 def musicxml_nonarpeggiate_to_lily_event (mxl_event):
 781     ev = musicexp.ArpeggioEvent ()
 782     ev.non_arpeggiate = True
 783     ev.direction = musicxml_direction_to_indicator (getattr (mxl_event, 'direction', None))
 784     return ev
 785
 786 def musicxml_tremolo_to_lily_event (mxl_event):
 787     ev = musicexp.TremoloEvent ()
 788     txt = mxl_event.get_text ()
 789     if txt:
 790       ev.bars = txt
 791     else:
 792       ev.bars = "3"
 793     return ev
 794
 795 def musicxml_falloff_to_lily_event (mxl_event):
 796     ev = musicexp.BendEvent ()
 797     ev.alter = -4
 798     return ev
 799
 800 def musicxml_doit_to_lily_event (mxl_event):
 801     ev = musicexp.BendEvent ()
 802     ev.alter = 4
 803     return ev
 804
 805 def musicxml_bend_to_lily_event (mxl_event):
 806     ev = musicexp.BendEvent ()
 807     ev.alter = mxl_event.bend_alter ()
 808     return ev
 809
 810 def musicxml_caesura_to_lily_event (mxl_event):
 811     ev = musicexp.MarkupEvent ()
 812     # FIXME: default to straight or curved caesura?
 813     ev.contents = "\\musicglyph #\"scripts.caesura.straight\""
 814     ev.force_direction = 1
 815     return ev
 816
 817 def musicxml_fingering_event (mxl_event):
 818     ev = musicexp.ShortArticulationEvent ()
 819     ev.type = mxl_event.get_text ()
 820     return ev
 821
 822 def musicxml_snappizzicato_event (mxl_event):
 823     needed_additional_definitions.append ("snappizzicato")
 824     ev = musicexp.MarkupEvent ()
 825     ev.contents = "\\snappizzicato"
 826     return ev
 827
 828 def musicxml_string_event (mxl_event):
 829     ev = musicexp.NoDirectionArticulationEvent ()
 830     ev.type = mxl_event.get_text ()
 831     return ev
 832
 833 def musicxml_accidental_mark (mxl_event):
 834     ev = musicexp.MarkupEvent ()
 835     contents = { "sharp": "\\sharp",
 836       "natural": "\\natural",
 837       "flat": "\\flat",
 838       "double-sharp": "\\doublesharp",
 839       "sharp-sharp": "\\sharp\\sharp",
 840       "flat-flat": "\\flat\\flat",
 841       "flat-flat": "\\doubleflat",
 842       "natural-sharp": "\\natural\\sharp",
 843       "natural-flat": "\\natural\\flat",
 844       "quarter-flat": "\\semiflat",
 845       "quarter-sharp": "\\semisharp",
 846       "three-quarters-flat": "\\sesquiflat",
 847       "three-quarters-sharp": "\\sesquisharp",
 848     }.get (mxl_event.get_text ())
 849     if contents:
 850         ev.contents = contents
 851         return ev
 852     else:
 853         return None
 854
 855 # translate articulations, ornaments and other notations into ArticulationEvents
 856 # possible values:
 857 #   -) string  (ArticulationEvent with that name)
 858 #   -) function (function(mxl_event) needs to return a full ArticulationEvent-derived object
 859 #   -) (class, name)  (like string, only that a different class than ArticulationEvent is used)
 860 # TODO: Some translations are missing!
 861 articulations_dict = {
 862     "accent": (musicexp.ShortArticulationEvent, ">"), # or "accent"
 863     "accidental-mark": musicxml_accidental_mark,
 864     "bend": musicxml_bend_to_lily_event,
 865     "breath-mark": (musicexp.NoDirectionArticulationEvent, "breathe"),
 866     "caesura": musicxml_caesura_to_lily_event,
 867     #"delayed-turn": "?",
 868     "detached-legato": (musicexp.ShortArticulationEvent, "_"), # or "portato"
 869     "doit": musicxml_doit_to_lily_event,
 870     #"double-tongue": "",
 871     "down-bow": "downbow",
 872     "falloff": musicxml_falloff_to_lily_event,
 873     "fingering": musicxml_fingering_event,
 874     #"fingernails": "",
 875     #"fret": "",
 876     #"hammer-on": "",
 877     "harmonic": "flageolet",
 878     #"heel": "",
 879     "inverted-mordent": "prall",
 880     "inverted-turn": "reverseturn",
 881     "mordent": "mordent",
 882     "open-string": "open",
 883     #"plop": "",
 884     #"pluck": "",
 885     #"pull-off": "",
 886     #"schleifer": "?",
 887     #"scoop": "",
 888     #"shake": "?",
 889     "snap-pizzicato": musicxml_snappizzicato_event,
 890     #"spiccato": "",
 891     "staccatissimo": (musicexp.ShortArticulationEvent, "|"), # or "staccatissimo"
 892     "staccato": (musicexp.ShortArticulationEvent, "."), # or "staccato"
 893     "stopped": (musicexp.ShortArticulationEvent, "+"), # or "stopped"
 894     #"stress": "",
 895     "string": musicxml_string_event,
 896     "strong-accent": (musicexp.ShortArticulationEvent, "^"), # or "marcato"
 897     #"tap": "",
 898     "tenuto": (musicexp.ShortArticulationEvent, "-"), # or "tenuto"
 899     "thumb-position": "thumb",
 900     #"toe": "",
 901     "turn": "turn",
 902     "tremolo": musicxml_tremolo_to_lily_event,
 903     "trill-mark": "trill",
 904     #"triple-tongue": "",
 905     #"unstress": ""
 906     "up-bow": "upbow",
 907     #"wavy-line": "?",
 908 }
 909 articulation_spanners = [ "wavy-line" ]
 910
 911 def musicxml_articulation_to_lily_event (mxl_event):
 912     # wavy-line elements are treated as trill spanners, not as articulation ornaments
 913     if mxl_event.get_name () in articulation_spanners:
 914         return musicxml_spanner_to_lily_event (mxl_event)
 915
 916     tmp_tp = articulations_dict.get (mxl_event.get_name ())
 917     if not tmp_tp:
 918         return
 919
 920     if isinstance (tmp_tp, str):
 921         ev = musicexp.ArticulationEvent ()
 922         ev.type = tmp_tp
 923     elif isinstance (tmp_tp, tuple):
 924         ev = tmp_tp[0] ()
 925         ev.type = tmp_tp[1]
 926     else:
 927         ev = tmp_tp (mxl_event)
 928
 929     # Some articulations use the type attribute, other the placement...
 930     dir = None
 931     if hasattr (mxl_event, 'type') and options.convert_directions:
 932         dir = musicxml_direction_to_indicator (mxl_event.type)
 933     if hasattr (mxl_event, 'placement') and options.convert_directions:
 934         dir = musicxml_direction_to_indicator (mxl_event.placement)
 935     if dir:
 936         ev.force_direction = dir
 937     return ev
 938
 939
 940
 941 def musicxml_dynamics_to_lily_event (dynentry):
 942     dynamics_available = (
 943         "ppppp", "pppp", "ppp", "pp", "p", "mp", "mf",
 944         "f", "ff", "fff", "ffff", "fp", "sf", "sff", "sp", "spp", "sfz", "rfz" )
 945     dynamicsname = dynentry.get_name ()
 946     if dynamicsname == "other-dynamics":
 947         dynamicsname = dynentry.get_text ()
 948     if not dynamicsname or dynamicsname=="#text":
 949         return
 950
 951     if not dynamicsname in dynamics_available:
 952         # Get rid of - in tag names (illegal in ly tags!)
 953         dynamicstext = dynamicsname
 954         dynamicsname = string.replace (dynamicsname, "-", "")
 955         additional_definitions[dynamicsname] = dynamicsname + \
 956               " = #(make-dynamic-script \"" + dynamicstext + "\")"
 957         needed_additional_definitions.append (dynamicsname)
 958     event = musicexp.DynamicsEvent ()
 959     event.type = dynamicsname
 960     return event
 961
 962 # Convert single-color two-byte strings to numbers 0.0 - 1.0
 963 def hexcolorval_to_nr (hex_val):
 964     try:
 965         v = int (hex_val, 16)
 966         if v == 255:
 967             v = 256
 968         return v / 256.
 969     except ValueError:
 970         return 0.
 971
 972 def hex_to_color (hex_val):
 973     res = re.match (r'#([0-9a-f][0-9a-f]|)([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])$', hex_val, re.IGNORECASE)
 974     if res:
 975         return map (lambda x: hexcolorval_to_nr (x), res.group (2,3,4))
 976     else:
 977         return None
 978
 979 def musicxml_words_to_lily_event (words):
 980     event = musicexp.TextEvent ()
 981     text = words.get_text ()
 982     text = re.sub ('^ *\n? *', '', text)
 983     text = re.sub (' *\n? *$', '', text)
 984     event.text = text
 985
 986     if hasattr (words, 'default-y') and options.convert_directions:
 987         offset = getattr (words, 'default-y')
 988         try:
 989             off = string.atoi (offset)
 990             if off > 0:
 991                 event.force_direction = 1
 992             else:
 993                 event.force_direction = -1
 994         except ValueError:
 995             event.force_direction = 0
 996
 997     if hasattr (words, 'font-weight'):
 998         font_weight = { "normal": '', "bold": '\\bold' }.get (getattr (words, 'font-weight'), '')
 999         if font_weight:
1000             event.markup += font_weight
1001
1002     if hasattr (words, 'font-size'):
1003         size = getattr (words, 'font-size')
1004         font_size = {
1005             "xx-small": '\\teeny',
1006             "x-small": '\\tiny',
1007             "small": '\\small',
1008             "medium": '',
1009             "large": '\\large',
1010             "x-large": '\\huge',
1011             "xx-large": '\\bigger\\huge'
1012         }.get (size, '')
1013         if font_size:
1014             event.markup += font_size
1015
1016     if hasattr (words, 'color'):
1017         color = getattr (words, 'color')
1018         rgb = hex_to_color (color)
1019         if rgb:
1020             event.markup += "\\with-color #(rgb-color %s %s %s)" % (rgb[0], rgb[1], rgb[2])
1021
1022     if hasattr (words, 'font-style'):
1023         font_style = { "italic": '\\italic' }.get (getattr (words, 'font-style'), '')
1024         if font_style:
1025             event.markup += font_style
1026
1027     # TODO: How should I best convert the font-family attribute?
1028
1029     # TODO: How can I represent the underline, overline and line-through
1030     #       attributes in Lilypond? Values of these attributes indicate
1031     #       the number of lines
1032
1033     return event
1034
1035
1036 # convert accordion-registration to lilypond.
1037 # Since lilypond does not have any built-in commands, we need to create
1038 # the markup commands manually and define our own variables.
1039 # Idea was taken from: http://lsr.dsi.unimi.it/LSR/Item?id=194
1040 def musicxml_accordion_to_markup (mxl_event):
1041     commandname = "accReg"
1042     command = ""
1043
1044     high = mxl_event.get_maybe_exist_named_child ('accordion-high')
1045     if high:
1046         commandname += "H"
1047         command += """\\combine
1048           \\raise #2.5 \\musicglyph #\"accordion.accDot\"
1049           """
1050     middle = mxl_event.get_maybe_exist_named_child ('accordion-middle')
1051     if middle:
1052         # By default, use one dot (when no or invalid content is given). The
1053         # MusicXML spec is quiet about this case...
1054         txt = 1
1055         try:
1056           txt = string.atoi (middle.get_text ())
1057         except ValueError:
1058             pass
1059         if txt == 3:
1060             commandname += "MMM"
1061             command += """\\combine
1062           \\raise #1.5 \\musicglyph #\"accordion.accDot\"
1063           \\combine
1064           \\raise #1.5 \\translate #(cons 1 0) \\musicglyph #\"accordion.accDot\"
1065           \\combine
1066           \\raise #1.5 \\translate #(cons -1 0) \\musicglyph #\"accordion.accDot\"
1067           """
1068         elif txt == 2:
1069             commandname += "MM"
1070             command += """\\combine
1071           \\raise #1.5 \\translate #(cons 0.5 0) \\musicglyph #\"accordion.accDot\"
1072           \\combine
1073           \\raise #1.5 \\translate #(cons -0.5 0) \\musicglyph #\"accordion.accDot\"
1074           """
1075         elif not txt <= 0:
1076             commandname += "M"
1077             command += """\\combine
1078           \\raise #1.5 \\musicglyph #\"accordion.accDot\"
1079           """
1080     low = mxl_event.get_maybe_exist_named_child ('accordion-low')
1081     if low:
1082         commandname += "L"
1083         command += """\\combine
1084           \\raise #0.5 \musicglyph #\"accordion.accDot\"
1085           """
1086
1087     command += "\musicglyph #\"accordion.accDiscant\""
1088     command = "\\markup { \\normalsize %s }" % command
1089     # Define the newly built command \accReg[H][MMM][L]
1090     additional_definitions[commandname] = "%s = %s" % (commandname, command)
1091     needed_additional_definitions.append (commandname)
1092     return "\\%s" % commandname
1093
1094 def musicxml_accordion_to_ly (mxl_event):
1095     txt = musicxml_accordion_to_markup (mxl_event)
1096     if txt:
1097         ev = musicexp.MarkEvent (txt)
1098         return ev
1099     return
1100
1101
1102 def musicxml_rehearsal_to_ly_mark (mxl_event):
1103     text = mxl_event.get_text ()
1104     if not text:
1105         return
1106     # default is boxed rehearsal marks!
1107     encl = "box"
1108     if hasattr (mxl_event, 'enclosure'):
1109         encl = {"none": None, "square": "box", "circle": "circle" }.get (mxl_event.enclosure, None)
1110     if encl:
1111         text = "\\%s { %s }" % (encl, text)
1112     ev = musicexp.MarkEvent ("\\markup { %s }" % text)
1113     return ev
1114
1115 # translate directions into Events, possible values:
1116 #   -) string  (MarkEvent with that command)
1117 #   -) function (function(mxl_event) needs to return a full Event-derived object
1118 #   -) (class, name)  (like string, only that a different class than MarkEvent is used)
1119 directions_dict = {
1120     'accordion-registration' : musicxml_accordion_to_ly,
1121     'coda' : (musicexp.MusicGlyphMarkEvent, "coda"),
1122 #     'damp' : ???
1123 #     'damp-all' : ???
1124 #     'eyeglasses': ??????
1125 #     'harp-pedals' :
1126 #     'image' :
1127 #     'metronome' :
1128     'rehearsal' : musicxml_rehearsal_to_ly_mark,
1129 #     'scordatura' :
1130     'segno' : (musicexp.MusicGlyphMarkEvent, "segno"),
1131     'words' : musicxml_words_to_lily_event,
1132 }
1133 directions_spanners = [ 'octave-shift', 'pedal', 'wedge', 'dashes', 'bracket' ]
1134
1135 def musicxml_direction_to_lily (n):
1136     # TODO: Handle the <staff> element!
1137     res = []
1138     # placement applies to all children!
1139     dir = None
1140     if hasattr (n, 'placement') and options.convert_directions:
1141         dir = musicxml_direction_to_indicator (n.placement)
1142     dirtype_children = []
1143     # TODO: The direction-type is used for grouping (e.g. dynamics with text),
1144     #       so we can't simply flatten them out!
1145     for dt in n.get_typed_children (musicxml.DirType):
1146         dirtype_children += dt.get_all_children ()
1147
1148     for entry in dirtype_children:
1149         # backets, dashes, octave shifts. pedal marks, hairpins etc. are spanners:
1150         if entry.get_name() in directions_spanners:
1151             event = musicxml_spanner_to_lily_event (entry)
1152             if event:
1153                 res.append (event)
1154             continue
1155
1156         # now treat all the "simple" ones, that can be translated using the dict
1157         ev = None
1158         tmp_tp = directions_dict.get (entry.get_name (), None)
1159         if isinstance (tmp_tp, str): # string means MarkEvent
1160             ev = musicexp.MarkEvent (tmp_tp)
1161         elif isinstance (tmp_tp, tuple): # tuple means (EventClass, "text")
1162             ev = tmp_tp[0] (tmp_tp[1])
1163         elif tmp_tp:
1164             ev = tmp_tp (entry)
1165         if ev:
1166             # TODO: set the correct direction! Unfortunately, \mark in ly does
1167             #       not seem to support directions!
1168             res.append (ev)
1169             continue
1170
1171         if entry.get_name () == "dynamics":
1172             for dynentry in entry.get_all_children ():
1173                 ev = musicxml_dynamics_to_lily_event (dynentry)
1174                 if ev:
1175                     res.append (ev)
1176
1177     return res
1178
1179 def musicxml_frame_to_lily_event (frame):
1180     ev = musicexp.FretEvent ()
1181     ev.strings = frame.get_strings ()
1182     ev.frets = frame.get_frets ()
1183     #offset = frame.get_first_fret () - 1
1184     barre = []
1185     for fn in frame.get_named_children ('frame-note'):
1186         fret = fn.get_fret ()
1187         if fret <= 0:
1188             fret = "o"
1189         el = [ fn.get_string (), fret ]
1190         fingering = fn.get_fingering ()
1191         if fingering >= 0:
1192             el.append (fingering)
1193         ev.elements.append (el)
1194         b = fn.get_barre ()
1195         if b == 'start':
1196             barre[0] = el[0] # start string
1197             barre[2] = el[1] # fret
1198         elif b == 'stop':
1199             barre[1] = el[0] # end string
1200     if barre:
1201         ev.barre = barre
1202     return ev
1203
1204 def musicxml_harmony_to_lily (n):
1205     res = []
1206     for f in n.get_named_children ('frame'):
1207         ev = musicxml_frame_to_lily_event (f)
1208         if ev:
1209             res.append (ev)
1210
1211     return res
1212
1213 instrument_drumtype_dict = {
1214     'Acoustic Snare Drum': 'acousticsnare',
1215     'Side Stick': 'sidestick',
1216     'Open Triangle': 'opentriangle',
1217     'Mute Triangle': 'mutetriangle',
1218     'Tambourine': 'tambourine',
1219     'Bass Drum': 'bassdrum',
1220 }
1221
1222 def musicxml_note_to_lily_main_event (n):
1223     pitch  = None
1224     duration = None
1225     event = None
1226
1227     mxl_pitch = n.get_maybe_exist_typed_child (musicxml.Pitch)
1228     if mxl_pitch:
1229         pitch = musicxml_pitch_to_lily (mxl_pitch)
1230         event = musicexp.NoteEvent ()
1231         event.pitch = pitch
1232
1233         acc = n.get_maybe_exist_named_child ('accidental')
1234         if acc:
1235             # let's not force accs everywhere.
1236             event.cautionary = acc.editorial
1237
1238     elif n.get_maybe_exist_typed_child (musicxml.Unpitched):
1239         # Unpitched elements have display-step and can also have
1240         # display-octave.
1241         unpitched = n.get_maybe_exist_typed_child (musicxml.Unpitched)
1242         event = musicexp.NoteEvent ()
1243         event.pitch = musicxml_unpitched_to_lily (unpitched)
1244
1245     elif n.get_maybe_exist_typed_child (musicxml.Rest):
1246         # rests can have display-octave and display-step, which are
1247         # treated like an ordinary note pitch
1248         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1249         event = musicexp.RestEvent ()
1250         pitch = musicxml_restdisplay_to_lily (rest)
1251         event.pitch = pitch
1252
1253     elif n.instrument_name:
1254         event = musicexp.NoteEvent ()
1255         drum_type = instrument_drumtype_dict.get (n.instrument_name)
1256         if drum_type:
1257             event.drum_type = drum_type
1258         else:
1259             n.message ("drum %s type unknown, please add to instrument_drumtype_dict" % n.instrument_name)
1260             event.drum_type = 'acousticsnare'
1261
1262     else:
1263         n.message ("cannot find suitable event")
1264
1265     if event:
1266         event.duration = musicxml_duration_to_lily (n)
1267
1268     return event
1269
1270
1271 ## TODO
1272 class NegativeSkip:
1273     def __init__ (self, here, dest):
1274         self.here = here
1275         self.dest = dest
1276
1277 class LilyPondVoiceBuilder:
1278     def __init__ (self):
1279         self.elements = []
1280         self.pending_dynamics = []
1281         self.end_moment = Rational (0)
1282         self.begin_moment = Rational (0)
1283         self.pending_multibar = Rational (0)
1284         self.ignore_skips = False
1285
1286     def _insert_multibar (self):
1287         r = musicexp.MultiMeasureRest ()
1288         r.duration = musicexp.Duration()
1289         r.duration.duration_log = 0
1290         r.duration.factor = self.pending_multibar
1291         self.elements.append (r)
1292         self.begin_moment = self.end_moment
1293         self.end_moment = self.begin_moment + self.pending_multibar
1294         self.pending_multibar = Rational (0)
1295
1296     def add_multibar_rest (self, duration):
1297         self.pending_multibar += duration
1298
1299     def set_duration (self, duration):
1300         self.end_moment = self.begin_moment + duration
1301     def current_duration (self):
1302         return self.end_moment - self.begin_moment
1303
1304     def add_music (self, music, duration):
1305         assert isinstance (music, musicexp.Music)
1306         if self.pending_multibar > Rational (0):
1307             self._insert_multibar ()
1308
1309         self.elements.append (music)
1310         self.begin_moment = self.end_moment
1311         self.set_duration (duration)
1312
1313         # Insert all pending dynamics right after the note/rest:
1314         if isinstance (music, musicexp.ChordEvent) and self.pending_dynamics:
1315             for d in self.pending_dynamics:
1316                 music.append (d)
1317             self.pending_dynamics = []
1318
1319     # Insert some music command that does not affect the position in the measure
1320     def add_command (self, command):
1321         assert isinstance (command, musicexp.Music)
1322         if self.pending_multibar > Rational (0):
1323             self._insert_multibar ()
1324         self.elements.append (command)
1325     def add_barline (self, barline):
1326         # TODO: Implement merging of default barline and custom bar line
1327         self.add_music (barline, Rational (0))
1328     def add_partial (self, command):
1329         self.ignore_skips = True
1330         self.add_command (command)
1331
1332     def add_dynamics (self, dynamic):
1333         # store the dynamic item(s) until we encounter the next note/rest:
1334         self.pending_dynamics.append (dynamic)
1335
1336     def add_bar_check (self, number):
1337         b = musicexp.BarLine ()
1338         b.bar_number = number
1339         self.add_barline (b)
1340
1341     def jumpto (self, moment):
1342         current_end = self.end_moment + self.pending_multibar
1343         diff = moment - current_end
1344
1345         if diff < Rational (0):
1346             error_message (_ ('Negative skip %s') % diff)
1347             diff = Rational (0)
1348
1349         if diff > Rational (0) and not (self.ignore_skips and moment == 0):
1350             skip = musicexp.SkipEvent()
1351             duration_factor = 1
1352             duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (diff.denominator (), -1)
1353             duration_dots = 0
1354             if duration_log > 0: # denominator is a power of 2...
1355                 if diff.numerator () == 3:
1356                     duration_log -= 1
1357                     duration_dots = 1
1358                 else:
1359                     duration_factor = Rational (diff.numerator ())
1360             else:
1361                 duration_log = 0
1362                 duration_factor = diff
1363             skip.duration.duration_log = duration_log
1364             skip.duration.factor = duration_factor
1365             skip.duration.dots = duration_dots
1366
1367             evc = musicexp.ChordEvent ()
1368             evc.elements.append (skip)
1369             self.add_music (evc, diff)
1370
1371         if diff > Rational (0) and moment == 0:
1372             self.ignore_skips = False
1373
1374     def last_event_chord (self, starting_at):
1375
1376         value = None
1377
1378         # if the position matches, find the last ChordEvent, do not cross a bar line!
1379         at = len( self.elements ) - 1
1380         while (at >= 0 and
1381                not isinstance (self.elements[at], musicexp.ChordEvent) and
1382                not isinstance (self.elements[at], musicexp.BarLine)):
1383             at -= 1
1384
1385         if (self.elements
1386             and at >= 0
1387             and isinstance (self.elements[at], musicexp.ChordEvent)
1388             and self.begin_moment == starting_at):
1389             value = self.elements[at]
1390         else:
1391             self.jumpto (starting_at)
1392             value = None
1393         return value
1394
1395     def correct_negative_skip (self, goto):
1396         self.end_moment = goto
1397         self.begin_moment = goto
1398         evc = musicexp.ChordEvent ()
1399         self.elements.append (evc)
1400
1401
1402 class VoiceData:
1403     def __init__ (self):
1404         self.voicedata = None
1405         self.ly_voice = None
1406         self.lyrics_dict = {}
1407         self.lyrics_order = []
1408
1409 def musicxml_step_to_lily (step):
1410     if step:
1411         return (ord (step) - ord ('A') + 7 - 2) % 7
1412     else:
1413         return None
1414
1415 def musicxml_voice_to_lily_voice (voice):
1416     tuplet_events = []
1417     modes_found = {}
1418     lyrics = {}
1419     return_value = VoiceData ()
1420     return_value.voicedata = voice
1421
1422     # First pitch needed for relative mode (if selected in command-line options)
1423     first_pitch = None
1424
1425     # Needed for melismata detection (ignore lyrics on those notes!):
1426     inside_slur = False
1427     is_tied = False
1428     is_chord = False
1429     ignore_lyrics = False
1430
1431     current_staff = None
1432
1433     # Make sure that the keys in the dict don't get reordered, since
1434     # we need the correct ordering of the lyrics stanzas! By default,
1435     # a dict will reorder its keys
1436     return_value.lyrics_order = voice.get_lyrics_numbers ()
1437     for k in return_value.lyrics_order:
1438         lyrics[k] = []
1439
1440     voice_builder = LilyPondVoiceBuilder()
1441
1442     for n in voice._elements:
1443         if n.get_name () == 'forward':
1444             continue
1445         staff = n.get_maybe_exist_named_child ('staff')
1446         if staff:
1447             staff = staff.get_text ()
1448             if current_staff and staff <> current_staff and not n.get_maybe_exist_named_child ('chord'):
1449                 voice_builder.add_command (musicexp.StaffChange (staff))
1450             current_staff = staff
1451
1452         if isinstance (n, musicxml.Partial) and n.partial > 0:
1453             a = musicxml_partial_to_lily (n.partial)
1454             if a:
1455                 voice_builder.add_partial (a)
1456             continue
1457
1458         if isinstance (n, musicxml.Direction):
1459             for a in musicxml_direction_to_lily (n):
1460                 if a.wait_for_note ():
1461                     voice_builder.add_dynamics (a)
1462                 else:
1463                     voice_builder.add_command (a)
1464             continue
1465
1466         if isinstance (n, musicxml.Harmony):
1467             for a in musicxml_harmony_to_lily (n):
1468                 if a.wait_for_note ():
1469                     voice_builder.add_dynamics (a)
1470                 else:
1471                     voice_builder.add_command (a)
1472             continue
1473
1474         is_chord = n.get_maybe_exist_named_child ('chord')
1475         if not is_chord:
1476             try:
1477                 voice_builder.jumpto (n._when)
1478             except NegativeSkip, neg:
1479                 voice_builder.correct_negative_skip (n._when)
1480                 n.message ("Negative skip? from %s to %s, diff %s" % (neg.here, neg.dest, neg.dest - neg.here))
1481
1482         if isinstance (n, musicxml.Attributes):
1483             if n.is_first () and n._measure_position == Rational (0):
1484                 try:
1485                     number = int (n.get_parent ().number)
1486                 except ValueError:
1487                     number = 0
1488                 if number > 0:
1489                     voice_builder.add_bar_check (number)
1490
1491             for a in musicxml_attributes_to_lily (n):
1492                 voice_builder.add_command (a)
1493             continue
1494
1495         if isinstance (n, musicxml.Barline):
1496             barlines = musicxml_barline_to_lily (n)
1497             for a in barlines:
1498                 if isinstance (a, musicexp.BarLine):
1499                     voice_builder.add_barline (a)
1500                 elif isinstance (a, RepeatMarker) or isinstance (a, EndingMarker):
1501                     voice_builder.add_command (a)
1502             continue
1503
1504         if not n.__class__.__name__ == 'Note':
1505             error_message (_ ('unexpected %s; expected %s or %s or %s') % (n, 'Note', 'Attributes', 'Barline'))
1506             continue
1507
1508         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1509         if (rest
1510             and rest.is_whole_measure ()):
1511
1512             voice_builder.add_multibar_rest (n._duration)
1513             continue
1514
1515         if n.is_first () and n._measure_position == Rational (0):
1516             try:
1517                 num = int (n.get_parent ().number)
1518             except ValueError:
1519                 num = 0
1520             if num > 0:
1521                 voice_builder.add_bar_check (num)
1522
1523         main_event = musicxml_note_to_lily_main_event (n)
1524         if main_event and not first_pitch:
1525             first_pitch = main_event.pitch
1526         ignore_lyrics = inside_slur or is_tied or is_chord
1527
1528         if main_event and hasattr (main_event, 'drum_type') and main_event.drum_type:
1529             modes_found['drummode'] = True
1530
1531         ev_chord = voice_builder.last_event_chord (n._when)
1532         if not ev_chord:
1533             ev_chord = musicexp.ChordEvent()
1534             voice_builder.add_music (ev_chord, n._duration)
1535
1536         grace = n.get_maybe_exist_typed_child (musicxml.Grace)
1537         if grace:
1538             grace_chord = None
1539             if n.get_maybe_exist_typed_child (musicxml.Chord) and ev_chord.grace_elements:
1540                 grace_chord = ev_chord.grace_elements.get_last_event_chord ()
1541             if not grace_chord:
1542                 grace_chord = musicexp.ChordEvent ()
1543                 ev_chord.append_grace (grace_chord)
1544             if hasattr (grace, 'slash'):
1545                 # TODO: use grace_type = "appoggiatura" for slurred grace notes
1546                 if grace.slash == "yes":
1547                     ev_chord.grace_type = "acciaccatura"
1548             # now that we have inserted the chord into the grace music, insert
1549             # everything into that chord instead of the ev_chord
1550             ev_chord = grace_chord
1551             ev_chord.append (main_event)
1552             ignore_lyrics = True
1553         else:
1554             ev_chord.append (main_event)
1555             # When a note/chord has grace notes (duration==0), the duration of the
1556             # event chord is not yet known, but the event chord was already added
1557             # with duration 0. The following correct this when we hit the real note!
1558             if voice_builder.current_duration () == 0 and n._duration > 0:
1559                 voice_builder.set_duration (n._duration)
1560
1561         notations_children = n.get_typed_children (musicxml.Notations)
1562         tuplet_event = None
1563         span_events = []
1564
1565         # The <notation> element can have the following children (+ means implemented, ~ partially, - not):
1566         # +tied | +slur | +tuplet | glissando | slide |
1567         #    ornaments | technical | articulations | dynamics |
1568         #    +fermata | arpeggiate | non-arpeggiate |
1569         #    accidental-mark | other-notation
1570         for notations in notations_children:
1571             for tuplet_event in notations.get_tuplets():
1572                 mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1573                 frac = (1,1)
1574                 if mod:
1575                     frac = mod.get_fraction ()
1576
1577                 tuplet_events.append ((ev_chord, tuplet_event, frac))
1578
1579             slurs = [s for s in notations.get_named_children ('slur')
1580                 if s.get_type () in ('start','stop')]
1581             if slurs:
1582                 if len (slurs) > 1:
1583                     error_message (_ ('cannot have two simultaneous slurs'))
1584                 # record the slur status for the next note in the loop
1585                 if not grace:
1586                     if slurs[0].get_type () == 'start':
1587                         inside_slur = True
1588                     elif slurs[0].get_type () == 'stop':
1589                         inside_slur = False
1590                 lily_ev = musicxml_spanner_to_lily_event (slurs[0])
1591                 ev_chord.append (lily_ev)
1592
1593             if not grace:
1594                 mxl_tie = notations.get_tie ()
1595                 if mxl_tie and mxl_tie.type == 'start':
1596                     ev_chord.append (musicexp.TieEvent ())
1597                     is_tied = True
1598                 else:
1599                     is_tied = False
1600
1601             fermatas = notations.get_named_children ('fermata')
1602             for a in fermatas:
1603                 ev = musicxml_fermata_to_lily_event (a)
1604                 if ev:
1605                     ev_chord.append (ev)
1606
1607             arpeggiate = notations.get_named_children ('arpeggiate')
1608             for a in arpeggiate:
1609                 ev = musicxml_arpeggiate_to_lily_event (a)
1610                 if ev:
1611                     ev_chord.append (ev)
1612
1613             arpeggiate = notations.get_named_children ('non-arpeggiate')
1614             for a in arpeggiate:
1615                 ev = musicxml_nonarpeggiate_to_lily_event (a)
1616                 if ev:
1617                     ev_chord.append (ev)
1618
1619             glissandos = notations.get_named_children ('glissando')
1620             glissandos += notations.get_named_children ('slide')
1621             for a in glissandos:
1622                 ev = musicxml_spanner_to_lily_event (a)
1623                 if ev:
1624                     ev_chord.append (ev)
1625
1626             # Articulations can contain the following child elements:
1627             #         accent | strong-accent | staccato | tenuto |
1628             #         detached-legato | staccatissimo | spiccato |
1629             #         scoop | plop | doit | falloff | breath-mark |
1630             #         caesura | stress | unstress
1631             # Technical can contain the following child elements:
1632             #         up-bow | down-bow | harmonic | open-string |
1633             #         thumb-position | fingering | pluck | double-tongue |
1634             #         triple-tongue | stopped | snap-pizzicato | fret |
1635             #         string | hammer-on | pull-off | bend | tap | heel |
1636             #         toe | fingernails | other-technical
1637             # Ornaments can contain the following child elements:
1638             #         trill-mark | turn | delayed-turn | inverted-turn |
1639             #         shake | wavy-line | mordent | inverted-mordent |
1640             #         schleifer | tremolo | other-ornament, accidental-mark
1641             ornaments = notations.get_named_children ('ornaments')
1642             ornaments += notations.get_named_children ('articulations')
1643             ornaments += notations.get_named_children ('technical')
1644
1645             for a in ornaments:
1646                 for ch in a.get_all_children ():
1647                     ev = musicxml_articulation_to_lily_event (ch)
1648                     if ev:
1649                         ev_chord.append (ev)
1650
1651             dynamics = notations.get_named_children ('dynamics')
1652             for a in dynamics:
1653                 for ch in a.get_all_children ():
1654                     ev = musicxml_dynamics_to_lily_event (ch)
1655                     if ev:
1656                         ev_chord.append (ev)
1657
1658         # Extract the lyrics
1659         if not rest and not ignore_lyrics:
1660             note_lyrics_processed = []
1661             note_lyrics_elements = n.get_typed_children (musicxml.Lyric)
1662             for l in note_lyrics_elements:
1663                 if l.get_number () < 0:
1664                     for k in lyrics.keys ():
1665                         lyrics[k].append (l.lyric_to_text ())
1666                         note_lyrics_processed.append (k)
1667                 else:
1668                     lyrics[l.number].append(l.lyric_to_text ())
1669                     note_lyrics_processed.append (l.number)
1670             for lnr in lyrics.keys ():
1671                 if not lnr in note_lyrics_processed:
1672                     lyrics[lnr].append ("\skip4")
1673
1674
1675         mxl_beams = [b for b in n.get_named_children ('beam')
1676                      if (b.get_type () in ('begin', 'end')
1677                          and b.is_primary ())]
1678         if mxl_beams:
1679             beam_ev = musicxml_spanner_to_lily_event (mxl_beams[0])
1680             if beam_ev:
1681                 ev_chord.append (beam_ev)
1682
1683         if tuplet_event:
1684             mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1685             frac = (1,1)
1686             if mod:
1687                 frac = mod.get_fraction ()
1688
1689             tuplet_events.append ((ev_chord, tuplet_event, frac))
1690
1691     ## force trailing mm rests to be written out.
1692     voice_builder.add_music (musicexp.ChordEvent (), Rational (0))
1693
1694     ly_voice = group_tuplets (voice_builder.elements, tuplet_events)
1695     ly_voice = group_repeats (ly_voice)
1696
1697     seq_music = musicexp.SequentialMusic ()
1698
1699     if 'drummode' in modes_found.keys ():
1700         ## \key <pitch> barfs in drummode.
1701         ly_voice = [e for e in ly_voice
1702                     if not isinstance(e, musicexp.KeySignatureChange)]
1703
1704     seq_music.elements = ly_voice
1705     for k in lyrics.keys ():
1706         return_value.lyrics_dict[k] = musicexp.Lyrics ()
1707         return_value.lyrics_dict[k].lyrics_syllables = lyrics[k]
1708
1709
1710     if len (modes_found) > 1:
1711        error_message (_ ('cannot simultaneously have more than one mode: %s') % modes_found.keys ())
1712
1713     if options.relative:
1714         v = musicexp.RelativeMusic ()
1715         v.element = seq_music
1716         v.basepitch = first_pitch
1717         seq_music = v
1718
1719     return_value.ly_voice = seq_music
1720     for mode in modes_found.keys ():
1721         v = musicexp.ModeChangingMusicWrapper()
1722         v.element = seq_music
1723         v.mode = mode
1724         return_value.ly_voice = v
1725
1726     return return_value
1727
1728 def musicxml_id_to_lily (id):
1729     digits = ['Zero', 'One', 'Two', 'Three', 'Four', 'Five',
1730               'Six', 'Seven', 'Eight', 'Nine', 'Ten']
1731
1732     for digit in digits:
1733         d = digits.index (digit)
1734         id = re.sub ('%d' % d, digit, id)
1735
1736     id = re.sub  ('[^a-zA-Z]', 'X', id)
1737     return id
1738
1739 def musicxml_pitch_to_lily (mxl_pitch):
1740     p = musicexp.Pitch ()
1741     p.alteration = mxl_pitch.get_alteration ()
1742     p.step = musicxml_step_to_lily (mxl_pitch.get_step ())
1743     p.octave = mxl_pitch.get_octave () - 4
1744     return p
1745
1746 def musicxml_unpitched_to_lily (mxl_unpitched):
1747     p = None
1748     step = mxl_unpitched.get_step ()
1749     if step:
1750         p = musicexp.Pitch ()
1751         p.step = musicxml_step_to_lily (step)
1752     octave = mxl_unpitched.get_octave ()
1753     if octave and p:
1754         p.octave = octave - 4
1755     return p
1756
1757 def musicxml_restdisplay_to_lily (mxl_rest):
1758     p = None
1759     step = mxl_rest.get_step ()
1760     if step:
1761         p = musicexp.Pitch ()
1762         p.step = musicxml_step_to_lily (step)
1763     octave = mxl_rest.get_octave ()
1764     if octave and p:
1765         p.octave = octave - 4
1766     return p
1767
1768 def voices_in_part (part):
1769     """Return a Name -> Voice dictionary for PART"""
1770     part.interpret ()
1771     part.extract_voices ()
1772     voices = part.get_voices ()
1773     part_info = part.get_staff_attributes ()
1774
1775     return (voices, part_info)
1776
1777 def voices_in_part_in_parts (parts):
1778     """return a Part -> Name -> Voice dictionary"""
1779     return dict([(p.id, voices_in_part (p)) for p in parts])
1780
1781
1782 def get_all_voices (parts):
1783     all_voices = voices_in_part_in_parts (parts)
1784
1785     all_ly_voices = {}
1786     all_ly_staffinfo = {}
1787     for p, (name_voice, staff_info) in all_voices.items ():
1788
1789         part_ly_voices = {}
1790         for n, v in name_voice.items ():
1791             progress (_ ("Converting to LilyPond expressions..."))
1792             # musicxml_voice_to_lily_voice returns (lily_voice, {nr->lyrics, nr->lyrics})
1793             part_ly_voices[n] = musicxml_voice_to_lily_voice (v)
1794
1795         all_ly_voices[p] = part_ly_voices
1796         all_ly_staffinfo[p] = staff_info
1797
1798     return (all_ly_voices, all_ly_staffinfo)
1799
1800
1801 def option_parser ():
1802     p = ly.get_option_parser (usage = _ ("musicxml2ly [options] FILE.xml"),
1803                              version = ('''%prog (LilyPond) @TOPLEVEL_VERSION@\n\n'''
1804                                       +
1805 _ ("""This program is free software.  It is covered by the GNU General Public
1806 License and you are welcome to change it and/or distribute copies of it
1807 under certain conditions.  Invoke as `%s --warranty' for more
1808 information.""") % 'lilypond'
1809 + """
1810 Copyright (c) 2005--2008 by
1811     Han-Wen Nienhuys <hanwen@xs4all.nl>,
1812     Jan Nieuwenhuizen <janneke@gnu.org> and
1813     Reinhold Kainhofer <reinhold@kainhofer.com>
1814 """),
1815                              description = _ ("Convert %s to LilyPond input.") % 'MusicXML' + "\n")
1816     p.add_option ('-v', '--verbose',
1817                   action = "store_true",
1818                   dest = 'verbose',
1819                   help = _ ("be verbose"))
1820
1821     p.add_option ('', '--lxml',
1822                   action = "store_true",
1823                   default = False,
1824                   dest = "use_lxml",
1825                   help = _ ("Use lxml.etree; uses less memory and cpu time."))
1826
1827     p.add_option ('-z', '--compressed',
1828                   action = "store_true",
1829                   dest = 'compressed',
1830                   default = False,
1831                   help = _ ("Input file is a zip-compressed MusicXML file."))
1832
1833     p.add_option ('-r', '--relative',
1834                   action = "store_true",
1835                   default = True,
1836                   dest = "relative",
1837                   help = _ ("Convert pitches in relative mode. (Default)"))
1838
1839     p.add_option ('-a', '--absolute',
1840                   action = "store_false",
1841                   dest = "relative",
1842                   help = _ ("Convert pitches in absolute mode."))
1843
1844     p.add_option ('-l', '--language',
1845                   metavar = _ ("LANG"),
1846                   action = "store",
1847                   help = _ ("Use a different language file 'LANG.ly' and corresponding pitch names, e.g. 'deutsch' for deutsch.ly."))
1848
1849     p.add_option ('--nd', '--no-articulation-directions',
1850                   action = "store_false",
1851                   default = True,
1852                   dest = "convert_directions",
1853                   help = _ ("Do not convert directions (^, _ or -) for articulations, dynamics, etc."))
1854
1855     p.add_option ('-o', '--output',
1856                   metavar = _ ("FILE"),
1857                   action = "store",
1858                   default = None,
1859                   type = 'string',
1860                   dest = 'output_name',
1861                   help = _ ("set output filename to FILE"))
1862     p.add_option_group ( _ ('Bugs'),
1863                         description = ( _ ("Report bugs via")
1864                                      + ''' http://post.gmane.org/post.php'''
1865                                      '''?group=gmane.comp.gnu.lilypond.bugs\n'''))
1866     return p
1867
1868 def music_xml_voice_name_to_lily_name (part_id, name):
1869     str = "Part%sVoice%s" % (part_id, name)
1870     return musicxml_id_to_lily (str)
1871
1872 def music_xml_lyrics_name_to_lily_name (part_id, name, lyricsnr):
1873     str = "Part%sVoice%sLyrics%s" % (part_id, name, lyricsnr)
1874     return musicxml_id_to_lily (str)
1875
1876 def print_voice_definitions (printer, part_list, voices):
1877     for part in part_list:
1878         part_id = part.id
1879         nv_dict = voices.get (part_id, {})
1880         for (name, voice) in nv_dict.items ():
1881             k = music_xml_voice_name_to_lily_name (part_id, name)
1882             printer.dump ('%s = ' % k)
1883             voice.ly_voice.print_ly (printer)
1884             printer.newline()
1885             for l in voice.lyrics_order:
1886                 lname = music_xml_lyrics_name_to_lily_name (part_id, name, l)
1887                 printer.dump ('%s = ' %lname )
1888                 voice.lyrics_dict[l].print_ly (printer)
1889                 printer.newline()
1890
1891
1892 def uniq_list (l):
1893     return dict ([(elt,1) for elt in l]).keys ()
1894
1895 # format the information about the staff in the form
1896 #     [staffid,
1897 #         [
1898 #            [voiceid1, [lyricsid11, lyricsid12,...] ...],
1899 #            [voiceid2, [lyricsid21, lyricsid22,...] ...],
1900 #            ...
1901 #         ]
1902 #     ]
1903 # raw_voices is of the form [(voicename, lyricsids)*]
1904 def format_staff_info (part_id, staff_id, raw_voices):
1905     voices = []
1906     for (v, lyricsids) in raw_voices:
1907         voice_name = music_xml_voice_name_to_lily_name (part_id, v)
1908         voice_lyrics = [music_xml_lyrics_name_to_lily_name (part_id, v, l)
1909                    for l in lyricsids]
1910         voices.append ([voice_name, voice_lyrics])
1911     return [staff_id, voices]
1912
1913 def update_score_setup (score_structure, part_list, voices):
1914
1915     for part_definition in part_list:
1916         part_id = part_definition.id
1917         nv_dict = voices.get (part_id)
1918         if not nv_dict:
1919             error_message (_ ('unknown part in part-list: %s') % part_id)
1920             continue
1921
1922         staves = reduce (lambda x,y: x+ y,
1923                 [voice.voicedata._staves.keys ()
1924                  for voice in nv_dict.values ()],
1925                 [])
1926         staves_info = []
1927         if len (staves) > 1:
1928             staves_info = []
1929             staves = uniq_list (staves)
1930             staves.sort ()
1931             for s in staves:
1932                 thisstaff_raw_voices = [(voice_name, voice.lyrics_order)
1933                     for (voice_name, voice) in nv_dict.items ()
1934                     if voice.voicedata._start_staff == s]
1935                 staves_info.append (format_staff_info (part_id, s, thisstaff_raw_voices))
1936         else:
1937             thisstaff_raw_voices = [(voice_name, voice.lyrics_order)
1938                 for (voice_name, voice) in nv_dict.items ()]
1939             staves_info.append (format_staff_info (part_id, None, thisstaff_raw_voices))
1940         score_structure.set_part_information (part_id, staves_info)
1941
1942 def print_ly_preamble (printer, filename):
1943     printer.dump_version ()
1944     printer.print_verbatim ('%% automatically converted from %s\n' % filename)
1945
1946 def print_ly_additional_definitions (printer, filename):
1947     if needed_additional_definitions:
1948         printer.newline ()
1949         printer.print_verbatim ('%% additional definitions required by the score:')
1950         printer.newline ()
1951     for a in set(needed_additional_definitions):
1952         printer.print_verbatim (additional_definitions.get (a, ''))
1953         printer.newline ()
1954     printer.newline ()
1955
1956 # Read in the tree from the given I/O object (either file or string) and
1957 # demarshall it using the classes from the musicxml.py file
1958 def read_xml (io_object, use_lxml):
1959     if use_lxml:
1960         import lxml.etree
1961         tree = lxml.etree.parse (io_object)
1962         mxl_tree = musicxml.lxml_demarshal_node (tree.getroot ())
1963         return mxl_tree
1964     else:
1965         from xml.dom import minidom, Node
1966         doc = minidom.parse(io_object)
1967         node = doc.documentElement
1968         return musicxml.minidom_demarshal_node (node)
1969     return None
1970
1971
1972 def read_musicxml (filename, compressed, use_lxml):
1973     raw_string = None
1974     if compressed:
1975         progress (_ ("Input file %s is compressed, extracting raw MusicXML data") % filename)
1976         z = zipfile.ZipFile (filename, "r")
1977         container_xml = z.read ("META-INF/container.xml")
1978         if not container_xml:
1979             return None
1980         container = read_xml (StringIO.StringIO (container_xml), use_lxml)
1981         if not container:
1982             return None
1983         rootfiles = container.get_maybe_exist_named_child ('rootfiles')
1984         if not rootfiles:
1985             return None
1986         rootfile_list = rootfiles.get_named_children ('rootfile')
1987         mxml_file = None
1988         if len (rootfile_list) > 0:
1989             mxml_file = getattr (rootfile_list[0], 'full-path', None)
1990         if mxml_file:
1991             raw_string = z.read (mxml_file)
1992
1993     io_object = filename
1994     if raw_string:
1995         io_object = StringIO.StringIO (raw_string)
1996
1997     return read_xml (io_object, use_lxml)
1998
1999
2000 def convert (filename, options):
2001     progress (_ ("Reading MusicXML from %s ...") % filename)
2002
2003     tree = read_musicxml (filename, options.compressed, options.use_lxml)
2004     parts = tree.get_typed_children (musicxml.Part)
2005     (voices, staff_info) = get_all_voices (parts)
2006
2007     score_structure = None
2008     mxl_pl = tree.get_maybe_exist_typed_child (musicxml.Part_list)
2009     if mxl_pl:
2010         score_structure = extract_score_layout (mxl_pl, staff_info)
2011         part_list = mxl_pl.get_named_children ("score-part")
2012
2013     # score information is contained in the <work>, <identification> or <movement-title> tags
2014     score_information = extract_score_information (tree)
2015     layout_information = extract_layout_information (tree)
2016     update_score_setup (score_structure, part_list, voices)
2017
2018     if not options.output_name:
2019         options.output_name = os.path.basename (filename)
2020         options.output_name = os.path.splitext (options.output_name)[0]
2021     elif re.match (".*\.ly", options.output_name):
2022         options.output_name = os.path.splitext (options.output_name)[0]
2023
2024
2025     defs_ly_name = options.output_name + '-defs.ly'
2026     driver_ly_name = options.output_name + '.ly'
2027
2028     printer = musicexp.Output_printer()
2029     progress (_ ("Output to `%s'") % defs_ly_name)
2030     printer.set_file (codecs.open (defs_ly_name, 'wb', encoding='utf-8'))
2031
2032     print_ly_preamble (printer, filename)
2033     print_ly_additional_definitions (printer, filename)
2034     if score_information:
2035         score_information.print_ly (printer)
2036     if layout_information:
2037         layout_information.print_ly (printer)
2038     print_voice_definitions (printer, part_list, voices)
2039
2040     printer.close ()
2041
2042
2043     progress (_ ("Output to `%s'") % driver_ly_name)
2044     printer = musicexp.Output_printer()
2045     printer.set_file (codecs.open (driver_ly_name, 'wb', encoding='utf-8'))
2046     print_ly_preamble (printer, filename)
2047     printer.dump (r'\include "%s"' % os.path.basename (defs_ly_name))
2048     score_structure.print_ly (printer)
2049     printer.newline ()
2050
2051     return voices
2052
2053 def get_existing_filename_with_extension (filename, ext):
2054     if os.path.exists (filename):
2055         return filename
2056     newfilename = filename + "." + ext
2057     if os.path.exists (newfilename):
2058         return newfilename;
2059     newfilename = filename + ext
2060     if os.path.exists (newfilename):
2061         return newfilename;
2062     return ''
2063
2064 def main ():
2065     opt_parser = option_parser()
2066
2067     global options
2068     (options, args) = opt_parser.parse_args ()
2069     if not args:
2070         opt_parser.print_usage()
2071         sys.exit (2)
2072
2073     if options.language:
2074         musicexp.set_pitch_language (options.language)
2075         needed_additional_definitions.append (options.language)
2076         additional_definitions[options.language] = "\\include \"%s.ly\"\n" % options.language
2077
2078     # Allow the user to leave out the .xml or xml on the filename
2079     filename = get_existing_filename_with_extension (args[0], "xml")
2080     if not filename:
2081         filename = get_existing_filename_with_extension (args[0], "mxl")
2082         options.compressed = True
2083     if filename and os.path.exists (filename):
2084         voices = convert (filename, options)
2085     else:
2086         progress (_ ("Unable to find input file %s") % args[0])
2087
2088 if __name__ == '__main__':
2089     main()