scripts/musicxml2ly.py

   1 #!@TARGET_PYTHON@
   2
   3 import optparse
   4 import sys
   5 import re
   6 import os
   7 import string
   8 import codecs
   9 import zipfile
  10 import StringIO
  11
  12 """
  13 @relocate-preamble@
  14 """
  15
  16 import lilylib as ly
  17 _ = ly._
  18
  19 import musicxml
  20 import musicexp
  21
  22 from rational import Rational
  23
  24 # Store command-line options in a global variable, so we can access them everythwere
  25 options = None
  26
  27 class Conversion_Settings:
  28     def __init__(self):
  29        self.ignore_beaming = False
  30
  31 conversion_settings = Conversion_Settings ()
  32 # Use a global variable to store the setting needed inside a \layout block.
  33 # whenever we need to change a setting or add/remove an engraver, we can access
  34 # this layout and add the corresponding settings
  35 layout_information = musicexp.Layout ()
  36
  37 def progress (str):
  38     ly.stderr_write (str + '\n')
  39     sys.stderr.flush ()
  40
  41 def error_message (str):
  42     ly.stderr_write (str + '\n')
  43     sys.stderr.flush ()
  44
  45 needed_additional_definitions = []
  46 additional_definitions = {
  47   "snappizzicato": """#(define-markup-command (snappizzicato layout props) ()
  48   (interpret-markup layout props
  49     (markup #:stencil
  50       (ly:stencil-translate-axis
  51         (ly:stencil-add
  52           (make-circle-stencil 0.7 0.1 #f)
  53           (ly:make-stencil
  54             (list 'draw-line 0.1 0 0.1 0 1)
  55             '(-0.1 . 0.1) '(0.1 . 1)
  56           )
  57         )
  58         0.7 X
  59       )
  60     )
  61   )
  62 )"""
  63 }
  64
  65 def round_to_two_digits (val):
  66     return round (val * 100) / 100
  67
  68 def extract_paper_information (tree):
  69     paper = musicexp.Paper ()
  70     defaults = tree.get_maybe_exist_named_child ('defaults')
  71     if not defaults:
  72         return None
  73     tenths = -1
  74     scaling = defaults.get_maybe_exist_named_child ('scaling')
  75     if scaling:
  76         mm = scaling.get_named_child ('millimeters')
  77         mm = string.atof (mm.get_text ())
  78         tn = scaling.get_maybe_exist_named_child ('tenths')
  79         tn = string.atof (tn.get_text ())
  80         tenths = mm / tn
  81         paper.global_staff_size = mm * 72.27 / 25.4
  82     # We need the scaling (i.e. the size of staff tenths for everything!
  83     if tenths < 0:
  84         return None
  85
  86     def from_tenths (txt):
  87         return round_to_two_digits (string.atof (txt) * tenths / 10)
  88     def set_paper_variable (varname, parent, element_name):
  89         el = parent.get_maybe_exist_named_child (element_name)
  90         if el: # Convert to cm from tenths
  91             setattr (paper, varname, from_tenths (el.get_text ()))
  92
  93     pagelayout = defaults.get_maybe_exist_named_child ('page-layout')
  94     if pagelayout:
  95         # TODO: How can one have different margins for even and odd pages???
  96         set_paper_variable ("page_height", pagelayout, 'page-height')
  97         set_paper_variable ("page_width", pagelayout, 'page-width')
  98
  99         pmargins = pagelayout.get_named_children ('page-margins')
 100         for pm in pmargins:
 101             set_paper_variable ("left_margin", pm, 'left-margin')
 102             set_paper_variable ("right_margin", pm, 'right-margin')
 103             set_paper_variable ("bottom_margin", pm, 'bottom-margin')
 104             set_paper_variable ("top_margin", pm, 'top-margin')
 105
 106     systemlayout = defaults.get_maybe_exist_named_child ('system-layout')
 107     if systemlayout:
 108         sl = systemlayout.get_maybe_exist_named_child ('system-margins')
 109         if sl:
 110             set_paper_variable ("system_left_margin", sl, 'left-margin')
 111             set_paper_variable ("system_right_margin", sl, 'right-margin')
 112         set_paper_variable ("system_distance", systemlayout, 'system-distance')
 113         set_paper_variable ("top_system_distance", systemlayout, 'top-system-distance')
 114
 115     stafflayout = defaults.get_named_children ('staff-layout')
 116     for sl in stafflayout:
 117         nr = getattr (sl, 'number', 1)
 118         dist = sl.get_named_child ('staff-distance')
 119         #TODO: the staff distance needs to be set in the Staff context!!!
 120
 121     # TODO: Finish appearance?, music-font?, word-font?, lyric-font*, lyric-language*
 122     appearance = defaults.get_named_child ('appearance')
 123     if appearance:
 124         lws = appearance.get_named_children ('line-width')
 125         for lw in lws:
 126             # Possible types are: beam, bracket, dashes,
 127             #    enclosure, ending, extend, heavy barline, leger,
 128             #    light barline, octave shift, pedal, slur middle, slur tip,
 129             #    staff, stem, tie middle, tie tip, tuplet bracket, and wedge
 130             tp = lw.type
 131             w = from_tenths (lw.get_text  ())
 132             # TODO: Do something with these values!
 133         nss = appearance.get_named_children ('note-size')
 134         for ns in nss:
 135             # Possible types are: cue, grace and large
 136             tp = ns.type
 137             sz = from_tenths (ns.get_text ())
 138             # TODO: Do something with these values!
 139         # <other-appearance> elements have no specified meaning
 140
 141     rawmusicfont = defaults.get_named_child ('music-font')
 142     if rawmusicfont:
 143         # TODO: Convert the font
 144         pass
 145     rawwordfont = defaults.get_named_child ('word-font')
 146     if rawwordfont:
 147         # TODO: Convert the font
 148         pass
 149     rawlyricsfonts = defaults.get_named_children ('lyric-font')
 150     for lyricsfont in rawlyricsfonts:
 151         # TODO: Convert the font
 152         pass
 153
 154     return paper
 155
 156
 157
 158 # score information is contained in the <work>, <identification> or <movement-title> tags
 159 # extract those into a hash, indexed by proper lilypond header attributes
 160 def extract_score_information (tree):
 161     header = musicexp.Header ()
 162     def set_if_exists (field, value):
 163         if value:
 164             header.set_field (field, musicxml.escape_ly_output_string (value))
 165
 166     work = tree.get_maybe_exist_named_child ('work')
 167     if work:
 168         set_if_exists ('title', work.get_work_title ())
 169         set_if_exists ('worknumber', work.get_work_number ())
 170         set_if_exists ('opus', work.get_opus ())
 171     else:
 172         movement_title = tree.get_maybe_exist_named_child ('movement-title')
 173         if movement_title:
 174             set_if_exists ('title', movement_title.get_text ())
 175
 176     identifications = tree.get_named_children ('identification')
 177     for ids in identifications:
 178         set_if_exists ('copyright', ids.get_rights ())
 179         set_if_exists ('composer', ids.get_composer ())
 180         set_if_exists ('arranger', ids.get_arranger ())
 181         set_if_exists ('editor', ids.get_editor ())
 182         set_if_exists ('poet', ids.get_poet ())
 183
 184         set_if_exists ('tagline', ids.get_encoding_software ())
 185         set_if_exists ('encodingsoftware', ids.get_encoding_software ())
 186         set_if_exists ('encodingdate', ids.get_encoding_date ())
 187         set_if_exists ('encoder', ids.get_encoding_person ())
 188         set_if_exists ('encodingdescription', ids.get_encoding_description ())
 189
 190         # Finally, apply the required compatibility modes
 191         # Some applications created wrong MusicXML files, so we need to
 192         # apply some compatibility mode, e.g. ignoring some features/tags
 193         # in those files
 194         software = ids.get_encoding_software_list ()
 195
 196         # Case 1: "Sibelius 5.1" with the "Dolet 3.4 for Sibelius" plugin
 197         #         is missing all beam ends => ignore all beaming information
 198         if "Dolet 3.4 for Sibelius" in software:
 199             conversion_settings.ignore_beaming = True
 200             progress (_ ("Encountered file created by Dolet 3.4 for Sibelius, containing wrong beaming information. All beaming information in the MusicXML file will be ignored"))
 201         # TODO: Check for other unsupported features
 202
 203     return header
 204
 205 class PartGroupInfo:
 206     def __init__ (self):
 207         self.start = {}
 208         self.end = {}
 209     def is_empty (self):
 210         return len (self.start) + len (self.end) == 0
 211     def add_start (self, g):
 212         self.start[getattr (g, 'number', "1")] = g
 213     def add_end (self, g):
 214         self.end[getattr (g, 'number', "1")] = g
 215     def print_ly (self, printer):
 216         error_message (_ ("Unprocessed PartGroupInfo %s encountered") % self)
 217     def ly_expression (self):
 218         error_message (_ ("Unprocessed PartGroupInfo %s encountered") % self)
 219         return ''
 220
 221 def staff_attributes_to_string_tunings (mxl_attr):
 222     details = mxl_attr.get_maybe_exist_named_child ('staff-details')
 223     if not details:
 224         return []
 225     lines = 6
 226     staff_lines = details.get_maybe_exist_named_child ('staff-lines')
 227     if staff_lines:
 228         lines = string.atoi (staff_lines.get_text ())
 229
 230     tunings = [0]*lines
 231     staff_tunings = details.get_named_children ('staff-tuning')
 232     for i in staff_tunings:
 233         p = musicexp.Pitch()
 234         line = 0
 235         try:
 236             line = string.atoi (i.line) - 1
 237         except ValueError:
 238             pass
 239         tunings[line] = p
 240
 241         step = i.get_named_child (u'tuning-step')
 242         step = step.get_text ().strip ()
 243         p.step = musicxml_step_to_lily (step)
 244
 245         octave = i.get_named_child (u'tuning-octave')
 246         octave = octave.get_text ().strip ()
 247         p.octave = int (octave) - 4
 248
 249         alter = i.get_named_child (u'tuning-alter')
 250         if alter:
 251             p.alteration = int (alter.get_text ().strip ())
 252     # lilypond seems to use the opposite ordering than MusicXML...
 253     tunings.reverse ()
 254
 255     return tunings
 256
 257
 258 def staff_attributes_to_lily_staff (mxl_attr):
 259     if not mxl_attr:
 260         return musicexp.Staff ()
 261
 262     (staff_id, attributes) = mxl_attr.items ()[0]
 263
 264     # distinguish by clef:
 265     # percussion (percussion and rhythmic), tab, and everything else
 266     clef_sign = None
 267     clef = attributes.get_maybe_exist_named_child ('clef')
 268     if clef:
 269         sign = clef.get_maybe_exist_named_child ('sign')
 270         if sign:
 271             clef_sign = {"percussion": "percussion", "TAB": "tab"}.get (sign.get_text (), None)
 272
 273     lines = 5
 274     details = attributes.get_named_children ('staff-details')
 275     for d in details:
 276         staff_lines = d.get_maybe_exist_named_child ('staff-lines')
 277         if staff_lines:
 278             lines = string.atoi (staff_lines.get_text ())
 279
 280     staff = None
 281     if clef_sign == "percussion" and lines == 1:
 282         staff = musicexp.RhythmicStaff ()
 283     elif clef_sign == "percussion":
 284         staff = musicexp.DrumStaff ()
 285         # staff.drum_style_table = ???
 286     elif clef_sign == "tab":
 287         staff = musicexp.TabStaff ()
 288         staff.string_tunings = staff_attributes_to_string_tunings (attributes)
 289         # staff.tablature_format = ???
 290     else:
 291         # TODO: Handle case with lines <> 5!
 292         staff = musicexp.Staff ()
 293
 294     return staff
 295
 296
 297 def extract_score_structure (part_list, staffinfo):
 298     structure = musicexp.StaffGroup (None)
 299     if not part_list:
 300         return structure
 301
 302     def read_score_part (el):
 303         if not isinstance (el, musicxml.Score_part):
 304             return
 305         # Depending on the attributes of the first measure, we create different
 306         # types of staves (Staff, RhythmicStaff, DrumStaff, TabStaff, etc.)
 307         staff = staff_attributes_to_lily_staff (staffinfo.get (el.id, None))
 308         if not staff:
 309             return None
 310         staff.id = el.id
 311         partname = el.get_maybe_exist_named_child ('part-name')
 312         # Finale gives unnamed parts the name "MusicXML Part" automatically!
 313         if partname and partname.get_text() != "MusicXML Part":
 314             staff.instrument_name = partname.get_text ()
 315         if el.get_maybe_exist_named_child ('part-abbreviation'):
 316             staff.short_instrument_name = el.get_maybe_exist_named_child ('part-abbreviation').get_text ()
 317         # TODO: Read in the MIDI device / instrument
 318         return staff
 319
 320     def read_score_group (el):
 321         if not isinstance (el, musicxml.Part_group):
 322             return
 323         group = musicexp.StaffGroup ()
 324         if hasattr (el, 'number'):
 325             id = el.number
 326             group.id = id
 327             #currentgroups_dict[id] = group
 328             #currentgroups.append (id)
 329         if el.get_maybe_exist_named_child ('group-name'):
 330             group.instrument_name = el.get_maybe_exist_named_child ('group-name').get_text ()
 331         if el.get_maybe_exist_named_child ('group-abbreviation'):
 332             group.short_instrument_name = el.get_maybe_exist_named_child ('group-abbreviation').get_text ()
 333         if el.get_maybe_exist_named_child ('group-symbol'):
 334             group.symbol = el.get_maybe_exist_named_child ('group-symbol').get_text ()
 335         if el.get_maybe_exist_named_child ('group-barline'):
 336             group.spanbar = el.get_maybe_exist_named_child ('group-barline').get_text ()
 337         return group
 338
 339
 340     parts_groups = part_list.get_all_children ()
 341
 342     # the start/end group tags are not necessarily ordered correctly and groups
 343     # might even overlap, so we can't go through the children sequentially!
 344
 345     # 1) Replace all Score_part objects by their corresponding Staff objects,
 346     #    also collect all group start/stop points into one PartGroupInfo object
 347     staves = []
 348     group_info = PartGroupInfo ()
 349     for el in parts_groups:
 350         if isinstance (el, musicxml.Score_part):
 351             if not group_info.is_empty ():
 352                 staves.append (group_info)
 353                 group_info = PartGroupInfo ()
 354             staff = read_score_part (el)
 355             if staff:
 356                 staves.append (staff)
 357         elif isinstance (el, musicxml.Part_group):
 358             if el.type == "start":
 359                 group_info.add_start (el)
 360             elif el.type == "stop":
 361                 group_info.add_end (el)
 362     if not group_info.is_empty ():
 363         staves.append (group_info)
 364
 365     # 2) Now, detect the groups:
 366     group_starts = []
 367     pos = 0
 368     while pos < len (staves):
 369         el = staves[pos]
 370         if isinstance (el, PartGroupInfo):
 371             prev_start = 0
 372             if len (group_starts) > 0:
 373                 prev_start = group_starts[-1]
 374             elif len (el.end) > 0: # no group to end here
 375                 el.end = {}
 376             if len (el.end) > 0: # closes an existing group
 377                 ends = el.end.keys ()
 378                 prev_started = staves[prev_start].start.keys ()
 379                 grpid = None
 380                 intersection = filter(lambda x:x in ends, prev_started)
 381                 if len (intersection) > 0:
 382                     grpid = intersection[0]
 383                 else:
 384                     # Close the last started group
 385                     grpid = staves[prev_start].start.keys () [0]
 386                     # Find the corresponding closing tag and remove it!
 387                     j = pos + 1
 388                     foundclosing = False
 389                     while j < len (staves) and not foundclosing:
 390                         if isinstance (staves[j], PartGroupInfo) and staves[j].end.has_key (grpid):
 391                             foundclosing = True
 392                             del staves[j].end[grpid]
 393                             if staves[j].is_empty ():
 394                                 del staves[j]
 395                         j += 1
 396                 grpobj = staves[prev_start].start[grpid]
 397                 group = read_score_group (grpobj)
 398                 # remove the id from both the start and end
 399                 if el.end.has_key (grpid):
 400                     del el.end[grpid]
 401                 del staves[prev_start].start[grpid]
 402                 if el.is_empty ():
 403                     del staves[pos]
 404                 # replace the staves with the whole group
 405                 for j in staves[(prev_start + 1):pos]:
 406                     if j.is_group:
 407                         j.stafftype = "InnerStaffGroup"
 408                     group.append_staff (j)
 409                 del staves[(prev_start + 1):pos]
 410                 staves.insert (prev_start + 1, group)
 411                 # reset pos so that we continue at the correct position
 412                 pos = prev_start
 413                 # remove an empty start group
 414                 if staves[prev_start].is_empty ():
 415                     del staves[prev_start]
 416                     group_starts.remove (prev_start)
 417                     pos -= 1
 418             elif len (el.start) > 0: # starts new part groups
 419                 group_starts.append (pos)
 420         pos += 1
 421
 422     if len (staves) == 1:
 423         return staves[0]
 424     for i in staves:
 425         structure.append_staff (i)
 426     return structure
 427
 428
 429 def musicxml_duration_to_lily (mxl_note):
 430     d = musicexp.Duration ()
 431     # if the note has no Type child, then that method spits out a warning and
 432     # returns 0, i.e. a whole note
 433     d.duration_log = mxl_note.get_duration_log ()
 434
 435     d.dots = len (mxl_note.get_typed_children (musicxml.Dot))
 436     # Grace notes by specification have duration 0, so no time modification
 437     # factor is possible. It even messes up the output with *0/1
 438     if not mxl_note.get_maybe_exist_typed_child (musicxml.Grace):
 439         d.factor = mxl_note._duration / d.get_length ()
 440
 441     return d
 442
 443 def rational_to_lily_duration (rational_len):
 444     d = musicexp.Duration ()
 445
 446     rational_len.normalize_self ()
 447     d_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (rational_len.denominator (), -1)
 448
 449     # Duration of the form 1/2^n or 3/2^n can be converted to a simple lilypond duration
 450     if (d_log >= 0 and rational_len.numerator() in (1,3,5,7) ):
 451         # account for the dots!
 452         d.dots = (rational_len.numerator()-1)/2
 453         d.duration_log = d_log - d.dots
 454     elif (d_log >= 0):
 455         d.duration_log = d_log
 456         d.factor = Rational (rational_len.numerator ())
 457     else:
 458         error_message (_ ("Encountered rational duration with denominator %s, "
 459                        "unable to convert to lilypond duration") %
 460                        rational_len.denominator ())
 461         # TODO: Test the above error message
 462         return None
 463
 464     return d
 465
 466 def musicxml_partial_to_lily (partial_len):
 467     if partial_len > 0:
 468         p = musicexp.Partial ()
 469         p.partial = rational_to_lily_duration (partial_len)
 470         return p
 471     else:
 472         return Null
 473
 474 # Detect repeats and alternative endings in the chord event list (music_list)
 475 # and convert them to the corresponding musicexp objects, containing nested
 476 # music
 477 def group_repeats (music_list):
 478     repeat_replaced = True
 479     music_start = 0
 480     i = 0
 481     # Walk through the list of expressions, looking for repeat structure
 482     # (repeat start/end, corresponding endings). If we find one, try to find the
 483     # last event of the repeat, replace the whole structure and start over again.
 484     # For nested repeats, as soon as we encounter another starting repeat bar,
 485     # treat that one first, and start over for the outer repeat.
 486     while repeat_replaced and i < 100:
 487         i += 1
 488         repeat_start = -1  # position of repeat start / end
 489         repeat_end = -1 # position of repeat start / end
 490         repeat_times = 0
 491         ending_start = -1 # position of current ending start
 492         endings = [] # list of already finished endings
 493         pos = 0
 494         last = len (music_list) - 1
 495         repeat_replaced = False
 496         final_marker = 0
 497         while pos < len (music_list) and not repeat_replaced:
 498             e = music_list[pos]
 499             repeat_finished = False
 500             if isinstance (e, RepeatMarker):
 501                 if not repeat_times and e.times:
 502                     repeat_times = e.times
 503                 if e.direction == -1:
 504                     if repeat_end >= 0:
 505                         repeat_finished = True
 506                     else:
 507                         repeat_start = pos
 508                         repeat_end = -1
 509                         ending_start = -1
 510                         endings = []
 511                 elif e.direction == 1:
 512                     if repeat_start < 0:
 513                         repeat_start = 0
 514                     if repeat_end < 0:
 515                         repeat_end = pos
 516                     final_marker = pos
 517             elif isinstance (e, EndingMarker):
 518                 if e.direction == -1:
 519                     if repeat_start < 0:
 520                         repeat_start = 0
 521                     if repeat_end < 0:
 522                         repeat_end = pos
 523                     ending_start = pos
 524                 elif e.direction == 1:
 525                     if ending_start < 0:
 526                         ending_start = 0
 527                     endings.append ([ending_start, pos])
 528                     ending_start = -1
 529                     final_marker = pos
 530             elif not isinstance (e, musicexp.BarLine):
 531                 # As soon as we encounter an element when repeat start and end
 532                 # is set and we are not inside an alternative ending,
 533                 # this whole repeat structure is finished => replace it
 534                 if repeat_start >= 0 and repeat_end > 0 and ending_start < 0:
 535                     repeat_finished = True
 536
 537             # Finish off all repeats without explicit ending bar (e.g. when
 538             # we convert only one page of a multi-page score with repeats)
 539             if pos == last and repeat_start >= 0:
 540                 repeat_finished = True
 541                 final_marker = pos
 542                 if repeat_end < 0:
 543                     repeat_end = pos
 544                 if ending_start >= 0:
 545                     endings.append ([ending_start, pos])
 546                     ending_start = -1
 547
 548             if repeat_finished:
 549                 # We found the whole structure replace it!
 550                 r = musicexp.RepeatedMusic ()
 551                 if repeat_times <= 0:
 552                     repeat_times = 2
 553                 r.repeat_count = repeat_times
 554                 # don't erase the first element for "implicit" repeats (i.e. no
 555                 # starting repeat bars at the very beginning)
 556                 start = repeat_start+1
 557                 if repeat_start == music_start:
 558                     start = music_start
 559                 r.set_music (music_list[start:repeat_end])
 560                 for (start, end) in endings:
 561                     s = musicexp.SequentialMusic ()
 562                     s.elements = music_list[start+1:end]
 563                     r.add_ending (s)
 564                 del music_list[repeat_start:final_marker+1]
 565                 music_list.insert (repeat_start, r)
 566                 repeat_replaced = True
 567             pos += 1
 568         # TODO: Implement repeats until the end without explicit ending bar
 569     return music_list
 570
 571
 572
 573 def group_tuplets (music_list, events):
 574
 575
 576     """Collect Musics from
 577     MUSIC_LIST demarcated by EVENTS_LIST in TimeScaledMusic objects.
 578     """
 579
 580
 581     indices = []
 582
 583     j = 0
 584     for (ev_chord, tuplet_elt, fraction) in events:
 585         while (j < len (music_list)):
 586             if music_list[j] == ev_chord:
 587                 break
 588             j += 1
 589         if tuplet_elt.type == 'start':
 590             indices.append ((j, None, fraction))
 591         elif tuplet_elt.type == 'stop':
 592             indices[-1] = (indices[-1][0], j, indices[-1][2])
 593
 594     new_list = []
 595     last = 0
 596     for (i1, i2, frac) in indices:
 597         if i1 >= i2:
 598             continue
 599
 600         new_list.extend (music_list[last:i1])
 601         seq = musicexp.SequentialMusic ()
 602         last = i2 + 1
 603         seq.elements = music_list[i1:last]
 604
 605         tsm = musicexp.TimeScaledMusic ()
 606         tsm.element = seq
 607
 608         tsm.numerator = frac[0]
 609         tsm.denominator  = frac[1]
 610
 611         new_list.append (tsm)
 612
 613     new_list.extend (music_list[last:])
 614     return new_list
 615
 616
 617 def musicxml_clef_to_lily (attributes):
 618     change = musicexp.ClefChange ()
 619     (change.type, change.position, change.octave) = attributes.get_clef_information ()
 620     return change
 621
 622 def musicxml_time_to_lily (attributes):
 623     (beats, type) = attributes.get_time_signature ()
 624
 625     change = musicexp.TimeSignatureChange()
 626     change.fraction = (beats, type)
 627
 628     return change
 629
 630 def musicxml_key_to_lily (attributes):
 631     start_pitch  = musicexp.Pitch ()
 632     (fifths, mode) = attributes.get_key_signature ()
 633     try:
 634         (n,a) = {
 635             'major' : (0,0),
 636             'minor' : (5,0),
 637             }[mode]
 638         start_pitch.step = n
 639         start_pitch.alteration = a
 640     except  KeyError:
 641         error_message (_ ("unknown mode %s, expecting 'major' or 'minor'") % mode)
 642
 643     fifth = musicexp.Pitch()
 644     fifth.step = 4
 645     if fifths < 0:
 646         fifths *= -1
 647         fifth.step *= -1
 648         fifth.normalize ()
 649
 650     for x in range (fifths):
 651         start_pitch = start_pitch.transposed (fifth)
 652
 653     start_pitch.octave = 0
 654
 655     change = musicexp.KeySignatureChange()
 656     change.mode = mode
 657     change.tonic = start_pitch
 658     return change
 659
 660 def musicxml_attributes_to_lily (attrs):
 661     elts = []
 662     attr_dispatch =  {
 663         'clef': musicxml_clef_to_lily,
 664         'time': musicxml_time_to_lily,
 665         'key': musicxml_key_to_lily
 666     }
 667     for (k, func) in attr_dispatch.items ():
 668         children = attrs.get_named_children (k)
 669         if children:
 670             elts.append (func (attrs))
 671
 672     return elts
 673
 674 class Marker (musicexp.Music):
 675     def __init__ (self):
 676         self.direction = 0
 677         self.event = None
 678     def print_ly (self, printer):
 679         ly.stderr_write (_ ("Encountered unprocessed marker %s\n") % self)
 680         pass
 681     def ly_expression (self):
 682         return ""
 683 class RepeatMarker (Marker):
 684     def __init__ (self):
 685         Marker.__init__ (self)
 686         self.times = 0
 687 class EndingMarker (Marker):
 688     pass
 689
 690 # Convert the <barline> element to musicxml.BarLine (for non-standard barlines)
 691 # and to RepeatMarker and EndingMarker objects for repeat and
 692 # alternatives start/stops
 693 def musicxml_barline_to_lily (barline):
 694     # retval contains all possible markers in the order:
 695     # 0..bw_ending, 1..bw_repeat, 2..barline, 3..fw_repeat, 4..fw_ending
 696     retval = {}
 697     bartype_element = barline.get_maybe_exist_named_child ("bar-style")
 698     repeat_element = barline.get_maybe_exist_named_child ("repeat")
 699     ending_element = barline.get_maybe_exist_named_child ("ending")
 700
 701     bartype = None
 702     if bartype_element:
 703         bartype = bartype_element.get_text ()
 704
 705     if repeat_element and hasattr (repeat_element, 'direction'):
 706         repeat = RepeatMarker ()
 707         repeat.direction = {"forward": -1, "backward": 1}.get (repeat_element.direction, 0)
 708
 709         if ( (repeat_element.direction == "forward" and bartype == "heavy-light") or
 710              (repeat_element.direction == "backward" and bartype == "light-heavy") ):
 711             bartype = None
 712         if hasattr (repeat_element, 'times'):
 713             try:
 714                 repeat.times = int (repeat_element.times)
 715             except ValueError:
 716                 repeat.times = 2
 717         repeat.event = barline
 718         if repeat.direction == -1:
 719             retval[3] = repeat
 720         else:
 721             retval[1] = repeat
 722
 723     if ending_element and hasattr (ending_element, 'type'):
 724         ending = EndingMarker ()
 725         ending.direction = {"start": -1, "stop": 1, "discontinue": 1}.get (ending_element.type, 0)
 726         ending.event = barline
 727         if ending.direction == -1:
 728             retval[4] = ending
 729         else:
 730             retval[0] = ending
 731
 732     if bartype:
 733         b = musicexp.BarLine ()
 734         b.type = bartype
 735         retval[2] = b
 736
 737     return retval.values ()
 738
 739 spanner_event_dict = {
 740     'beam' : musicexp.BeamEvent,
 741     'dashes' : musicexp.TextSpannerEvent,
 742     'bracket' : musicexp.BracketSpannerEvent,
 743     'glissando' : musicexp.GlissandoEvent,
 744     'octave-shift' : musicexp.OctaveShiftEvent,
 745     'pedal' : musicexp.PedalEvent,
 746     'slide' : musicexp.GlissandoEvent,
 747     'slur' : musicexp.SlurEvent,
 748     'wavy-line' : musicexp.TrillSpanEvent,
 749     'wedge' : musicexp.HairpinEvent
 750 }
 751 spanner_type_dict = {
 752     'start': -1,
 753     'begin': -1,
 754     'crescendo': -1,
 755     'decreschendo': -1,
 756     'diminuendo': -1,
 757     'continue': 0,
 758     'change': 0,
 759     'up': -1,
 760     'down': -1,
 761     'stop': 1,
 762     'end' : 1
 763 }
 764
 765 def musicxml_spanner_to_lily_event (mxl_event):
 766     ev = None
 767
 768     name = mxl_event.get_name()
 769     func = spanner_event_dict.get (name)
 770     if func:
 771         ev = func()
 772     else:
 773         error_message (_ ('unknown span event %s') % mxl_event)
 774
 775
 776     type = mxl_event.get_type ()
 777     span_direction = spanner_type_dict.get (type)
 778     # really check for None, because some types will be translated to 0, which
 779     # would otherwise also lead to the unknown span warning
 780     if span_direction != None:
 781         ev.span_direction = span_direction
 782     else:
 783         error_message (_ ('unknown span type %s for %s') % (type, name))
 784
 785     ev.set_span_type (type)
 786     ev.line_type = getattr (mxl_event, 'line-type', 'solid')
 787
 788     # assign the size, which is used for octave-shift, etc.
 789     ev.size = mxl_event.get_size ()
 790
 791     return ev
 792
 793 def musicxml_direction_to_indicator (direction):
 794     return { "above": 1, "upright": 1, "up": 1, "below": -1, "downright": -1, "down": -1, "inverted": -1 }.get (direction, 0)
 795
 796 def musicxml_fermata_to_lily_event (mxl_event):
 797     ev = musicexp.ArticulationEvent ()
 798     txt = mxl_event.get_text ()
 799     # The contents of the element defined the shape, possible are normal, angled and square
 800     ev.type = { "angled": "shortfermata", "square": "longfermata" }.get (txt, "fermata")
 801     if hasattr (mxl_event, 'type'):
 802       dir = musicxml_direction_to_indicator (mxl_event.type)
 803       if dir and options.convert_directions:
 804         ev.force_direction = dir
 805     return ev
 806
 807 def musicxml_arpeggiate_to_lily_event (mxl_event):
 808     ev = musicexp.ArpeggioEvent ()
 809     ev.direction = musicxml_direction_to_indicator (getattr (mxl_event, 'direction', None))
 810     return ev
 811
 812 def musicxml_nonarpeggiate_to_lily_event (mxl_event):
 813     ev = musicexp.ArpeggioEvent ()
 814     ev.non_arpeggiate = True
 815     ev.direction = musicxml_direction_to_indicator (getattr (mxl_event, 'direction', None))
 816     return ev
 817
 818 def musicxml_tremolo_to_lily_event (mxl_event):
 819     ev = musicexp.TremoloEvent ()
 820     txt = mxl_event.get_text ()
 821     if txt:
 822       ev.bars = txt
 823     else:
 824       ev.bars = "3"
 825     return ev
 826
 827 def musicxml_falloff_to_lily_event (mxl_event):
 828     ev = musicexp.BendEvent ()
 829     ev.alter = -4
 830     return ev
 831
 832 def musicxml_doit_to_lily_event (mxl_event):
 833     ev = musicexp.BendEvent ()
 834     ev.alter = 4
 835     return ev
 836
 837 def musicxml_bend_to_lily_event (mxl_event):
 838     ev = musicexp.BendEvent ()
 839     ev.alter = mxl_event.bend_alter ()
 840     return ev
 841
 842 def musicxml_caesura_to_lily_event (mxl_event):
 843     ev = musicexp.MarkupEvent ()
 844     # FIXME: default to straight or curved caesura?
 845     ev.contents = "\\musicglyph #\"scripts.caesura.straight\""
 846     ev.force_direction = 1
 847     return ev
 848
 849 def musicxml_fingering_event (mxl_event):
 850     ev = musicexp.ShortArticulationEvent ()
 851     ev.type = mxl_event.get_text ()
 852     return ev
 853
 854 def musicxml_snappizzicato_event (mxl_event):
 855     needed_additional_definitions.append ("snappizzicato")
 856     ev = musicexp.MarkupEvent ()
 857     ev.contents = "\\snappizzicato"
 858     return ev
 859
 860 def musicxml_string_event (mxl_event):
 861     ev = musicexp.NoDirectionArticulationEvent ()
 862     ev.type = mxl_event.get_text ()
 863     return ev
 864
 865 def musicxml_accidental_mark (mxl_event):
 866     ev = musicexp.MarkupEvent ()
 867     contents = { "sharp": "\\sharp",
 868       "natural": "\\natural",
 869       "flat": "\\flat",
 870       "double-sharp": "\\doublesharp",
 871       "sharp-sharp": "\\sharp\\sharp",
 872       "flat-flat": "\\flat\\flat",
 873       "flat-flat": "\\doubleflat",
 874       "natural-sharp": "\\natural\\sharp",
 875       "natural-flat": "\\natural\\flat",
 876       "quarter-flat": "\\semiflat",
 877       "quarter-sharp": "\\semisharp",
 878       "three-quarters-flat": "\\sesquiflat",
 879       "three-quarters-sharp": "\\sesquisharp",
 880     }.get (mxl_event.get_text ())
 881     if contents:
 882         ev.contents = contents
 883         return ev
 884     else:
 885         return None
 886
 887 # translate articulations, ornaments and other notations into ArticulationEvents
 888 # possible values:
 889 #   -) string  (ArticulationEvent with that name)
 890 #   -) function (function(mxl_event) needs to return a full ArticulationEvent-derived object
 891 #   -) (class, name)  (like string, only that a different class than ArticulationEvent is used)
 892 # TODO: Some translations are missing!
 893 articulations_dict = {
 894     "accent": (musicexp.ShortArticulationEvent, ">"), # or "accent"
 895     "accidental-mark": musicxml_accidental_mark,
 896     "bend": musicxml_bend_to_lily_event,
 897     "breath-mark": (musicexp.NoDirectionArticulationEvent, "breathe"),
 898     "caesura": musicxml_caesura_to_lily_event,
 899     #"delayed-turn": "?",
 900     "detached-legato": (musicexp.ShortArticulationEvent, "_"), # or "portato"
 901     "doit": musicxml_doit_to_lily_event,
 902     #"double-tongue": "",
 903     "down-bow": "downbow",
 904     "falloff": musicxml_falloff_to_lily_event,
 905     "fingering": musicxml_fingering_event,
 906     #"fingernails": "",
 907     #"fret": "",
 908     #"hammer-on": "",
 909     "harmonic": "flageolet",
 910     #"heel": "",
 911     "inverted-mordent": "prall",
 912     "inverted-turn": "reverseturn",
 913     "mordent": "mordent",
 914     "open-string": "open",
 915     #"plop": "",
 916     #"pluck": "",
 917     #"pull-off": "",
 918     #"schleifer": "?",
 919     #"scoop": "",
 920     #"shake": "?",
 921     "snap-pizzicato": musicxml_snappizzicato_event,
 922     #"spiccato": "",
 923     "staccatissimo": (musicexp.ShortArticulationEvent, "|"), # or "staccatissimo"
 924     "staccato": (musicexp.ShortArticulationEvent, "."), # or "staccato"
 925     "stopped": (musicexp.ShortArticulationEvent, "+"), # or "stopped"
 926     #"stress": "",
 927     "string": musicxml_string_event,
 928     "strong-accent": (musicexp.ShortArticulationEvent, "^"), # or "marcato"
 929     #"tap": "",
 930     "tenuto": (musicexp.ShortArticulationEvent, "-"), # or "tenuto"
 931     "thumb-position": "thumb",
 932     #"toe": "",
 933     "turn": "turn",
 934     "tremolo": musicxml_tremolo_to_lily_event,
 935     "trill-mark": "trill",
 936     #"triple-tongue": "",
 937     #"unstress": ""
 938     "up-bow": "upbow",
 939     #"wavy-line": "?",
 940 }
 941 articulation_spanners = [ "wavy-line" ]
 942
 943 def musicxml_articulation_to_lily_event (mxl_event):
 944     # wavy-line elements are treated as trill spanners, not as articulation ornaments
 945     if mxl_event.get_name () in articulation_spanners:
 946         return musicxml_spanner_to_lily_event (mxl_event)
 947
 948     tmp_tp = articulations_dict.get (mxl_event.get_name ())
 949     if not tmp_tp:
 950         return
 951
 952     if isinstance (tmp_tp, str):
 953         ev = musicexp.ArticulationEvent ()
 954         ev.type = tmp_tp
 955     elif isinstance (tmp_tp, tuple):
 956         ev = tmp_tp[0] ()
 957         ev.type = tmp_tp[1]
 958     else:
 959         ev = tmp_tp (mxl_event)
 960
 961     # Some articulations use the type attribute, other the placement...
 962     dir = None
 963     if hasattr (mxl_event, 'type') and options.convert_directions:
 964         dir = musicxml_direction_to_indicator (mxl_event.type)
 965     if hasattr (mxl_event, 'placement') and options.convert_directions:
 966         dir = musicxml_direction_to_indicator (mxl_event.placement)
 967     if dir:
 968         ev.force_direction = dir
 969     return ev
 970
 971
 972
 973 def musicxml_dynamics_to_lily_event (dynentry):
 974     dynamics_available = (
 975         "ppppp", "pppp", "ppp", "pp", "p", "mp", "mf",
 976         "f", "ff", "fff", "ffff", "fp", "sf", "sff", "sp", "spp", "sfz", "rfz" )
 977     dynamicsname = dynentry.get_name ()
 978     if dynamicsname == "other-dynamics":
 979         dynamicsname = dynentry.get_text ()
 980     if not dynamicsname or dynamicsname=="#text":
 981         return
 982
 983     if not dynamicsname in dynamics_available:
 984         # Get rid of - in tag names (illegal in ly tags!)
 985         dynamicstext = dynamicsname
 986         dynamicsname = string.replace (dynamicsname, "-", "")
 987         additional_definitions[dynamicsname] = dynamicsname + \
 988               " = #(make-dynamic-script \"" + dynamicstext + "\")"
 989         needed_additional_definitions.append (dynamicsname)
 990     event = musicexp.DynamicsEvent ()
 991     event.type = dynamicsname
 992     return event
 993
 994 # Convert single-color two-byte strings to numbers 0.0 - 1.0
 995 def hexcolorval_to_nr (hex_val):
 996     try:
 997         v = int (hex_val, 16)
 998         if v == 255:
 999             v = 256
1000         return v / 256.
1001     except ValueError:
1002         return 0.
1003
1004 def hex_to_color (hex_val):
1005     res = re.match (r'#([0-9a-f][0-9a-f]|)([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])$', hex_val, re.IGNORECASE)
1006     if res:
1007         return map (lambda x: hexcolorval_to_nr (x), res.group (2,3,4))
1008     else:
1009         return None
1010
1011 def musicxml_words_to_lily_event (words):
1012     event = musicexp.TextEvent ()
1013     text = words.get_text ()
1014     text = re.sub ('^ *\n? *', '', text)
1015     text = re.sub (' *\n? *$', '', text)
1016     event.text = text
1017
1018     if hasattr (words, 'default-y') and options.convert_directions:
1019         offset = getattr (words, 'default-y')
1020         try:
1021             off = string.atoi (offset)
1022             if off > 0:
1023                 event.force_direction = 1
1024             else:
1025                 event.force_direction = -1
1026         except ValueError:
1027             event.force_direction = 0
1028
1029     if hasattr (words, 'font-weight'):
1030         font_weight = { "normal": '', "bold": '\\bold' }.get (getattr (words, 'font-weight'), '')
1031         if font_weight:
1032             event.markup += font_weight
1033
1034     if hasattr (words, 'font-size'):
1035         size = getattr (words, 'font-size')
1036         font_size = {
1037             "xx-small": '\\teeny',
1038             "x-small": '\\tiny',
1039             "small": '\\small',
1040             "medium": '',
1041             "large": '\\large',
1042             "x-large": '\\huge',
1043             "xx-large": '\\bigger\\huge'
1044         }.get (size, '')
1045         if font_size:
1046             event.markup += font_size
1047
1048     if hasattr (words, 'color'):
1049         color = getattr (words, 'color')
1050         rgb = hex_to_color (color)
1051         if rgb:
1052             event.markup += "\\with-color #(rgb-color %s %s %s)" % (rgb[0], rgb[1], rgb[2])
1053
1054     if hasattr (words, 'font-style'):
1055         font_style = { "italic": '\\italic' }.get (getattr (words, 'font-style'), '')
1056         if font_style:
1057             event.markup += font_style
1058
1059     # TODO: How should I best convert the font-family attribute?
1060
1061     # TODO: How can I represent the underline, overline and line-through
1062     #       attributes in Lilypond? Values of these attributes indicate
1063     #       the number of lines
1064
1065     return event
1066
1067
1068 # convert accordion-registration to lilypond.
1069 # Since lilypond does not have any built-in commands, we need to create
1070 # the markup commands manually and define our own variables.
1071 # Idea was taken from: http://lsr.dsi.unimi.it/LSR/Item?id=194
1072 def musicxml_accordion_to_markup (mxl_event):
1073     commandname = "accReg"
1074     command = ""
1075
1076     high = mxl_event.get_maybe_exist_named_child ('accordion-high')
1077     if high:
1078         commandname += "H"
1079         command += """\\combine
1080           \\raise #2.5 \\musicglyph #\"accordion.accDot\"
1081           """
1082     middle = mxl_event.get_maybe_exist_named_child ('accordion-middle')
1083     if middle:
1084         # By default, use one dot (when no or invalid content is given). The
1085         # MusicXML spec is quiet about this case...
1086         txt = 1
1087         try:
1088           txt = string.atoi (middle.get_text ())
1089         except ValueError:
1090             pass
1091         if txt == 3:
1092             commandname += "MMM"
1093             command += """\\combine
1094           \\raise #1.5 \\musicglyph #\"accordion.accDot\"
1095           \\combine
1096           \\raise #1.5 \\translate #(cons 1 0) \\musicglyph #\"accordion.accDot\"
1097           \\combine
1098           \\raise #1.5 \\translate #(cons -1 0) \\musicglyph #\"accordion.accDot\"
1099           """
1100         elif txt == 2:
1101             commandname += "MM"
1102             command += """\\combine
1103           \\raise #1.5 \\translate #(cons 0.5 0) \\musicglyph #\"accordion.accDot\"
1104           \\combine
1105           \\raise #1.5 \\translate #(cons -0.5 0) \\musicglyph #\"accordion.accDot\"
1106           """
1107         elif not txt <= 0:
1108             commandname += "M"
1109             command += """\\combine
1110           \\raise #1.5 \\musicglyph #\"accordion.accDot\"
1111           """
1112     low = mxl_event.get_maybe_exist_named_child ('accordion-low')
1113     if low:
1114         commandname += "L"
1115         command += """\\combine
1116           \\raise #0.5 \musicglyph #\"accordion.accDot\"
1117           """
1118
1119     command += "\musicglyph #\"accordion.accDiscant\""
1120     command = "\\markup { \\normalsize %s }" % command
1121     # Define the newly built command \accReg[H][MMM][L]
1122     additional_definitions[commandname] = "%s = %s" % (commandname, command)
1123     needed_additional_definitions.append (commandname)
1124     return "\\%s" % commandname
1125
1126 def musicxml_accordion_to_ly (mxl_event):
1127     txt = musicxml_accordion_to_markup (mxl_event)
1128     if txt:
1129         ev = musicexp.MarkEvent (txt)
1130         return ev
1131     return
1132
1133
1134 def musicxml_rehearsal_to_ly_mark (mxl_event):
1135     text = mxl_event.get_text ()
1136     if not text:
1137         return
1138     # default is boxed rehearsal marks!
1139     encl = "box"
1140     if hasattr (mxl_event, 'enclosure'):
1141         encl = {"none": None, "square": "box", "circle": "circle" }.get (mxl_event.enclosure, None)
1142     if encl:
1143         text = "\\%s { %s }" % (encl, text)
1144     ev = musicexp.MarkEvent ("\\markup { %s }" % text)
1145     return ev
1146
1147 # translate directions into Events, possible values:
1148 #   -) string  (MarkEvent with that command)
1149 #   -) function (function(mxl_event) needs to return a full Event-derived object
1150 #   -) (class, name)  (like string, only that a different class than MarkEvent is used)
1151 directions_dict = {
1152     'accordion-registration' : musicxml_accordion_to_ly,
1153     'coda' : (musicexp.MusicGlyphMarkEvent, "coda"),
1154 #     'damp' : ???
1155 #     'damp-all' : ???
1156 #     'eyeglasses': ??????
1157 #     'harp-pedals' :
1158 #     'image' :
1159 #     'metronome' :
1160     'rehearsal' : musicxml_rehearsal_to_ly_mark,
1161 #     'scordatura' :
1162     'segno' : (musicexp.MusicGlyphMarkEvent, "segno"),
1163     'words' : musicxml_words_to_lily_event,
1164 }
1165 directions_spanners = [ 'octave-shift', 'pedal', 'wedge', 'dashes', 'bracket' ]
1166
1167 def musicxml_direction_to_lily (n):
1168     # TODO: Handle the <staff> element!
1169     res = []
1170     # placement applies to all children!
1171     dir = None
1172     if hasattr (n, 'placement') and options.convert_directions:
1173         dir = musicxml_direction_to_indicator (n.placement)
1174     dirtype_children = []
1175     # TODO: The direction-type is used for grouping (e.g. dynamics with text),
1176     #       so we can't simply flatten them out!
1177     for dt in n.get_typed_children (musicxml.DirType):
1178         dirtype_children += dt.get_all_children ()
1179
1180     for entry in dirtype_children:
1181         # backets, dashes, octave shifts. pedal marks, hairpins etc. are spanners:
1182         if entry.get_name() in directions_spanners:
1183             event = musicxml_spanner_to_lily_event (entry)
1184             if event:
1185                 res.append (event)
1186             continue
1187
1188         # now treat all the "simple" ones, that can be translated using the dict
1189         ev = None
1190         tmp_tp = directions_dict.get (entry.get_name (), None)
1191         if isinstance (tmp_tp, str): # string means MarkEvent
1192             ev = musicexp.MarkEvent (tmp_tp)
1193         elif isinstance (tmp_tp, tuple): # tuple means (EventClass, "text")
1194             ev = tmp_tp[0] (tmp_tp[1])
1195         elif tmp_tp:
1196             ev = tmp_tp (entry)
1197         if ev:
1198             # TODO: set the correct direction! Unfortunately, \mark in ly does
1199             #       not seem to support directions!
1200             res.append (ev)
1201             continue
1202
1203         if entry.get_name () == "dynamics":
1204             for dynentry in entry.get_all_children ():
1205                 ev = musicxml_dynamics_to_lily_event (dynentry)
1206                 if ev:
1207                     res.append (ev)
1208
1209     return res
1210
1211 def musicxml_frame_to_lily_event (frame):
1212     ev = musicexp.FretEvent ()
1213     ev.strings = frame.get_strings ()
1214     ev.frets = frame.get_frets ()
1215     #offset = frame.get_first_fret () - 1
1216     barre = []
1217     for fn in frame.get_named_children ('frame-note'):
1218         fret = fn.get_fret ()
1219         if fret <= 0:
1220             fret = "o"
1221         el = [ fn.get_string (), fret ]
1222         fingering = fn.get_fingering ()
1223         if fingering >= 0:
1224             el.append (fingering)
1225         ev.elements.append (el)
1226         b = fn.get_barre ()
1227         if b == 'start':
1228             barre[0] = el[0] # start string
1229             barre[2] = el[1] # fret
1230         elif b == 'stop':
1231             barre[1] = el[0] # end string
1232     if barre:
1233         ev.barre = barre
1234     return ev
1235
1236 def musicxml_harmony_to_lily (n):
1237     res = []
1238     for f in n.get_named_children ('frame'):
1239         ev = musicxml_frame_to_lily_event (f)
1240         if ev:
1241             res.append (ev)
1242
1243     return res
1244
1245 def musicxml_figured_bass_note_to_lily (n):
1246     res = musicexp.FiguredBassNote ()
1247     suffix_dict = { 'sharp' : "+",
1248                     'flat' : "-",
1249                     'natural' : "!",
1250                     'double-sharp' : "++",
1251                     'flat-flat' : "--",
1252                     'sharp-sharp' : "++",
1253                     'slash' : "/" }
1254     prefix = n.get_maybe_exist_named_child ('prefix')
1255     if prefix:
1256         res.set_prefix (suffix_dict.get (prefix.get_text (), ""))
1257     fnumber = n.get_maybe_exist_named_child ('figure-number')
1258     if fnumber:
1259         res.set_number (fnumber.get_text ())
1260     suffix = n.get_maybe_exist_named_child ('suffix')
1261     if suffix:
1262         res.set_suffix (suffix_dict.get (suffix.get_text (), ""))
1263     if n.get_maybe_exist_named_child ('extend'):
1264         # TODO: Implement extender lines (unfortunately, in lilypond you have
1265         #       to use \set useBassFigureExtenders = ##t, which turns them on
1266         #       globally, while MusicXML has a property for each note...
1267         #       I'm not sure there is a proper way to implement this cleanly
1268         #n.extend
1269         pass
1270     return res
1271
1272
1273
1274 def musicxml_figured_bass_to_lily (n):
1275     if not isinstance (n, musicxml.FiguredBass):
1276         return
1277     res = musicexp.FiguredBassEvent ()
1278     for i in n.get_named_children ('figure'):
1279         note = musicxml_figured_bass_note_to_lily (i)
1280         if note:
1281             res.append (note)
1282     dur = n.get_maybe_exist_named_child ('duration')
1283     if dur:
1284         # TODO: implement duration (given in base steps!)
1285         # apply the duration to res
1286         length = Rational(int(dur.get_text()), n._divisions)*Rational(1,4)
1287         res.set_real_duration (length)
1288         duration = rational_to_lily_duration (length)
1289         if duration:
1290             res.set_duration (duration)
1291     if hasattr (n, 'parentheses') and n.parentheses == "yes":
1292         res.set_parentheses (True)
1293     return res
1294
1295 instrument_drumtype_dict = {
1296     'Acoustic Snare Drum': 'acousticsnare',
1297     'Side Stick': 'sidestick',
1298     'Open Triangle': 'opentriangle',
1299     'Mute Triangle': 'mutetriangle',
1300     'Tambourine': 'tambourine',
1301     'Bass Drum': 'bassdrum',
1302 }
1303
1304 def musicxml_note_to_lily_main_event (n):
1305     pitch  = None
1306     duration = None
1307     event = None
1308
1309     mxl_pitch = n.get_maybe_exist_typed_child (musicxml.Pitch)
1310     if mxl_pitch:
1311         pitch = musicxml_pitch_to_lily (mxl_pitch)
1312         event = musicexp.NoteEvent ()
1313         event.pitch = pitch
1314
1315         acc = n.get_maybe_exist_named_child ('accidental')
1316         if acc:
1317             # let's not force accs everywhere.
1318             event.cautionary = acc.editorial
1319
1320     elif n.get_maybe_exist_typed_child (musicxml.Unpitched):
1321         # Unpitched elements have display-step and can also have
1322         # display-octave.
1323         unpitched = n.get_maybe_exist_typed_child (musicxml.Unpitched)
1324         event = musicexp.NoteEvent ()
1325         event.pitch = musicxml_unpitched_to_lily (unpitched)
1326
1327     elif n.get_maybe_exist_typed_child (musicxml.Rest):
1328         # rests can have display-octave and display-step, which are
1329         # treated like an ordinary note pitch
1330         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1331         event = musicexp.RestEvent ()
1332         pitch = musicxml_restdisplay_to_lily (rest)
1333         event.pitch = pitch
1334
1335     elif n.instrument_name:
1336         event = musicexp.NoteEvent ()
1337         drum_type = instrument_drumtype_dict.get (n.instrument_name)
1338         if drum_type:
1339             event.drum_type = drum_type
1340         else:
1341             n.message (_ ("drum %s type unknown, please add to instrument_drumtype_dict") % n.instrument_name)
1342             event.drum_type = 'acousticsnare'
1343
1344     else:
1345         n.message (_ ("cannot find suitable event"))
1346
1347     if event:
1348         event.duration = musicxml_duration_to_lily (n)
1349
1350     return event
1351
1352
1353 ## TODO
1354 class NegativeSkip:
1355     def __init__ (self, here, dest):
1356         self.here = here
1357         self.dest = dest
1358
1359 class LilyPondVoiceBuilder:
1360     def __init__ (self):
1361         self.elements = []
1362         self.pending_dynamics = []
1363         self.end_moment = Rational (0)
1364         self.begin_moment = Rational (0)
1365         self.pending_multibar = Rational (0)
1366         self.ignore_skips = False
1367
1368     def _insert_multibar (self):
1369         r = musicexp.MultiMeasureRest ()
1370         r.duration = musicexp.Duration()
1371         r.duration.duration_log = 0
1372         r.duration.factor = self.pending_multibar
1373         self.elements.append (r)
1374         self.begin_moment = self.end_moment
1375         self.end_moment = self.begin_moment + self.pending_multibar
1376         self.pending_multibar = Rational (0)
1377
1378     def add_multibar_rest (self, duration):
1379         self.pending_multibar += duration
1380
1381     def set_duration (self, duration):
1382         self.end_moment = self.begin_moment + duration
1383     def current_duration (self):
1384         return self.end_moment - self.begin_moment
1385
1386     def add_music (self, music, duration):
1387         assert isinstance (music, musicexp.Music)
1388         if self.pending_multibar > Rational (0):
1389             self._insert_multibar ()
1390
1391         self.elements.append (music)
1392         self.begin_moment = self.end_moment
1393         self.set_duration (duration)
1394
1395         # Insert all pending dynamics right after the note/rest:
1396         if isinstance (music, musicexp.ChordEvent) and self.pending_dynamics:
1397             for d in self.pending_dynamics:
1398                 music.append (d)
1399             self.pending_dynamics = []
1400
1401     # Insert some music command that does not affect the position in the measure
1402     def add_command (self, command):
1403         assert isinstance (command, musicexp.Music)
1404         if self.pending_multibar > Rational (0):
1405             self._insert_multibar ()
1406         self.elements.append (command)
1407     def add_barline (self, barline):
1408         # TODO: Implement merging of default barline and custom bar line
1409         self.add_music (barline, Rational (0))
1410     def add_partial (self, command):
1411         self.ignore_skips = True
1412         self.add_command (command)
1413
1414     def add_dynamics (self, dynamic):
1415         # store the dynamic item(s) until we encounter the next note/rest:
1416         self.pending_dynamics.append (dynamic)
1417
1418     def add_bar_check (self, number):
1419         b = musicexp.BarLine ()
1420         b.bar_number = number
1421         self.add_barline (b)
1422
1423     def jumpto (self, moment):
1424         current_end = self.end_moment + self.pending_multibar
1425         diff = moment - current_end
1426
1427         if diff < Rational (0):
1428             error_message (_ ('Negative skip %s') % diff)
1429             diff = Rational (0)
1430
1431         if diff > Rational (0) and not (self.ignore_skips and moment == 0):
1432             skip = musicexp.SkipEvent()
1433             duration_factor = 1
1434             duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (diff.denominator (), -1)
1435             duration_dots = 0
1436             if duration_log > 0: # denominator is a power of 2...
1437                 if diff.numerator () == 3:
1438                     duration_log -= 1
1439                     duration_dots = 1
1440                 else:
1441                     duration_factor = Rational (diff.numerator ())
1442             else:
1443                 # for skips of a whole or more, simply use s1*factor
1444                 duration_log = 0
1445                 duration_factor = diff
1446             skip.duration.duration_log = duration_log
1447             skip.duration.factor = duration_factor
1448             skip.duration.dots = duration_dots
1449
1450             evc = musicexp.ChordEvent ()
1451             evc.elements.append (skip)
1452             self.add_music (evc, diff)
1453
1454         if diff > Rational (0) and moment == 0:
1455             self.ignore_skips = False
1456
1457     def last_event_chord (self, starting_at):
1458
1459         value = None
1460
1461         # if the position matches, find the last ChordEvent, do not cross a bar line!
1462         at = len( self.elements ) - 1
1463         while (at >= 0 and
1464                not isinstance (self.elements[at], musicexp.ChordEvent) and
1465                not isinstance (self.elements[at], musicexp.BarLine)):
1466             at -= 1
1467
1468         if (self.elements
1469             and at >= 0
1470             and isinstance (self.elements[at], musicexp.ChordEvent)
1471             and self.begin_moment == starting_at):
1472             value = self.elements[at]
1473         else:
1474             self.jumpto (starting_at)
1475             value = None
1476         return value
1477
1478     def correct_negative_skip (self, goto):
1479         self.end_moment = goto
1480         self.begin_moment = goto
1481         evc = musicexp.ChordEvent ()
1482         self.elements.append (evc)
1483
1484
1485 class VoiceData:
1486     def __init__ (self):
1487         self.voicename = None
1488         self.voicedata = None
1489         self.ly_voice = None
1490         self.figured_bass = None
1491         self.lyrics_dict = {}
1492         self.lyrics_order = []
1493
1494 def musicxml_step_to_lily (step):
1495     if step:
1496         return (ord (step) - ord ('A') + 7 - 2) % 7
1497     else:
1498         return None
1499
1500 def musicxml_voice_to_lily_voice (voice):
1501     tuplet_events = []
1502     modes_found = {}
1503     lyrics = {}
1504     return_value = VoiceData ()
1505     return_value.voicedata = voice
1506
1507     # First pitch needed for relative mode (if selected in command-line options)
1508     first_pitch = None
1509
1510     # Needed for melismata detection (ignore lyrics on those notes!):
1511     inside_slur = False
1512     is_tied = False
1513     is_chord = False
1514     is_beamed = False
1515     ignore_lyrics = False
1516
1517     current_staff = None
1518
1519     pending_figured_bass = []
1520
1521     # Make sure that the keys in the dict don't get reordered, since
1522     # we need the correct ordering of the lyrics stanzas! By default,
1523     # a dict will reorder its keys
1524     return_value.lyrics_order = voice.get_lyrics_numbers ()
1525     for k in return_value.lyrics_order:
1526         lyrics[k] = []
1527
1528     voice_builder = LilyPondVoiceBuilder ()
1529     figured_bass_builder = LilyPondVoiceBuilder ()
1530
1531     for n in voice._elements:
1532         if n.get_name () == 'forward':
1533             continue
1534         staff = n.get_maybe_exist_named_child ('staff')
1535         if staff:
1536             staff = staff.get_text ()
1537             if current_staff and staff <> current_staff and not n.get_maybe_exist_named_child ('chord'):
1538                 voice_builder.add_command (musicexp.StaffChange (staff))
1539             current_staff = staff
1540
1541         if isinstance (n, musicxml.Partial) and n.partial > 0:
1542             a = musicxml_partial_to_lily (n.partial)
1543             if a:
1544                 voice_builder.add_partial (a)
1545             continue
1546
1547         if isinstance (n, musicxml.Direction):
1548             for a in musicxml_direction_to_lily (n):
1549                 if a.wait_for_note ():
1550                     voice_builder.add_dynamics (a)
1551                 else:
1552                     voice_builder.add_command (a)
1553             continue
1554
1555         if isinstance (n, musicxml.Harmony):
1556             for a in musicxml_harmony_to_lily (n):
1557                 if a.wait_for_note ():
1558                     voice_builder.add_dynamics (a)
1559                 else:
1560                     voice_builder.add_command (a)
1561             continue
1562
1563         if isinstance (n, musicxml.FiguredBass):
1564             a = musicxml_figured_bass_to_lily (n)
1565             if a:
1566                 pending_figured_bass.append (a)
1567             continue
1568
1569         is_chord = n.get_maybe_exist_named_child ('chord')
1570         if not is_chord:
1571             try:
1572                 voice_builder.jumpto (n._when)
1573             except NegativeSkip, neg:
1574                 voice_builder.correct_negative_skip (n._when)
1575                 n.message (_ ("Negative skip found: from %s to %s, difference is %s") % (neg.here, neg.dest, neg.dest - neg.here))
1576
1577         if isinstance (n, musicxml.Attributes):
1578             if n.is_first () and n._measure_position == Rational (0):
1579                 try:
1580                     number = int (n.get_parent ().number)
1581                 except ValueError:
1582                     number = 0
1583                 if number > 0:
1584                     voice_builder.add_bar_check (number)
1585
1586             for a in musicxml_attributes_to_lily (n):
1587                 voice_builder.add_command (a)
1588             continue
1589
1590         if isinstance (n, musicxml.Barline):
1591             barlines = musicxml_barline_to_lily (n)
1592             for a in barlines:
1593                 if isinstance (a, musicexp.BarLine):
1594                     voice_builder.add_barline (a)
1595                 elif isinstance (a, RepeatMarker) or isinstance (a, EndingMarker):
1596                     voice_builder.add_command (a)
1597             continue
1598
1599         if not n.__class__.__name__ == 'Note':
1600             error_message (_ ('unexpected %s; expected %s or %s or %s') % (n, 'Note', 'Attributes', 'Barline'))
1601             continue
1602
1603         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1604         if (rest
1605             and rest.is_whole_measure ()):
1606
1607             voice_builder.add_multibar_rest (n._duration)
1608             continue
1609
1610         if n.is_first () and n._measure_position == Rational (0):
1611             try:
1612                 num = int (n.get_parent ().number)
1613             except ValueError:
1614                 num = 0
1615             if num > 0:
1616                 voice_builder.add_bar_check (num)
1617
1618         main_event = musicxml_note_to_lily_main_event (n)
1619         if main_event and not first_pitch:
1620             first_pitch = main_event.pitch
1621         # ignore lyrics for notes inside a slur, tie, chord or beam
1622         ignore_lyrics = inside_slur or is_tied or is_chord or is_beamed
1623
1624         if main_event and hasattr (main_event, 'drum_type') and main_event.drum_type:
1625             modes_found['drummode'] = True
1626
1627         ev_chord = voice_builder.last_event_chord (n._when)
1628         if not ev_chord:
1629             ev_chord = musicexp.ChordEvent()
1630             voice_builder.add_music (ev_chord, n._duration)
1631
1632         grace = n.get_maybe_exist_typed_child (musicxml.Grace)
1633         if grace:
1634             grace_chord = None
1635             if n.get_maybe_exist_typed_child (musicxml.Chord) and ev_chord.grace_elements:
1636                 grace_chord = ev_chord.grace_elements.get_last_event_chord ()
1637             if not grace_chord:
1638                 grace_chord = musicexp.ChordEvent ()
1639                 ev_chord.append_grace (grace_chord)
1640             if hasattr (grace, 'slash'):
1641                 # TODO: use grace_type = "appoggiatura" for slurred grace notes
1642                 if grace.slash == "yes":
1643                     ev_chord.grace_type = "acciaccatura"
1644             # now that we have inserted the chord into the grace music, insert
1645             # everything into that chord instead of the ev_chord
1646             ev_chord = grace_chord
1647             ev_chord.append (main_event)
1648             ignore_lyrics = True
1649         else:
1650             ev_chord.append (main_event)
1651             # When a note/chord has grace notes (duration==0), the duration of the
1652             # event chord is not yet known, but the event chord was already added
1653             # with duration 0. The following correct this when we hit the real note!
1654             if voice_builder.current_duration () == 0 and n._duration > 0:
1655                 voice_builder.set_duration (n._duration)
1656
1657         # if we have a figured bass, set its voice builder to the correct position
1658         # and insert the pending figures
1659         if pending_figured_bass:
1660           try:
1661               figured_bass_builder.jumpto (n._when)
1662           except NegativeSkip, neg:
1663               pass
1664           for fb in pending_figured_bass:
1665               figured_bass_builder.add_music (fb, fb.real_duration)
1666           pending_figured_bass = []
1667
1668
1669         notations_children = n.get_typed_children (musicxml.Notations)
1670         tuplet_event = None
1671         span_events = []
1672
1673         # The <notation> element can have the following children (+ means implemented, ~ partially, - not):
1674         # +tied | +slur | +tuplet | glissando | slide |
1675         #    ornaments | technical | articulations | dynamics |
1676         #    +fermata | arpeggiate | non-arpeggiate |
1677         #    accidental-mark | other-notation
1678         for notations in notations_children:
1679             for tuplet_event in notations.get_tuplets():
1680                 mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1681                 frac = (1,1)
1682                 if mod:
1683                     frac = mod.get_fraction ()
1684
1685                 tuplet_events.append ((ev_chord, tuplet_event, frac))
1686
1687             slurs = [s for s in notations.get_named_children ('slur')
1688                 if s.get_type () in ('start','stop')]
1689             if slurs:
1690                 if len (slurs) > 1:
1691                     error_message (_ ('cannot have two simultaneous slurs'))
1692                 # record the slur status for the next note in the loop
1693                 if not grace:
1694                     if slurs[0].get_type () == 'start':
1695                         inside_slur = True
1696                     elif slurs[0].get_type () == 'stop':
1697                         inside_slur = False
1698                 lily_ev = musicxml_spanner_to_lily_event (slurs[0])
1699                 ev_chord.append (lily_ev)
1700
1701             if not grace:
1702                 mxl_tie = notations.get_tie ()
1703                 if mxl_tie and mxl_tie.type == 'start':
1704                     ev_chord.append (musicexp.TieEvent ())
1705                     is_tied = True
1706                 else:
1707                     is_tied = False
1708
1709             fermatas = notations.get_named_children ('fermata')
1710             for a in fermatas:
1711                 ev = musicxml_fermata_to_lily_event (a)
1712                 if ev:
1713                     ev_chord.append (ev)
1714
1715             arpeggiate = notations.get_named_children ('arpeggiate')
1716             for a in arpeggiate:
1717                 ev = musicxml_arpeggiate_to_lily_event (a)
1718                 if ev:
1719                     ev_chord.append (ev)
1720
1721             arpeggiate = notations.get_named_children ('non-arpeggiate')
1722             for a in arpeggiate:
1723                 ev = musicxml_nonarpeggiate_to_lily_event (a)
1724                 if ev:
1725                     ev_chord.append (ev)
1726
1727             glissandos = notations.get_named_children ('glissando')
1728             glissandos += notations.get_named_children ('slide')
1729             for a in glissandos:
1730                 ev = musicxml_spanner_to_lily_event (a)
1731                 if ev:
1732                     ev_chord.append (ev)
1733
1734             # accidental-marks are direct children of <notation>!
1735             for a in notations.get_named_children ('accidental-mark'):
1736                 ev = musicxml_articulation_to_lily_event (a)
1737                 if ev:
1738                     ev_chord.append (ev)
1739
1740             # Articulations can contain the following child elements:
1741             #         accent | strong-accent | staccato | tenuto |
1742             #         detached-legato | staccatissimo | spiccato |
1743             #         scoop | plop | doit | falloff | breath-mark |
1744             #         caesura | stress | unstress
1745             # Technical can contain the following child elements:
1746             #         up-bow | down-bow | harmonic | open-string |
1747             #         thumb-position | fingering | pluck | double-tongue |
1748             #         triple-tongue | stopped | snap-pizzicato | fret |
1749             #         string | hammer-on | pull-off | bend | tap | heel |
1750             #         toe | fingernails | other-technical
1751             # Ornaments can contain the following child elements:
1752             #         trill-mark | turn | delayed-turn | inverted-turn |
1753             #         shake | wavy-line | mordent | inverted-mordent |
1754             #         schleifer | tremolo | other-ornament, accidental-mark
1755             ornaments = notations.get_named_children ('ornaments')
1756             ornaments += notations.get_named_children ('articulations')
1757             ornaments += notations.get_named_children ('technical')
1758
1759             for a in ornaments:
1760                 for ch in a.get_all_children ():
1761                     ev = musicxml_articulation_to_lily_event (ch)
1762                     if ev:
1763                         ev_chord.append (ev)
1764
1765             dynamics = notations.get_named_children ('dynamics')
1766             for a in dynamics:
1767                 for ch in a.get_all_children ():
1768                     ev = musicxml_dynamics_to_lily_event (ch)
1769                     if ev:
1770                         ev_chord.append (ev)
1771
1772
1773         mxl_beams = [b for b in n.get_named_children ('beam')
1774                      if (b.get_type () in ('begin', 'end')
1775                          and b.is_primary ())]
1776         if mxl_beams and not conversion_settings.ignore_beaming:
1777             beam_ev = musicxml_spanner_to_lily_event (mxl_beams[0])
1778             if beam_ev:
1779                 ev_chord.append (beam_ev)
1780                 if beam_ev.span_direction == -1: # beam and thus melisma starts here
1781                     is_beamed = True
1782                 elif beam_ev.span_direction == 1: # beam and thus melisma ends here
1783                     is_beamed = False
1784
1785         if tuplet_event:
1786             mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1787             frac = (1,1)
1788             if mod:
1789                 frac = mod.get_fraction ()
1790
1791             tuplet_events.append ((ev_chord, tuplet_event, frac))
1792
1793         # Extract the lyrics
1794         if not rest and not ignore_lyrics:
1795             note_lyrics_processed = []
1796             note_lyrics_elements = n.get_typed_children (musicxml.Lyric)
1797             for l in note_lyrics_elements:
1798                 if l.get_number () < 0:
1799                     for k in lyrics.keys ():
1800                         lyrics[k].append (l.lyric_to_text ())
1801                         note_lyrics_processed.append (k)
1802                 else:
1803                     lyrics[l.number].append(l.lyric_to_text ())
1804                     note_lyrics_processed.append (l.number)
1805             for lnr in lyrics.keys ():
1806                 if not lnr in note_lyrics_processed:
1807                     lyrics[lnr].append ("\skip4")
1808
1809     ## force trailing mm rests to be written out.
1810     voice_builder.add_music (musicexp.ChordEvent (), Rational (0))
1811
1812     ly_voice = group_tuplets (voice_builder.elements, tuplet_events)
1813     ly_voice = group_repeats (ly_voice)
1814
1815     seq_music = musicexp.SequentialMusic ()
1816
1817     if 'drummode' in modes_found.keys ():
1818         ## \key <pitch> barfs in drummode.
1819         ly_voice = [e for e in ly_voice
1820                     if not isinstance(e, musicexp.KeySignatureChange)]
1821
1822     seq_music.elements = ly_voice
1823     for k in lyrics.keys ():
1824         return_value.lyrics_dict[k] = musicexp.Lyrics ()
1825         return_value.lyrics_dict[k].lyrics_syllables = lyrics[k]
1826
1827
1828     if len (modes_found) > 1:
1829        error_message (_ ('cannot simultaneously have more than one mode: %s') % modes_found.keys ())
1830
1831     if options.relative:
1832         v = musicexp.RelativeMusic ()
1833         v.element = seq_music
1834         v.basepitch = first_pitch
1835         seq_music = v
1836
1837     return_value.ly_voice = seq_music
1838     for mode in modes_found.keys ():
1839         v = musicexp.ModeChangingMusicWrapper()
1840         v.element = seq_music
1841         v.mode = mode
1842         return_value.ly_voice = v
1843
1844     # create \figuremode { figured bass elements }
1845     if figured_bass_builder.elements:
1846         fbass_music = musicexp.SequentialMusic ()
1847         fbass_music.elements = figured_bass_builder.elements
1848         v = musicexp.ModeChangingMusicWrapper()
1849         v.mode = 'figuremode'
1850         v.element = fbass_music
1851         return_value.figured_bass = v
1852
1853     return return_value
1854
1855 def musicxml_id_to_lily (id):
1856     digits = ['Zero', 'One', 'Two', 'Three', 'Four', 'Five',
1857               'Six', 'Seven', 'Eight', 'Nine', 'Ten']
1858
1859     for digit in digits:
1860         d = digits.index (digit)
1861         id = re.sub ('%d' % d, digit, id)
1862
1863     id = re.sub  ('[^a-zA-Z]', 'X', id)
1864     return id
1865
1866 def musicxml_pitch_to_lily (mxl_pitch):
1867     p = musicexp.Pitch ()
1868     p.alteration = mxl_pitch.get_alteration ()
1869     p.step = musicxml_step_to_lily (mxl_pitch.get_step ())
1870     p.octave = mxl_pitch.get_octave () - 4
1871     return p
1872
1873 def musicxml_unpitched_to_lily (mxl_unpitched):
1874     p = None
1875     step = mxl_unpitched.get_step ()
1876     if step:
1877         p = musicexp.Pitch ()
1878         p.step = musicxml_step_to_lily (step)
1879     octave = mxl_unpitched.get_octave ()
1880     if octave and p:
1881         p.octave = octave - 4
1882     return p
1883
1884 def musicxml_restdisplay_to_lily (mxl_rest):
1885     p = None
1886     step = mxl_rest.get_step ()
1887     if step:
1888         p = musicexp.Pitch ()
1889         p.step = musicxml_step_to_lily (step)
1890     octave = mxl_rest.get_octave ()
1891     if octave and p:
1892         p.octave = octave - 4
1893     return p
1894
1895 def voices_in_part (part):
1896     """Return a Name -> Voice dictionary for PART"""
1897     part.interpret ()
1898     part.extract_voices ()
1899     voices = part.get_voices ()
1900     part_info = part.get_staff_attributes ()
1901
1902     return (voices, part_info)
1903
1904 def voices_in_part_in_parts (parts):
1905     """return a Part -> Name -> Voice dictionary"""
1906     return dict([(p.id, voices_in_part (p)) for p in parts])
1907
1908
1909 def get_all_voices (parts):
1910     all_voices = voices_in_part_in_parts (parts)
1911
1912     all_ly_voices = {}
1913     all_ly_staffinfo = {}
1914     for p, (name_voice, staff_info) in all_voices.items ():
1915
1916         part_ly_voices = {}
1917         for n, v in name_voice.items ():
1918             progress (_ ("Converting to LilyPond expressions..."))
1919             # musicxml_voice_to_lily_voice returns (lily_voice, {nr->lyrics, nr->lyrics})
1920             part_ly_voices[n] = musicxml_voice_to_lily_voice (v)
1921
1922         all_ly_voices[p] = part_ly_voices
1923         all_ly_staffinfo[p] = staff_info
1924
1925     return (all_ly_voices, all_ly_staffinfo)
1926
1927
1928 def option_parser ():
1929     p = ly.get_option_parser (usage = _ ("musicxml2ly [options] FILE.xml"),
1930                              description = _ ("Convert %s to LilyPond input.") % 'MusicXML' + "\n",
1931                              add_help_option=False)
1932
1933     p.add_option("-h", "--help",
1934                  action="help",
1935                  help=_ ("show this help and exit"))
1936
1937     p.version = ('''%prog (LilyPond) @TOPLEVEL_VERSION@\n\n'''
1938                                       +
1939 _ ("""This program is free software.  It is covered by the GNU General Public
1940 License and you are welcome to change it and/or distribute copies of it
1941 under certain conditions.  Invoke as `%s --warranty' for more
1942 information.""") % 'lilypond'
1943 + """
1944 Copyright (c) 2005--2008 by
1945     Han-Wen Nienhuys <hanwen@xs4all.nl>,
1946     Jan Nieuwenhuizen <janneke@gnu.org> and
1947     Reinhold Kainhofer <reinhold@kainhofer.com>
1948 """)
1949     p.add_option("--version",
1950                  action="version",
1951                  help=_ ("show version number and exit"))
1952
1953     p.add_option ('-v', '--verbose',
1954                   action = "store_true",
1955                   dest = 'verbose',
1956                   help = _ ("be verbose"))
1957
1958     p.add_option ('', '--lxml',
1959                   action = "store_true",
1960                   default = False,
1961                   dest = "use_lxml",
1962                   help = _ ("use lxml.etree; uses less memory and cpu time"))
1963
1964     p.add_option ('-z', '--compressed',
1965                   action = "store_true",
1966                   dest = 'compressed',
1967                   default = False,
1968                   help = _ ("input file is a zip-compressed MusicXML file"))
1969
1970     p.add_option ('-r', '--relative',
1971                   action = "store_true",
1972                   default = True,
1973                   dest = "relative",
1974                   help = _ ("convert pitches in relative mode (default)"))
1975
1976     p.add_option ('-a', '--absolute',
1977                   action = "store_false",
1978                   dest = "relative",
1979                   help = _ ("convert pitches in absolute mode"))
1980
1981     p.add_option ('-l', '--language',
1982                   metavar = _ ("LANG"),
1983                   action = "store",
1984                   help = _ ("use a different language file 'LANG.ly' and corresponding pitch names, e.g. 'deutsch' for deutsch.ly"))
1985
1986     p.add_option ('--nd', '--no-articulation-directions',
1987                   action = "store_false",
1988                   default = True,
1989                   dest = "convert_directions",
1990                   help = _ ("do not convert directions (^, _ or -) for articulations, dynamics, etc."))
1991
1992     p.add_option ('--no-beaming',
1993                   action = "store_false",
1994                   default = True,
1995                   dest = "convert_beaming",
1996                   help = _ ("do not convert beaming information, use lilypond's automatic beaming instead"))
1997
1998     p.add_option ('-o', '--output',
1999                   metavar = _ ("FILE"),
2000                   action = "store",
2001                   default = None,
2002                   type = 'string',
2003                   dest = 'output_name',
2004                   help = _ ("set output filename to FILE"))
2005     p.add_option_group (ly.display_encode (_ ('Bugs')),
2006                         description = (_ ("Report bugs via")
2007                                      + ''' http://post.gmane.org/post.php'''
2008                                      '''?group=gmane.comp.gnu.lilypond.bugs\n'''))
2009     return p
2010
2011 def music_xml_voice_name_to_lily_name (part_id, name):
2012     str = "Part%sVoice%s" % (part_id, name)
2013     return musicxml_id_to_lily (str)
2014
2015 def music_xml_lyrics_name_to_lily_name (part_id, name, lyricsnr):
2016     str = "Part%sVoice%sLyrics%s" % (part_id, name, lyricsnr)
2017     return musicxml_id_to_lily (str)
2018
2019 def music_xml_figuredbass_name_to_lily_name (part_id, voicename):
2020     str = "Part%sVoice%sFiguredBass" % (part_id, voicename)
2021     return musicxml_id_to_lily (str)
2022
2023 def print_voice_definitions (printer, part_list, voices):
2024     for part in part_list:
2025         part_id = part.id
2026         nv_dict = voices.get (part_id, {})
2027         for (name, voice) in nv_dict.items ():
2028             k = music_xml_voice_name_to_lily_name (part_id, name)
2029             printer.dump ('%s = ' % k)
2030             voice.ly_voice.print_ly (printer)
2031             printer.newline()
2032             for l in voice.lyrics_order:
2033                 lname = music_xml_lyrics_name_to_lily_name (part_id, name, l)
2034                 printer.dump ('%s = ' % lname )
2035                 voice.lyrics_dict[l].print_ly (printer)
2036                 printer.newline()
2037             if voice.figured_bass:
2038                 fbname = music_xml_figuredbass_name_to_lily_name (part_id, name)
2039                 printer.dump ('%s = ' % fbname )
2040                 voice.figured_bass.print_ly (printer)
2041                 printer.newline()
2042
2043
2044 def uniq_list (l):
2045     return dict ([(elt,1) for elt in l]).keys ()
2046
2047 # format the information about the staff in the form
2048 #     [staffid,
2049 #         [
2050 #            [voiceid1, [lyricsid11, lyricsid12,...], figuredbassid1],
2051 #            [voiceid2, [lyricsid21, lyricsid22,...], figuredbassid2],
2052 #            ...
2053 #         ]
2054 #     ]
2055 # raw_voices is of the form [(voicename, lyricsids, havefiguredbass)*]
2056 def format_staff_info (part_id, staff_id, raw_voices):
2057     voices = []
2058     for (v, lyricsids, figured_bass) in raw_voices:
2059         voice_name = music_xml_voice_name_to_lily_name (part_id, v)
2060         voice_lyrics = [music_xml_lyrics_name_to_lily_name (part_id, v, l)
2061                    for l in lyricsids]
2062         figured_bass_name = ''
2063         if figured_bass:
2064             figured_bass_name = music_xml_figuredbass_name_to_lily_name (part_id, v)
2065         voices.append ([voice_name, voice_lyrics, figured_bass_name])
2066     return [staff_id, voices]
2067
2068 def update_score_setup (score_structure, part_list, voices):
2069
2070     for part_definition in part_list:
2071         part_id = part_definition.id
2072         nv_dict = voices.get (part_id)
2073         if not nv_dict:
2074             error_message (_ ('unknown part in part-list: %s') % part_id)
2075             continue
2076
2077         staves = reduce (lambda x,y: x+ y,
2078                 [voice.voicedata._staves.keys ()
2079                  for voice in nv_dict.values ()],
2080                 [])
2081         staves_info = []
2082         if len (staves) > 1:
2083             staves_info = []
2084             staves = uniq_list (staves)
2085             staves.sort ()
2086             for s in staves:
2087                 thisstaff_raw_voices = [(voice_name, voice.lyrics_order, voice.figured_bass)
2088                     for (voice_name, voice) in nv_dict.items ()
2089                     if voice.voicedata._start_staff == s]
2090                 staves_info.append (format_staff_info (part_id, s, thisstaff_raw_voices))
2091         else:
2092             thisstaff_raw_voices = [(voice_name, voice.lyrics_order, voice.figured_bass)
2093                 for (voice_name, voice) in nv_dict.items ()]
2094             staves_info.append (format_staff_info (part_id, None, thisstaff_raw_voices))
2095         score_structure.set_part_information (part_id, staves_info)
2096
2097 # Set global values in the \layout block, like auto-beaming etc.
2098 def update_layout_information ():
2099     if not conversion_settings.ignore_beaming and layout_information:
2100         layout_information.set_context_item ('Score', 'autoBeaming = ##f')
2101
2102 def print_ly_preamble (printer, filename):
2103     printer.dump_version ()
2104     printer.print_verbatim ('%% automatically converted from %s\n' % filename)
2105
2106 def print_ly_additional_definitions (printer, filename):
2107     if needed_additional_definitions:
2108         printer.newline ()
2109         printer.print_verbatim ('%% additional definitions required by the score:')
2110         printer.newline ()
2111     for a in set(needed_additional_definitions):
2112         printer.print_verbatim (additional_definitions.get (a, ''))
2113         printer.newline ()
2114     printer.newline ()
2115
2116 # Read in the tree from the given I/O object (either file or string) and
2117 # demarshall it using the classes from the musicxml.py file
2118 def read_xml (io_object, use_lxml):
2119     if use_lxml:
2120         import lxml.etree
2121         tree = lxml.etree.parse (io_object)
2122         mxl_tree = musicxml.lxml_demarshal_node (tree.getroot ())
2123         return mxl_tree
2124     else:
2125         from xml.dom import minidom, Node
2126         doc = minidom.parse(io_object)
2127         node = doc.documentElement
2128         return musicxml.minidom_demarshal_node (node)
2129     return None
2130
2131
2132 def read_musicxml (filename, compressed, use_lxml):
2133     raw_string = None
2134     if compressed:
2135         progress (_ ("Input file %s is compressed, extracting raw MusicXML data") % filename)
2136         z = zipfile.ZipFile (filename, "r")
2137         container_xml = z.read ("META-INF/container.xml")
2138         if not container_xml:
2139             return None
2140         container = read_xml (StringIO.StringIO (container_xml), use_lxml)
2141         if not container:
2142             return None
2143         rootfiles = container.get_maybe_exist_named_child ('rootfiles')
2144         if not rootfiles:
2145             return None
2146         rootfile_list = rootfiles.get_named_children ('rootfile')
2147         mxml_file = None
2148         if len (rootfile_list) > 0:
2149             mxml_file = getattr (rootfile_list[0], 'full-path', None)
2150         if mxml_file:
2151             raw_string = z.read (mxml_file)
2152
2153     io_object = filename
2154     if raw_string:
2155         io_object = StringIO.StringIO (raw_string)
2156
2157     return read_xml (io_object, use_lxml)
2158
2159
2160 def convert (filename, options):
2161     progress (_ ("Reading MusicXML from %s ...") % filename)
2162
2163     tree = read_musicxml (filename, options.compressed, options.use_lxml)
2164     score_information = extract_score_information (tree)
2165     paper_information = extract_paper_information (tree)
2166
2167     parts = tree.get_typed_children (musicxml.Part)
2168     (voices, staff_info) = get_all_voices (parts)
2169
2170     score_structure = None
2171     mxl_pl = tree.get_maybe_exist_typed_child (musicxml.Part_list)
2172     if mxl_pl:
2173         score_structure = extract_score_structure (mxl_pl, staff_info)
2174         part_list = mxl_pl.get_named_children ("score-part")
2175
2176     # score information is contained in the <work>, <identification> or <movement-title> tags
2177     update_score_setup (score_structure, part_list, voices)
2178     # After the conversion, update the list of settings for the \layout block
2179     update_layout_information ()
2180
2181     if not options.output_name:
2182         options.output_name = os.path.basename (filename)
2183         options.output_name = os.path.splitext (options.output_name)[0]
2184     elif re.match (".*\.ly", options.output_name):
2185         options.output_name = os.path.splitext (options.output_name)[0]
2186
2187
2188     defs_ly_name = options.output_name + '-defs.ly'
2189     driver_ly_name = options.output_name + '.ly'
2190
2191     printer = musicexp.Output_printer()
2192     progress (_ ("Output to `%s'") % defs_ly_name)
2193     printer.set_file (codecs.open (defs_ly_name, 'wb', encoding='utf-8'))
2194
2195     print_ly_preamble (printer, filename)
2196     print_ly_additional_definitions (printer, filename)
2197     if score_information:
2198         score_information.print_ly (printer)
2199     if paper_information:
2200         paper_information.print_ly (printer)
2201     if layout_information:
2202         layout_information.print_ly (printer)
2203     print_voice_definitions (printer, part_list, voices)
2204
2205     printer.close ()
2206
2207
2208     progress (_ ("Output to `%s'") % driver_ly_name)
2209     printer = musicexp.Output_printer()
2210     printer.set_file (codecs.open (driver_ly_name, 'wb', encoding='utf-8'))
2211     print_ly_preamble (printer, filename)
2212     printer.dump (r'\include "%s"' % os.path.basename (defs_ly_name))
2213     score_structure.print_ly (printer)
2214     printer.newline ()
2215
2216     return voices
2217
2218 def get_existing_filename_with_extension (filename, ext):
2219     if os.path.exists (filename):
2220         return filename
2221     newfilename = filename + "." + ext
2222     if os.path.exists (newfilename):
2223         return newfilename;
2224     newfilename = filename + ext
2225     if os.path.exists (newfilename):
2226         return newfilename;
2227     return ''
2228
2229 def main ():
2230     opt_parser = option_parser()
2231
2232     global options
2233     (options, args) = opt_parser.parse_args ()
2234     if not args:
2235         opt_parser.print_usage()
2236         sys.exit (2)
2237
2238     if options.language:
2239         musicexp.set_pitch_language (options.language)
2240         needed_additional_definitions.append (options.language)
2241         additional_definitions[options.language] = "\\include \"%s.ly\"\n" % options.language
2242     conversion_settings.ignore_beaming = not options.convert_beaming
2243
2244     # Allow the user to leave out the .xml or xml on the filename
2245     filename = get_existing_filename_with_extension (args[0], "xml")
2246     if not filename:
2247         filename = get_existing_filename_with_extension (args[0], "mxl")
2248         options.compressed = True
2249     if filename and os.path.exists (filename):
2250         voices = convert (filename, options)
2251     else:
2252         progress (_ ("Unable to find input file %s") % args[0])
2253
2254 if __name__ == '__main__':
2255     main()