]> git.donarmstrong.com Git - lilypond.git/blob - scripts/musicxml2ly.py
Dist documentation text file too.
[lilypond.git] / scripts / musicxml2ly.py
1 #!@TARGET_PYTHON@
2
3 import optparse
4 import sys
5 import re
6 import os
7 import string
8 import codecs
9 import zipfile
10 import StringIO
11 from gettext import gettext as _
12
13 """
14 @relocate-preamble@
15 """
16
17 import lilylib as ly
18
19 import musicxml
20 import musicexp
21
22 from rational import Rational
23
24 # Store command-line options in a global variable, so we can access them everythwere
25 options = None
26
27 def progress (str):
28     ly.stderr_write (str + '\n')
29     sys.stderr.flush ()
30
31 def error_message (str):
32     ly.stderr_write (str + '\n')
33     sys.stderr.flush ()
34
35 needed_additional_definitions = []
36 additional_definitions = {
37   "snappizzicato": """#(define-markup-command (snappizzicato layout props) ()
38   (interpret-markup layout props
39     (markup #:stencil
40       (ly:stencil-translate-axis
41         (ly:stencil-add
42           (make-circle-stencil 0.7 0.1 #f)
43           (ly:make-stencil
44             (list 'draw-line 0.1 0 0.1 0 1)
45             '(-0.1 . 0.1) '(0.1 . 1)
46           )
47         )
48         0.7 X
49       )
50     )
51   )
52 )"""
53 }
54
55 def round_to_two_digits (val):
56     return round (val * 100) / 100
57
58 def extract_layout_information (tree):
59     paper = musicexp.Paper ()
60     defaults = tree.get_maybe_exist_named_child ('defaults')
61     if not defaults:
62         return None
63     tenths = -1
64     scaling = defaults.get_maybe_exist_named_child ('scaling')
65     if scaling:
66         mm = scaling.get_named_child ('millimeters')
67         mm = string.atof (mm.get_text ())
68         tn = scaling.get_maybe_exist_named_child ('tenths')
69         tn = string.atof (tn.get_text ())
70         tenths = mm / tn
71         paper.global_staff_size = mm * 72.27 / 25.4
72     # We need the scaling (i.e. the size of staff tenths for everything!
73     if tenths < 0:
74         return None
75
76     def from_tenths (txt):
77         return round_to_two_digits (string.atof (txt) * tenths / 10)
78     def set_paper_variable (varname, parent, element_name):
79         el = parent.get_maybe_exist_named_child (element_name)
80         if el: # Convert to cm from tenths
81             setattr (paper, varname, from_tenths (el.get_text ()))
82
83     pagelayout = defaults.get_maybe_exist_named_child ('page-layout')
84     if pagelayout:
85         # TODO: How can one have different margins for even and odd pages???
86         set_paper_variable ("page_height", pagelayout, 'page-height')
87         set_paper_variable ("page_width", pagelayout, 'page-width')
88
89         pmargins = pagelayout.get_named_children ('page-margins')
90         for pm in pmargins:
91             set_paper_variable ("left_margin", pm, 'left-margin')
92             set_paper_variable ("right_margin", pm, 'right-margin')
93             set_paper_variable ("bottom_margin", pm, 'bottom-margin')
94             set_paper_variable ("top_margin", pm, 'top-margin')
95
96     systemlayout = defaults.get_maybe_exist_named_child ('system-layout')
97     if systemlayout:
98         sl = systemlayout.get_maybe_exist_named_child ('system-margins')
99         if sl:
100             set_paper_variable ("system_left_margin", sl, 'left-margin')
101             set_paper_variable ("system_right_margin", sl, 'right-margin')
102         set_paper_variable ("system_distance", systemlayout, 'system-distance')
103         set_paper_variable ("top_system_distance", systemlayout, 'top-system-distance')
104
105     stafflayout = defaults.get_named_children ('staff-layout')
106     for sl in stafflayout:
107         nr = getattr (sl, 'number', 1)
108         dist = sl.get_named_child ('staff-distance')
109         #TODO: the staff distance needs to be set in the Staff context!!!
110
111     # TODO: Finish appearance?, music-font?, word-font?, lyric-font*, lyric-language*
112     appearance = defaults.get_named_child ('appearance')
113     if appearance:
114         lws = appearance.get_named_children ('line-width')
115         for lw in lws:
116             # Possible types are: beam, bracket, dashes,
117             #    enclosure, ending, extend, heavy barline, leger,
118             #    light barline, octave shift, pedal, slur middle, slur tip,
119             #    staff, stem, tie middle, tie tip, tuplet bracket, and wedge
120             tp = lw.type
121             w = from_tenths (lw.get_text  ())
122             # TODO: Do something with these values!
123         nss = appearance.get_named_children ('note-size')
124         for ns in nss:
125             # Possible types are: cue, grace and large
126             tp = ns.type
127             sz = from_tenths (ns.get_text ())
128             # TODO: Do something with these values!
129         # <other-appearance> elements have no specified meaning
130
131     rawmusicfont = defaults.get_named_child ('music-font')
132     if rawmusicfont:
133         # TODO: Convert the font
134         pass
135     rawwordfont = defaults.get_named_child ('word-font')
136     if rawwordfont:
137         # TODO: Convert the font
138         pass
139     rawlyricsfonts = defaults.get_named_children ('lyric-font')
140     for lyricsfont in rawlyricsfonts:
141         # TODO: Convert the font
142         pass
143
144     return paper
145
146
147
148 # score information is contained in the <work>, <identification> or <movement-title> tags
149 # extract those into a hash, indexed by proper lilypond header attributes
150 def extract_score_information (tree):
151     header = musicexp.Header ()
152     def set_if_exists (field, value):
153         if value:
154             header.set_field (field, musicxml.escape_ly_output_string (value))
155
156     work = tree.get_maybe_exist_named_child ('work')
157     if work:
158         set_if_exists ('title', work.get_work_title ())
159         set_if_exists ('worknumber', work.get_work_number ())
160         set_if_exists ('opus', work.get_opus ())
161     else:
162         movement_title = tree.get_maybe_exist_named_child ('movement-title')
163         if movement_title:
164             set_if_exists ('title', movement_title.get_text ())
165     
166     identifications = tree.get_named_children ('identification')
167     for ids in identifications:
168         set_if_exists ('copyright', ids.get_rights ())
169         set_if_exists ('composer', ids.get_composer ())
170         set_if_exists ('arranger', ids.get_arranger ())
171         set_if_exists ('editor', ids.get_editor ())
172         set_if_exists ('poet', ids.get_poet ())
173             
174         set_if_exists ('tagline', ids.get_encoding_software ())
175         set_if_exists ('encodingsoftware', ids.get_encoding_software ())
176         set_if_exists ('encodingdate', ids.get_encoding_date ())
177         set_if_exists ('encoder', ids.get_encoding_person ())
178         set_if_exists ('encodingdescription', ids.get_encoding_description ())
179
180     return header
181
182 class PartGroupInfo:
183     def __init__ (self):
184         self.start = {}
185         self.end = {}
186     def is_empty (self):
187         return len (self.start) + len (self.end) == 0
188     def add_start (self, g):
189         self.start[getattr (g, 'number', "1")] = g
190     def add_end (self, g):
191         self.end[getattr (g, 'number', "1")] = g
192     def print_ly (self, printer):
193         error_message ("Unprocessed PartGroupInfo %s encountered" % self)
194     def ly_expression (self):
195         error_message ("Unprocessed PartGroupInfo %s encountered" % self)
196         return ''
197
198 def staff_attributes_to_string_tunings (mxl_attr):
199     details = mxl_attr.get_maybe_exist_named_child ('staff-details')
200     if not details:
201         return []
202     lines = 6
203     staff_lines = details.get_maybe_exist_named_child ('staff-lines')
204     if staff_lines:
205         lines = string.atoi (staff_lines.get_text ())
206
207     tunings = [0]*lines
208     staff_tunings = details.get_named_children ('staff-tuning')
209     for i in staff_tunings:
210         p = musicexp.Pitch()
211         line = 0
212         try:
213             line = string.atoi (i.line) - 1
214         except ValueError:
215             pass
216         tunings[line] = p
217
218         step = i.get_named_child (u'tuning-step')
219         step = step.get_text ().strip ()
220         p.step = musicxml_step_to_lily (step)
221
222         octave = i.get_named_child (u'tuning-octave')
223         octave = octave.get_text ().strip ()
224         p.octave = int (octave) - 4
225
226         alter = i.get_named_child (u'tuning-alter')
227         if alter:
228             p.alteration = int (alter.get_text ().strip ())
229     # lilypond seems to use the opposite ordering than MusicXML...
230     tunings.reverse ()
231
232     return tunings
233
234
235 def staff_attributes_to_lily_staff (mxl_attr):
236     if not mxl_attr:
237         return musicexp.Staff ()
238
239     (staff_id, attributes) = mxl_attr.items ()[0]
240
241     # distinguish by clef:
242     # percussion (percussion and rhythmic), tab, and everything else
243     clef_sign = None
244     clef = attributes.get_maybe_exist_named_child ('clef')
245     if clef:
246         sign = clef.get_maybe_exist_named_child ('sign')
247         if sign:
248             clef_sign = {"percussion": "percussion", "TAB": "tab"}.get (sign.get_text (), None)
249
250     lines = 5
251     details = attributes.get_maybe_exist_named_child ('staff-details')
252     if details:
253         staff_lines = details.get_maybe_exist_named_child ('staff-lines')
254         if staff_lines:
255             lines = string.atoi (staff_lines.get_text ())
256
257     staff = None
258     if clef_sign == "percussion" and lines == 1:
259         staff = musicexp.RhythmicStaff ()
260     elif clef_sign == "percussion":
261         staff = musicexp.DrumStaff ()
262         # staff.drum_style_table = ???
263     elif clef_sign == "tab":
264         staff = musicexp.TabStaff ()
265         staff.string_tunings = staff_attributes_to_string_tunings (attributes)
266         # staff.tablature_format = ???
267     else:
268         # TODO: Handle case with lines <> 5!
269         staff = musicexp.Staff ()
270
271     return staff
272
273
274 def extract_score_layout (part_list, staffinfo):
275     layout = musicexp.StaffGroup (None)
276     if not part_list:
277         return layout
278
279     def read_score_part (el):
280         if not isinstance (el, musicxml.Score_part):
281             return
282         # Depending on the attributes of the first measure, we create different
283         # types of staves (Staff, RhythmicStaff, DrumStaff, TabStaff, etc.)
284         staff = staff_attributes_to_lily_staff (staffinfo.get (el.id, None))
285         if not staff:
286             return None
287         staff.id = el.id
288         partname = el.get_maybe_exist_named_child ('part-name')
289         # Finale gives unnamed parts the name "MusicXML Part" automatically!
290         if partname and partname.get_text() != "MusicXML Part":
291             staff.instrument_name = partname.get_text ()
292         if el.get_maybe_exist_named_child ('part-abbreviation'):
293             staff.short_instrument_name = el.get_maybe_exist_named_child ('part-abbreviation').get_text ()
294         # TODO: Read in the MIDI device / instrument
295         return staff
296
297     def read_score_group (el):
298         if not isinstance (el, musicxml.Part_group):
299             return
300         group = musicexp.StaffGroup ()
301         if hasattr (el, 'number'):
302             id = el.number
303             group.id = id
304             #currentgroups_dict[id] = group
305             #currentgroups.append (id)
306         if el.get_maybe_exist_named_child ('group-name'):
307             group.instrument_name = el.get_maybe_exist_named_child ('group-name').get_text ()
308         if el.get_maybe_exist_named_child ('group-abbreviation'):
309             group.short_instrument_name = el.get_maybe_exist_named_child ('group-abbreviation').get_text ()
310         if el.get_maybe_exist_named_child ('group-symbol'):
311             group.symbol = el.get_maybe_exist_named_child ('group-symbol').get_text ()
312         if el.get_maybe_exist_named_child ('group-barline'):
313             group.spanbar = el.get_maybe_exist_named_child ('group-barline').get_text ()
314         return group
315
316
317     parts_groups = part_list.get_all_children ()
318
319     # the start/end group tags are not necessarily ordered correctly and groups
320     # might even overlap, so we can't go through the children sequentially!
321
322     # 1) Replace all Score_part objects by their corresponding Staff objects,
323     #    also collect all group start/stop points into one PartGroupInfo object
324     staves = []
325     group_info = PartGroupInfo ()
326     for el in parts_groups:
327         if isinstance (el, musicxml.Score_part):
328             if not group_info.is_empty ():
329                 staves.append (group_info)
330                 group_info = PartGroupInfo ()
331             staff = read_score_part (el)
332             if staff:
333                 staves.append (staff)
334         elif isinstance (el, musicxml.Part_group):
335             if el.type == "start":
336                 group_info.add_start (el)
337             elif el.type == "stop":
338                 group_info.add_end (el)
339     if not group_info.is_empty ():
340         staves.append (group_info)
341
342     # 2) Now, detect the groups:
343     group_starts = []
344     pos = 0
345     while pos < len (staves):
346         el = staves[pos]
347         if isinstance (el, PartGroupInfo):
348             prev_start = 0
349             if len (group_starts) > 0:
350                 prev_start = group_starts[-1]
351             elif len (el.end) > 0: # no group to end here
352                 el.end = {}
353             if len (el.end) > 0: # closes an existing group
354                 ends = el.end.keys ()
355                 prev_started = staves[prev_start].start.keys ()
356                 grpid = None
357                 intersection = filter(lambda x:x in ends, prev_started)
358                 if len (intersection) > 0:
359                     grpid = intersection[0]
360                 else:
361                     # Close the last started group
362                     grpid = staves[prev_start].start.keys () [0]
363                     # Find the corresponding closing tag and remove it!
364                     j = pos + 1
365                     foundclosing = False
366                     while j < len (staves) and not foundclosing:
367                         if isinstance (staves[j], PartGroupInfo) and staves[j].end.has_key (grpid):
368                             foundclosing = True
369                             del staves[j].end[grpid]
370                             if staves[j].is_empty ():
371                                 del staves[j]
372                         j += 1
373                 grpobj = staves[prev_start].start[grpid]
374                 group = read_score_group (grpobj)
375                 # remove the id from both the start and end
376                 if el.end.has_key (grpid):
377                     del el.end[grpid]
378                 del staves[prev_start].start[grpid]
379                 if el.is_empty ():
380                     del staves[pos]
381                 # replace the staves with the whole group
382                 for j in staves[(prev_start + 1):pos]:
383                     if j.is_group:
384                         j.stafftype = "InnerStaffGroup"
385                     group.append_staff (j)
386                 del staves[(prev_start + 1):pos]
387                 staves.insert (prev_start + 1, group)
388                 # reset pos so that we continue at the correct position
389                 pos = prev_start
390                 # remove an empty start group
391                 if staves[prev_start].is_empty ():
392                     del staves[prev_start]
393                     group_starts.remove (prev_start)
394                     pos -= 1
395             elif len (el.start) > 0: # starts new part groups
396                 group_starts.append (pos)
397         pos += 1
398
399     if len (staves) == 1:
400         return staves[0]
401     for i in staves:
402         layout.append_staff (i)
403     return layout
404
405
406
407 def musicxml_duration_to_lily (mxl_note):
408     d = musicexp.Duration ()
409     # if the note has no Type child, then that method spits out a warning and 
410     # returns 0, i.e. a whole note
411     d.duration_log = mxl_note.get_duration_log ()
412
413     d.dots = len (mxl_note.get_typed_children (musicxml.Dot))
414     # Grace notes by specification have duration 0, so no time modification 
415     # factor is possible. It even messes up the output with *0/1
416     if not mxl_note.get_maybe_exist_typed_child (musicxml.Grace):
417         d.factor = mxl_note._duration / d.get_length ()
418
419     return d
420
421 def rational_to_lily_duration (rational_len):
422     d = musicexp.Duration ()
423     d.duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (rational_len.denominator (), -1)
424     d.factor = Rational (rational_len.numerator ())
425     if d.duration_log < 0:
426         error_message ("Encountered rational duration with denominator %s, "
427                        "unable to convert to lilypond duration" %
428                        rational_len.denominator ())
429         # TODO: Test the above error message
430         return None
431     else:
432         return d
433
434 def musicxml_partial_to_lily (partial_len):
435     if partial_len > 0:
436         p = musicexp.Partial ()
437         p.partial = rational_to_lily_duration (partial_len)
438         return p
439     else:
440         return Null
441
442 # Detect repeats and alternative endings in the chord event list (music_list)
443 # and convert them to the corresponding musicexp objects, containing nested
444 # music
445 def group_repeats (music_list):
446     repeat_replaced = True
447     music_start = 0
448     i = 0
449     # Walk through the list of expressions, looking for repeat structure
450     # (repeat start/end, corresponding endings). If we find one, try to find the
451     # last event of the repeat, replace the whole structure and start over again.
452     # For nested repeats, as soon as we encounter another starting repeat bar,
453     # treat that one first, and start over for the outer repeat.
454     while repeat_replaced and i < 100:
455         i += 1
456         repeat_start = -1  # position of repeat start / end
457         repeat_end = -1 # position of repeat start / end
458         repeat_times = 0
459         ending_start = -1 # position of current ending start
460         endings = [] # list of already finished endings
461         pos = 0
462         last = len (music_list) - 1
463         repeat_replaced = False
464         final_marker = 0
465         while pos < len (music_list) and not repeat_replaced:
466             e = music_list[pos]
467             repeat_finished = False
468             if isinstance (e, RepeatMarker):
469                 if not repeat_times and e.times:
470                     repeat_times = e.times
471                 if e.direction == -1:
472                     if repeat_end >= 0:
473                         repeat_finished = True
474                     else:
475                         repeat_start = pos
476                         repeat_end = -1
477                         ending_start = -1
478                         endings = []
479                 elif e.direction == 1:
480                     if repeat_start < 0:
481                         repeat_start = 0
482                     if repeat_end < 0:
483                         repeat_end = pos
484                     final_marker = pos
485             elif isinstance (e, EndingMarker):
486                 if e.direction == -1:
487                     if repeat_start < 0:
488                         repeat_start = 0
489                     if repeat_end < 0:
490                         repeat_end = pos
491                     ending_start = pos
492                 elif e.direction == 1:
493                     if ending_start < 0:
494                         ending_start = 0
495                     endings.append ([ending_start, pos])
496                     ending_start = -1
497                     final_marker = pos
498             elif not isinstance (e, musicexp.BarLine):
499                 # As soon as we encounter an element when repeat start and end
500                 # is set and we are not inside an alternative ending,
501                 # this whole repeat structure is finished => replace it
502                 if repeat_start >= 0 and repeat_end > 0 and ending_start < 0:
503                     repeat_finished = True
504
505             # Finish off all repeats without explicit ending bar (e.g. when
506             # we convert only one page of a multi-page score with repeats)
507             if pos == last and repeat_start >= 0:
508                 repeat_finished = True
509                 final_marker = pos
510                 if repeat_end < 0:
511                     repeat_end = pos
512                 if ending_start >= 0:
513                     endings.append ([ending_start, pos])
514                     ending_start = -1
515
516             if repeat_finished:
517                 # We found the whole structure replace it!
518                 r = musicexp.RepeatedMusic ()
519                 if repeat_times <= 0:
520                     repeat_times = 2
521                 r.repeat_count = repeat_times
522                 # don't erase the first element for "implicit" repeats (i.e. no
523                 # starting repeat bars at the very beginning)
524                 start = repeat_start+1
525                 if repeat_start == music_start:
526                     start = music_start
527                 r.set_music (music_list[start:repeat_end])
528                 for (start, end) in endings:
529                     s = musicexp.SequentialMusic ()
530                     s.elements = music_list[start+1:end]
531                     r.add_ending (s)
532                 del music_list[repeat_start:final_marker+1]
533                 music_list.insert (repeat_start, r)
534                 repeat_replaced = True
535             pos += 1
536         # TODO: Implement repeats until the end without explicit ending bar
537     return music_list
538
539
540
541 def group_tuplets (music_list, events):
542
543
544     """Collect Musics from
545     MUSIC_LIST demarcated by EVENTS_LIST in TimeScaledMusic objects.
546     """
547
548     
549     indices = []
550
551     j = 0
552     for (ev_chord, tuplet_elt, fraction) in events:
553         while (j < len (music_list)):
554             if music_list[j] == ev_chord:
555                 break
556             j += 1
557         if tuplet_elt.type == 'start':
558             indices.append ((j, None, fraction))
559         elif tuplet_elt.type == 'stop':
560             indices[-1] = (indices[-1][0], j, indices[-1][2])
561
562     new_list = []
563     last = 0
564     for (i1, i2, frac) in indices:
565         if i1 >= i2:
566             continue
567
568         new_list.extend (music_list[last:i1])
569         seq = musicexp.SequentialMusic ()
570         last = i2 + 1
571         seq.elements = music_list[i1:last]
572
573         tsm = musicexp.TimeScaledMusic ()
574         tsm.element = seq
575
576         tsm.numerator = frac[0]
577         tsm.denominator  = frac[1]
578
579         new_list.append (tsm)
580
581     new_list.extend (music_list[last:])
582     return new_list
583
584
585 def musicxml_clef_to_lily (attributes):
586     change = musicexp.ClefChange ()
587     (change.type, change.position, change.octave) = attributes.get_clef_information ()
588     return change
589     
590 def musicxml_time_to_lily (attributes):
591     (beats, type) = attributes.get_time_signature ()
592
593     change = musicexp.TimeSignatureChange()
594     change.fraction = (beats, type)
595     
596     return change
597
598 def musicxml_key_to_lily (attributes):
599     start_pitch  = musicexp.Pitch ()
600     (fifths, mode) = attributes.get_key_signature () 
601     try:
602         (n,a) = {
603             'major' : (0,0),
604             'minor' : (5,0),
605             }[mode]
606         start_pitch.step = n
607         start_pitch.alteration = a
608     except  KeyError:
609         error_message ('unknown mode %s' % mode)
610
611     fifth = musicexp.Pitch()
612     fifth.step = 4
613     if fifths < 0:
614         fifths *= -1
615         fifth.step *= -1
616         fifth.normalize ()
617     
618     for x in range (fifths):
619         start_pitch = start_pitch.transposed (fifth)
620
621     start_pitch.octave = 0
622
623     change = musicexp.KeySignatureChange()
624     change.mode = mode
625     change.tonic = start_pitch
626     return change
627     
628 def musicxml_attributes_to_lily (attrs):
629     elts = []
630     attr_dispatch =  {
631         'clef': musicxml_clef_to_lily,
632         'time': musicxml_time_to_lily,
633         'key': musicxml_key_to_lily
634     }
635     for (k, func) in attr_dispatch.items ():
636         children = attrs.get_named_children (k)
637         if children:
638             elts.append (func (attrs))
639     
640     return elts
641
642 class Marker (musicexp.Music):
643     def __init__ (self):
644         self.direction = 0
645         self.event = None
646     def print_ly (self, printer):
647         sys.stderr.write ("Encountered unprocessed marker %s\n" % self)
648         pass
649     def ly_expression (self):
650         return ""
651 class RepeatMarker (Marker):
652     def __init__ (self):
653         Marker.__init__ (self)
654         self.times = 0
655 class EndingMarker (Marker):
656     pass
657
658 # Convert the <barline> element to musicxml.BarLine (for non-standard barlines)
659 # and to RepeatMarker and EndingMarker objects for repeat and
660 # alternatives start/stops
661 def musicxml_barline_to_lily (barline):
662     # retval contains all possible markers in the order:
663     # 0..bw_ending, 1..bw_repeat, 2..barline, 3..fw_repeat, 4..fw_ending
664     retval = {}
665     bartype_element = barline.get_maybe_exist_named_child ("bar-style")
666     repeat_element = barline.get_maybe_exist_named_child ("repeat")
667     ending_element = barline.get_maybe_exist_named_child ("ending")
668
669     bartype = None
670     if bartype_element:
671         bartype = bartype_element.get_text ()
672
673     if repeat_element and hasattr (repeat_element, 'direction'):
674         repeat = RepeatMarker ()
675         repeat.direction = {"forward": -1, "backward": 1}.get (repeat_element.direction, 0)
676
677         if ( (repeat_element.direction == "forward" and bartype == "heavy-light") or
678              (repeat_element.direction == "backward" and bartype == "light-heavy") ):
679             bartype = None
680         if hasattr (repeat_element, 'times'):
681             try:
682                 repeat.times = int (repeat_element.times)
683             except ValueError:
684                 repeat.times = 2
685         repeat.event = barline
686         if repeat.direction == -1:
687             retval[3] = repeat
688         else:
689             retval[1] = repeat
690
691     if ending_element and hasattr (ending_element, 'type'):
692         ending = EndingMarker ()
693         ending.direction = {"start": -1, "stop": 1, "discontinue": 1}.get (ending_element.type, 0)
694         ending.event = barline
695         if ending.direction == -1:
696             retval[4] = ending
697         else:
698             retval[0] = ending
699
700     if bartype:
701         b = musicexp.BarLine ()
702         b.type = bartype
703         retval[2] = b
704
705     return retval.values ()
706
707 spanner_event_dict = {
708     'slur' : musicexp.SlurEvent,
709     'beam' : musicexp.BeamEvent,
710     'glissando' : musicexp.GlissandoEvent,
711     'pedal' : musicexp.PedalEvent,
712     'wavy-line' : musicexp.TrillSpanEvent,
713     'octave-shift' : musicexp.OctaveShiftEvent,
714     'wedge' : musicexp.HairpinEvent
715 }
716 spanner_type_dict = {
717     'start': -1,
718     'begin': -1,
719     'crescendo': -1,
720     'decreschendo': -1,
721     'diminuendo': -1,
722     'continue': 0,
723     'up': -1,
724     'down': -1,
725     'stop': 1,
726     'end' : 1
727 }
728
729 def musicxml_spanner_to_lily_event (mxl_event):
730     ev = None
731     
732     name = mxl_event.get_name()
733     func = spanner_event_dict.get (name)
734     if func:
735         ev = func()
736     else:
737         error_message ('unknown span event %s' % mxl_event)
738
739
740     type = mxl_event.get_type ()
741     span_direction = spanner_type_dict.get (type)
742     # really check for None, because some types will be translated to 0, which
743     # would otherwise also lead to the unknown span warning
744     if span_direction != None:
745         ev.span_direction = span_direction
746     else:
747         error_message ('unknown span type %s for %s' % (type, name))
748
749     ev.set_span_type (type)
750     ev.line_type = getattr (mxl_event, 'line-type', 'solid')
751
752     # assign the size, which is used for octave-shift, etc.
753     ev.size = mxl_event.get_size ()
754
755     return ev
756
757 def musicxml_direction_to_indicator (direction):
758     return { "above": 1, "upright": 1, "up":1, "below": -1, "downright": -1, "down": -1, "inverted": -1 }.get (direction, 0)
759
760 def musicxml_fermata_to_lily_event (mxl_event):
761     ev = musicexp.ArticulationEvent ()
762     txt = mxl_event.get_text ()
763     # The contents of the element defined the shape, possible are normal, angled and square
764     ev.type = { "angled": "shortfermata", "square": "longfermata" }.get (txt, "fermata")
765     if hasattr (mxl_event, 'type'):
766       dir = musicxml_direction_to_indicator (mxl_event.type)
767       if dir and options.convert_directions:
768         ev.force_direction = dir
769     return ev
770
771 def musicxml_arpeggiate_to_lily_event (mxl_event):
772     ev = musicexp.ArpeggioEvent ()
773     ev.direction = musicxml_direction_to_indicator (getattr (mxl_event, 'direction', None))
774     return ev
775
776 def musicxml_tremolo_to_lily_event (mxl_event):
777     ev = musicexp.TremoloEvent ()
778     txt = mxl_event.get_text ()
779     if txt:
780       ev.bars = txt
781     else:
782       ev.bars = "3"
783     return ev
784
785 def musicxml_falloff_to_lily_event (mxl_event):
786     ev = musicexp.BendEvent ()
787     ev.alter = -4
788     return ev
789
790 def musicxml_doit_to_lily_event (mxl_event):
791     ev = musicexp.BendEvent ()
792     ev.alter = 4
793     return ev
794
795 def musicxml_bend_to_lily_event (mxl_event):
796     ev = musicexp.BendEvent ()
797     ev.alter = mxl_event.bend_alter ()
798     return ev
799
800 def musicxml_caesura_to_lily_event (mxl_event):
801     ev = musicexp.MarkupEvent ()
802     # FIXME: default to straight or curved caesura?
803     ev.contents = "\\musicglyph #\"scripts.caesura.straight\""
804     ev.force_direction = 1
805     return ev
806
807 def musicxml_fingering_event (mxl_event):
808     ev = musicexp.ShortArticulationEvent ()
809     ev.type = mxl_event.get_text ()
810     return ev
811
812 def musicxml_snappizzicato_event (mxl_event):
813     needed_additional_definitions.append ("snappizzicato")
814     ev = musicexp.MarkupEvent ()
815     ev.contents = "\\snappizzicato"
816     return ev
817
818 def musicxml_string_event (mxl_event):
819     ev = musicexp.NoDirectionArticulationEvent ()
820     ev.type = mxl_event.get_text ()
821     return ev
822
823 def musicxml_accidental_mark (mxl_event):
824     ev = musicexp.MarkupEvent ()
825     contents = { "sharp": "\\sharp",
826       "natural": "\\natural",
827       "flat": "\\flat",
828       "double-sharp": "\\doublesharp",
829       "sharp-sharp": "\\sharp\\sharp",
830       "flat-flat": "\\flat\\flat",
831       "flat-flat": "\\doubleflat",
832       "natural-sharp": "\\natural\\sharp",
833       "natural-flat": "\\natural\\flat",
834       "quarter-flat": "\\semiflat",
835       "quarter-sharp": "\\semisharp",
836       "three-quarters-flat": "\\sesquiflat",
837       "three-quarters-sharp": "\\sesquisharp",
838     }.get (mxl_event.get_text ())
839     if contents:
840         ev.contents = contents
841         return ev
842     else:
843         return None
844
845 # translate articulations, ornaments and other notations into ArticulationEvents
846 # possible values:
847 #   -) string  (ArticulationEvent with that name)
848 #   -) function (function(mxl_event) needs to return a full ArticulationEvent-derived object
849 #   -) (class, name)  (like string, only that a different class than ArticulationEvent is used)
850 # TODO: Some translations are missing!
851 articulations_dict = {
852     "accent": (musicexp.ShortArticulationEvent, ">"), # or "accent"
853     "accidental-mark": musicxml_accidental_mark,
854     "bend": musicxml_bend_to_lily_event,
855     "breath-mark": (musicexp.NoDirectionArticulationEvent, "breathe"),
856     "caesura": musicxml_caesura_to_lily_event,
857     #"delayed-turn": "?",
858     "detached-legato": (musicexp.ShortArticulationEvent, "_"), # or "portato"
859     "doit": musicxml_doit_to_lily_event,
860     #"double-tongue": "",
861     "down-bow": "downbow",
862     "falloff": musicxml_falloff_to_lily_event,
863     "fingering": musicxml_fingering_event,
864     #"fingernails": "",
865     #"fret": "",
866     #"hammer-on": "",
867     "harmonic": "flageolet",
868     #"heel": "",
869     "inverted-mordent": "prall",
870     "inverted-turn": "reverseturn",
871     "mordent": "mordent",
872     "open-string": "open",
873     #"plop": "",
874     #"pluck": "",
875     #"pull-off": "",
876     #"schleifer": "?",
877     #"scoop": "",
878     #"shake": "?",
879     "snap-pizzicato": musicxml_snappizzicato_event,
880     #"spiccato": "",
881     "staccatissimo": (musicexp.ShortArticulationEvent, "|"), # or "staccatissimo"
882     "staccato": (musicexp.ShortArticulationEvent, "."), # or "staccato"
883     "stopped": (musicexp.ShortArticulationEvent, "+"), # or "stopped"
884     #"stress": "",
885     "string": musicxml_string_event,
886     "strong-accent": (musicexp.ShortArticulationEvent, "^"), # or "marcato"
887     #"tap": "",
888     "tenuto": (musicexp.ShortArticulationEvent, "-"), # or "tenuto"
889     "thumb-position": "thumb",
890     #"toe": "",
891     "turn": "turn",
892     "tremolo": musicxml_tremolo_to_lily_event,
893     "trill-mark": "trill",
894     #"triple-tongue": "",
895     #"unstress": ""
896     "up-bow": "upbow",
897     #"wavy-line": "?",
898 }
899 articulation_spanners = [ "wavy-line" ]
900
901 def musicxml_articulation_to_lily_event (mxl_event):
902     # wavy-line elements are treated as trill spanners, not as articulation ornaments
903     if mxl_event.get_name () in articulation_spanners:
904         return musicxml_spanner_to_lily_event (mxl_event)
905
906     tmp_tp = articulations_dict.get (mxl_event.get_name ())
907     if not tmp_tp:
908         return
909
910     if isinstance (tmp_tp, str):
911         ev = musicexp.ArticulationEvent ()
912         ev.type = tmp_tp
913     elif isinstance (tmp_tp, tuple):
914         ev = tmp_tp[0] ()
915         ev.type = tmp_tp[1]
916     else:
917         ev = tmp_tp (mxl_event)
918
919     # Some articulations use the type attribute, other the placement...
920     dir = None
921     if hasattr (mxl_event, 'type') and options.convert_directions:
922         dir = musicxml_direction_to_indicator (mxl_event.type)
923     if hasattr (mxl_event, 'placement') and options.convert_directions:
924         dir = musicxml_direction_to_indicator (mxl_event.placement)
925     if dir:
926         ev.force_direction = dir
927     return ev
928
929
930
931 def musicxml_dynamics_to_lily_event (dynentry):
932     dynamics_available = (
933         "ppppp", "pppp", "ppp", "pp", "p", "mp", "mf", 
934         "f", "ff", "fff", "ffff", "fp", "sf", "sff", "sp", "spp", "sfz", "rfz" )
935     dynamicsname = dynentry.get_name ()
936     if dynamicsname == "other-dynamics":
937         dynamicsname = dynentry.get_text ()
938     if not dynamicsname or dynamicsname=="#text":
939         return
940
941     if not dynamicsname in dynamics_available:
942         # Get rid of - in tag names (illegal in ly tags!)
943         dynamicstext = dynamicsname
944         dynamicsname = string.replace (dynamicsname, "-", "")
945         additional_definitions[dynamicsname] = dynamicsname + \
946               "=#(make-dynamic-script \"" + dynamicstext + "\")"
947         needed_additional_definitions.append (dynamicsname)
948     event = musicexp.DynamicsEvent ()
949     event.type = dynamicsname
950     return event
951
952 # Convert single-color two-byte strings to numbers 0.0 - 1.0
953 def hexcolorval_to_nr (hex_val):
954     try:
955         v = int (hex_val, 16)
956         if v == 255:
957             v = 256
958         return v / 256.
959     except ValueError:
960         return 0.
961
962 def hex_to_color (hex_val):
963     res = re.match (r'#([0-9a-f][0-9a-f]|)([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])$', hex_val, re.IGNORECASE)
964     if res:
965         return map (lambda x: hexcolorval_to_nr (x), res.group (2,3,4))
966     else:
967         return None
968
969 def musicxml_words_to_lily_event (words):
970     event = musicexp.TextEvent ()
971     text = words.get_text ()
972     text = re.sub ('^ *\n? *', '', text)
973     text = re.sub (' *\n? *$', '', text)
974     event.text = text
975
976     if hasattr (words, 'default-y') and options.convert_directions:
977         offset = getattr (words, 'default-y')
978         try:
979             off = string.atoi (offset)
980             if off > 0:
981                 event.force_direction = 1
982             else:
983                 event.force_direction = -1
984         except ValueError:
985             event.force_direction = 0
986
987     if hasattr (words, 'font-weight'):
988         font_weight = { "normal": '', "bold": '\\bold' }.get (getattr (words, 'font-weight'), '')
989         if font_weight:
990             event.markup += font_weight
991
992     if hasattr (words, 'font-size'):
993         size = getattr (words, 'font-size')
994         font_size = {
995             "xx-small": '\\teeny',
996             "x-small": '\\tiny',
997             "small": '\\small',
998             "medium": '',
999             "large": '\\large',
1000             "x-large": '\\huge',
1001             "xx-large": '\\bigger\\huge'
1002         }.get (size, '')
1003         if font_size:
1004             event.markup += font_size
1005
1006     if hasattr (words, 'color'):
1007         color = getattr (words, 'color')
1008         rgb = hex_to_color (color)
1009         if rgb:
1010             event.markup += "\\with-color #(rgb-color %s %s %s)" % (rgb[0], rgb[1], rgb[2])
1011
1012     if hasattr (words, 'font-style'):
1013         font_style = { "italic": '\\italic' }.get (getattr (words, 'font-style'), '')
1014         if font_style:
1015             event.markup += font_style
1016
1017     # TODO: How should I best convert the font-family attribute?
1018
1019     # TODO: How can I represent the underline, overline and line-through
1020     #       attributes in Lilypond? Values of these attributes indicate
1021     #       the number of lines
1022
1023     return event
1024
1025
1026 direction_spanners = [ 'octave-shift', 'pedal', 'wedge' ]
1027
1028 def musicxml_direction_to_lily (n):
1029     # TODO: Handle the <staff> element!
1030     res = []
1031     dirtype_children = []
1032     for dt in n.get_typed_children (musicxml.DirType):
1033         dirtype_children += dt.get_all_children ()
1034
1035     for entry in dirtype_children:
1036
1037         if entry.get_name () == "dynamics":
1038             for dynentry in entry.get_all_children ():
1039                 ev = musicxml_dynamics_to_lily_event (dynentry)
1040                 if ev:
1041                     res.append (ev)
1042
1043         if entry.get_name () == "words":
1044             ev = musicxml_words_to_lily_event (entry)
1045             if ev:
1046                 res.append (ev)
1047
1048         # octave shifts. pedal marks, hairpins etc. are spanners:
1049         if entry.get_name() in direction_spanners:
1050             event = musicxml_spanner_to_lily_event (entry)
1051             if event:
1052                 res.append (event)
1053
1054
1055     return res
1056
1057 def musicxml_frame_to_lily_event (frame):
1058     ev = musicexp.FretEvent ()
1059     ev.strings = frame.get_strings ()
1060     ev.frets = frame.get_frets ()
1061     #offset = frame.get_first_fret () - 1
1062     barre = []
1063     for fn in frame.get_named_children ('frame-note'):
1064         fret = fn.get_fret ()
1065         if fret <= 0:
1066             fret = "o"
1067         el = [ fn.get_string (), fret ]
1068         fingering = fn.get_fingering ()
1069         if fingering >= 0:
1070             el.append (fingering)
1071         ev.elements.append (el)
1072         b = fn.get_barre ()
1073         if b == 'start':
1074             barre[0] = el[0] # start string
1075             barre[2] = el[1] # fret
1076         elif b == 'stop':
1077             barre[1] = el[0] # end string
1078     if barre:
1079         ev.barre = barre
1080     return ev
1081
1082 def musicxml_harmony_to_lily (n):
1083     res = []
1084     for f in n.get_named_children ('frame'):
1085         ev = musicxml_frame_to_lily_event (f)
1086         if ev:
1087             res.append (ev)
1088
1089     return res
1090
1091 instrument_drumtype_dict = {
1092     'Acoustic Snare Drum': 'acousticsnare',
1093     'Side Stick': 'sidestick',
1094     'Open Triangle': 'opentriangle',
1095     'Mute Triangle': 'mutetriangle',
1096     'Tambourine': 'tambourine',
1097     'Bass Drum': 'bassdrum',
1098 }
1099
1100 def musicxml_note_to_lily_main_event (n):
1101     pitch  = None
1102     duration = None
1103     event = None
1104
1105     mxl_pitch = n.get_maybe_exist_typed_child (musicxml.Pitch)
1106     if mxl_pitch:
1107         pitch = musicxml_pitch_to_lily (mxl_pitch)
1108         event = musicexp.NoteEvent ()
1109         event.pitch = pitch
1110
1111         acc = n.get_maybe_exist_named_child ('accidental')
1112         if acc:
1113             # let's not force accs everywhere. 
1114             event.cautionary = acc.editorial
1115
1116     elif n.get_maybe_exist_typed_child (musicxml.Unpitched):
1117         # Unpitched elements have display-step and can also have
1118         # display-octave.
1119         unpitched = n.get_maybe_exist_typed_child (musicxml.Unpitched)
1120         event = musicexp.NoteEvent ()
1121         event.pitch = musicxml_unpitched_to_lily (unpitched)
1122         
1123     elif n.get_maybe_exist_typed_child (musicxml.Rest):
1124         # rests can have display-octave and display-step, which are
1125         # treated like an ordinary note pitch
1126         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1127         event = musicexp.RestEvent ()
1128         pitch = musicxml_restdisplay_to_lily (rest)
1129         event.pitch = pitch
1130
1131     elif n.instrument_name:
1132         event = musicexp.NoteEvent ()
1133         drum_type = instrument_drumtype_dict.get (n.instrument_name)
1134         if drum_type:
1135             event.drum_type = drum_type
1136         else:
1137             n.message ("drum %s type unknown, please add to instrument_drumtype_dict" % n.instrument_name)
1138             event.drum_type = 'acousticsnare'
1139
1140     else:
1141         n.message ("cannot find suitable event")
1142
1143     if event:
1144         event.duration = musicxml_duration_to_lily (n)
1145
1146     return event
1147
1148
1149 ## TODO
1150 class NegativeSkip:
1151     def __init__ (self, here, dest):
1152         self.here = here
1153         self.dest = dest
1154
1155 class LilyPondVoiceBuilder:
1156     def __init__ (self):
1157         self.elements = []
1158         self.pending_dynamics = []
1159         self.end_moment = Rational (0)
1160         self.begin_moment = Rational (0)
1161         self.pending_multibar = Rational (0)
1162         self.ignore_skips = False
1163
1164     def _insert_multibar (self):
1165         r = musicexp.MultiMeasureRest ()
1166         r.duration = musicexp.Duration()
1167         r.duration.duration_log = 0
1168         r.duration.factor = self.pending_multibar
1169         self.elements.append (r)
1170         self.begin_moment = self.end_moment
1171         self.end_moment = self.begin_moment + self.pending_multibar
1172         self.pending_multibar = Rational (0)
1173         
1174     def add_multibar_rest (self, duration):
1175         self.pending_multibar += duration
1176
1177     def set_duration (self, duration):
1178         self.end_moment = self.begin_moment + duration
1179     def current_duration (self):
1180         return self.end_moment - self.begin_moment
1181         
1182     def add_music (self, music, duration):
1183         assert isinstance (music, musicexp.Music)
1184         if self.pending_multibar > Rational (0):
1185             self._insert_multibar ()
1186
1187         self.elements.append (music)
1188         self.begin_moment = self.end_moment
1189         self.set_duration (duration)
1190         
1191         # Insert all pending dynamics right after the note/rest:
1192         if isinstance (music, musicexp.ChordEvent) and self.pending_dynamics:
1193             for d in self.pending_dynamics:
1194                 music.append (d)
1195             self.pending_dynamics = []
1196
1197     # Insert some music command that does not affect the position in the measure
1198     def add_command (self, command):
1199         assert isinstance (command, musicexp.Music)
1200         if self.pending_multibar > Rational (0):
1201             self._insert_multibar ()
1202         self.elements.append (command)
1203     def add_barline (self, barline):
1204         # TODO: Implement merging of default barline and custom bar line
1205         self.add_music (barline, Rational (0))
1206     def add_partial (self, command):
1207         self.ignore_skips = True
1208         self.add_command (command)
1209
1210     def add_dynamics (self, dynamic):
1211         # store the dynamic item(s) until we encounter the next note/rest:
1212         self.pending_dynamics.append (dynamic)
1213
1214     def add_bar_check (self, number):
1215         b = musicexp.BarLine ()
1216         b.bar_number = number
1217         self.add_barline (b)
1218
1219     def jumpto (self, moment):
1220         current_end = self.end_moment + self.pending_multibar
1221         diff = moment - current_end
1222         
1223         if diff < Rational (0):
1224             error_message ('Negative skip %s' % diff)
1225             diff = Rational (0)
1226
1227         if diff > Rational (0) and not (self.ignore_skips and moment == 0):
1228             skip = musicexp.SkipEvent()
1229             duration_factor = 1
1230             duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (diff.denominator (), -1)
1231             duration_dots = 0
1232             if duration_log > 0: # denominator is a power of 2...
1233                 if diff.numerator () == 3:
1234                     duration_log -= 1
1235                     duration_dots = 1
1236                 else:
1237                     duration_factor = Rational (diff.numerator ())
1238             else:
1239                 duration_log = 0
1240                 duration_factor = diff
1241             skip.duration.duration_log = duration_log
1242             skip.duration.factor = duration_factor
1243             skip.duration.dots = duration_dots
1244
1245             evc = musicexp.ChordEvent ()
1246             evc.elements.append (skip)
1247             self.add_music (evc, diff)
1248
1249         if diff > Rational (0) and moment == 0:
1250             self.ignore_skips = False
1251
1252     def last_event_chord (self, starting_at):
1253
1254         value = None
1255
1256         # if the position matches, find the last ChordEvent, do not cross a bar line!
1257         at = len( self.elements ) - 1
1258         while (at >= 0 and
1259                not isinstance (self.elements[at], musicexp.ChordEvent) and
1260                not isinstance (self.elements[at], musicexp.BarLine)):
1261             at -= 1
1262
1263         if (self.elements
1264             and at >= 0
1265             and isinstance (self.elements[at], musicexp.ChordEvent)
1266             and self.begin_moment == starting_at):
1267             value = self.elements[at]
1268         else:
1269             self.jumpto (starting_at)
1270             value = None
1271         return value
1272         
1273     def correct_negative_skip (self, goto):
1274         self.end_moment = goto
1275         self.begin_moment = goto
1276         evc = musicexp.ChordEvent ()
1277         self.elements.append (evc)
1278
1279
1280 class VoiceData:
1281     def __init__ (self):
1282         self.voicedata = None
1283         self.ly_voice = None
1284         self.lyrics_dict = {}
1285         self.lyrics_order = []
1286
1287 def musicxml_step_to_lily (step):
1288     if step:
1289         return (ord (step) - ord ('A') + 7 - 2) % 7
1290     else:
1291         return None
1292
1293 def musicxml_voice_to_lily_voice (voice):
1294     tuplet_events = []
1295     modes_found = {}
1296     lyrics = {}
1297     return_value = VoiceData ()
1298     return_value.voicedata = voice
1299     
1300     # First pitch needed for relative mode (if selected in command-line options)
1301     first_pitch = None
1302
1303     # Needed for melismata detection (ignore lyrics on those notes!):
1304     inside_slur = False
1305     is_tied = False
1306     is_chord = False
1307     ignore_lyrics = False
1308
1309     current_staff = None
1310
1311     # Make sure that the keys in the dict don't get reordered, since
1312     # we need the correct ordering of the lyrics stanzas! By default,
1313     # a dict will reorder its keys
1314     return_value.lyrics_order = voice.get_lyrics_numbers ()
1315     for k in return_value.lyrics_order:
1316         lyrics[k] = []
1317
1318     voice_builder = LilyPondVoiceBuilder()
1319
1320     for n in voice._elements:
1321         if n.get_name () == 'forward':
1322             continue
1323         staff = n.get_maybe_exist_named_child ('staff')
1324         if staff:
1325             staff = staff.get_text ()
1326             if current_staff and staff <> current_staff and not n.get_maybe_exist_named_child ('chord'):
1327                 voice_builder.add_command (musicexp.StaffChange (staff))
1328             current_staff = staff
1329
1330         if isinstance (n, musicxml.Partial) and n.partial > 0:
1331             a = musicxml_partial_to_lily (n.partial)
1332             if a:
1333                 voice_builder.add_partial (a)
1334             continue
1335
1336         if isinstance (n, musicxml.Direction):
1337             for a in musicxml_direction_to_lily (n):
1338                 if a.wait_for_note ():
1339                     voice_builder.add_dynamics (a)
1340                 else:
1341                     voice_builder.add_command (a)
1342             continue
1343
1344         if isinstance (n, musicxml.Harmony):
1345             for a in musicxml_harmony_to_lily (n):
1346                 if a.wait_for_note ():
1347                     voice_builder.add_dynamics (a)
1348                 else:
1349                     voice_builder.add_command (a)
1350             continue
1351
1352         is_chord = n.get_maybe_exist_named_child ('chord')
1353         if not is_chord:
1354             try:
1355                 voice_builder.jumpto (n._when)
1356             except NegativeSkip, neg:
1357                 voice_builder.correct_negative_skip (n._when)
1358                 n.message ("Negative skip? from %s to %s, diff %s" % (neg.here, neg.dest, neg.dest - neg.here))
1359             
1360         if isinstance (n, musicxml.Attributes):
1361             if n.is_first () and n._measure_position == Rational (0):
1362                 try:
1363                     number = int (n.get_parent ().number)
1364                 except ValueError:
1365                     number = 0
1366                 if number > 0:
1367                     voice_builder.add_bar_check (number)
1368
1369             for a in musicxml_attributes_to_lily (n):
1370                 voice_builder.add_command (a)
1371             continue
1372
1373         if isinstance (n, musicxml.Barline):
1374             barlines = musicxml_barline_to_lily (n)
1375             for a in barlines:
1376                 if isinstance (a, musicexp.BarLine):
1377                     voice_builder.add_barline (a)
1378                 elif isinstance (a, RepeatMarker) or isinstance (a, EndingMarker):
1379                     voice_builder.add_command (a)
1380             continue
1381
1382         if not n.__class__.__name__ == 'Note':
1383             error_message ('not a Note or Attributes? %s' % n)
1384             continue
1385
1386         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1387         if (rest
1388             and rest.is_whole_measure ()):
1389
1390             voice_builder.add_multibar_rest (n._duration)
1391             continue
1392
1393         if n.is_first () and n._measure_position == Rational (0):
1394             try: 
1395                 num = int (n.get_parent ().number)
1396             except ValueError:
1397                 num = 0
1398             if num > 0:
1399                 voice_builder.add_bar_check (num)
1400
1401         main_event = musicxml_note_to_lily_main_event (n)
1402         if main_event and not first_pitch:
1403             first_pitch = main_event.pitch
1404         ignore_lyrics = inside_slur or is_tied or is_chord
1405
1406         if main_event and hasattr (main_event, 'drum_type') and main_event.drum_type:
1407             modes_found['drummode'] = True
1408
1409         ev_chord = voice_builder.last_event_chord (n._when)
1410         if not ev_chord: 
1411             ev_chord = musicexp.ChordEvent()
1412             voice_builder.add_music (ev_chord, n._duration)
1413
1414         grace = n.get_maybe_exist_typed_child (musicxml.Grace)
1415         if grace:
1416             grace_chord = None
1417             if n.get_maybe_exist_typed_child (musicxml.Chord) and ev_chord.grace_elements:
1418                 grace_chord = ev_chord.grace_elements.get_last_event_chord ()
1419             if not grace_chord:
1420                 grace_chord = musicexp.ChordEvent ()
1421                 ev_chord.append_grace (grace_chord)
1422             if hasattr (grace, 'slash'):
1423                 # TODO: use grace_type = "appoggiatura" for slurred grace notes
1424                 if grace.slash == "yes":
1425                     ev_chord.grace_type = "acciaccatura"
1426             # now that we have inserted the chord into the grace music, insert
1427             # everything into that chord instead of the ev_chord
1428             ev_chord = grace_chord
1429             ev_chord.append (main_event)
1430             ignore_lyrics = True
1431         else:
1432             ev_chord.append (main_event)
1433             # When a note/chord has grace notes (duration==0), the duration of the
1434             # event chord is not yet known, but the event chord was already added
1435             # with duration 0. The following correct this when we hit the real note!
1436             if voice_builder.current_duration () == 0 and n._duration > 0:
1437                 voice_builder.set_duration (n._duration)
1438         
1439         notations_children = n.get_typed_children (musicxml.Notations)
1440         tuplet_event = None
1441         span_events = []
1442
1443         # The <notation> element can have the following children (+ means implemented, ~ partially, - not):
1444         # +tied | +slur | +tuplet | glissando | slide | 
1445         #    ornaments | technical | articulations | dynamics |
1446         #    +fermata | arpeggiate | non-arpeggiate | 
1447         #    accidental-mark | other-notation
1448         for notations in notations_children:
1449             for tuplet_event in notations.get_tuplets():
1450                 mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1451                 frac = (1,1)
1452                 if mod:
1453                     frac = mod.get_fraction ()
1454                 
1455                 tuplet_events.append ((ev_chord, tuplet_event, frac))
1456
1457             slurs = [s for s in notations.get_named_children ('slur')
1458                 if s.get_type () in ('start','stop')]
1459             if slurs:
1460                 if len (slurs) > 1:
1461                     error_message ('more than 1 slur?')
1462                 # record the slur status for the next note in the loop
1463                 if not grace:
1464                     if slurs[0].get_type () == 'start':
1465                         inside_slur = True
1466                     elif slurs[0].get_type () == 'stop':
1467                         inside_slur = False
1468                 lily_ev = musicxml_spanner_to_lily_event (slurs[0])
1469                 ev_chord.append (lily_ev)
1470
1471             if not grace:
1472                 mxl_tie = notations.get_tie ()
1473                 if mxl_tie and mxl_tie.type == 'start':
1474                     ev_chord.append (musicexp.TieEvent ())
1475                     is_tied = True
1476                 else:
1477                     is_tied = False
1478
1479             fermatas = notations.get_named_children ('fermata')
1480             for a in fermatas:
1481                 ev = musicxml_fermata_to_lily_event (a)
1482                 if ev: 
1483                     ev_chord.append (ev)
1484
1485             arpeggiate = notations.get_named_children ('arpeggiate')
1486             for a in arpeggiate:
1487                 ev = musicxml_arpeggiate_to_lily_event (a)
1488                 if ev:
1489                     ev_chord.append (ev)
1490
1491             glissandos = notations.get_named_children ('glissando')
1492             for a in glissandos:
1493                 ev = musicxml_spanner_to_lily_event (a)
1494                 if ev:
1495                     ev_chord.append (ev)
1496                 
1497             # Articulations can contain the following child elements:
1498             #         accent | strong-accent | staccato | tenuto |
1499             #         detached-legato | staccatissimo | spiccato |
1500             #         scoop | plop | doit | falloff | breath-mark | 
1501             #         caesura | stress | unstress
1502             # Technical can contain the following child elements:
1503             #         up-bow | down-bow | harmonic | open-string |
1504             #         thumb-position | fingering | pluck | double-tongue |
1505             #         triple-tongue | stopped | snap-pizzicato | fret |
1506             #         string | hammer-on | pull-off | bend | tap | heel |
1507             #         toe | fingernails | other-technical
1508             # Ornaments can contain the following child elements:
1509             #         trill-mark | turn | delayed-turn | inverted-turn |
1510             #         shake | wavy-line | mordent | inverted-mordent | 
1511             #         schleifer | tremolo | other-ornament, accidental-mark
1512             ornaments = notations.get_named_children ('ornaments')
1513             ornaments += notations.get_named_children ('articulations')
1514             ornaments += notations.get_named_children ('technical')
1515
1516             for a in ornaments:
1517                 for ch in a.get_all_children ():
1518                     ev = musicxml_articulation_to_lily_event (ch)
1519                     if ev: 
1520                         ev_chord.append (ev)
1521
1522             dynamics = notations.get_named_children ('dynamics')
1523             for a in dynamics:
1524                 for ch in a.get_all_children ():
1525                     ev = musicxml_dynamics_to_lily_event (ch)
1526                     if ev:
1527                         ev_chord.append (ev)
1528
1529         # Extract the lyrics
1530         if not rest and not ignore_lyrics:
1531             note_lyrics_processed = []
1532             note_lyrics_elements = n.get_typed_children (musicxml.Lyric)
1533             for l in note_lyrics_elements:
1534                 if l.get_number () < 0:
1535                     for k in lyrics.keys ():
1536                         lyrics[k].append (l.lyric_to_text ())
1537                         note_lyrics_processed.append (k)
1538                 else:
1539                     lyrics[l.number].append(l.lyric_to_text ())
1540                     note_lyrics_processed.append (l.number)
1541             for lnr in lyrics.keys ():
1542                 if not lnr in note_lyrics_processed:
1543                     lyrics[lnr].append ("\skip4")
1544
1545
1546         mxl_beams = [b for b in n.get_named_children ('beam')
1547                      if (b.get_type () in ('begin', 'end')
1548                          and b.is_primary ())] 
1549         if mxl_beams:
1550             beam_ev = musicxml_spanner_to_lily_event (mxl_beams[0])
1551             if beam_ev:
1552                 ev_chord.append (beam_ev)
1553             
1554         if tuplet_event:
1555             mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1556             frac = (1,1)
1557             if mod:
1558                 frac = mod.get_fraction ()
1559                 
1560             tuplet_events.append ((ev_chord, tuplet_event, frac))
1561
1562     ## force trailing mm rests to be written out.   
1563     voice_builder.add_music (musicexp.ChordEvent (), Rational (0))
1564     
1565     ly_voice = group_tuplets (voice_builder.elements, tuplet_events)
1566     ly_voice = group_repeats (ly_voice)
1567
1568     seq_music = musicexp.SequentialMusic ()
1569
1570     if 'drummode' in modes_found.keys ():
1571         ## \key <pitch> barfs in drummode.
1572         ly_voice = [e for e in ly_voice
1573                     if not isinstance(e, musicexp.KeySignatureChange)]
1574     
1575     seq_music.elements = ly_voice
1576     for k in lyrics.keys ():
1577         return_value.lyrics_dict[k] = musicexp.Lyrics ()
1578         return_value.lyrics_dict[k].lyrics_syllables = lyrics[k]
1579     
1580     
1581     if len (modes_found) > 1:
1582        error_message ('Too many modes found %s' % modes_found.keys ())
1583        
1584     if options.relative:
1585         v = musicexp.RelativeMusic ()
1586         v.element = seq_music
1587         v.basepitch = first_pitch
1588         seq_music = v
1589
1590     return_value.ly_voice = seq_music
1591     for mode in modes_found.keys ():
1592         v = musicexp.ModeChangingMusicWrapper()
1593         v.element = seq_music
1594         v.mode = mode
1595         return_value.ly_voice = v
1596     
1597     return return_value
1598
1599 def musicxml_id_to_lily (id):
1600     digits = ['Zero', 'One', 'Two', 'Three', 'Four', 'Five',
1601               'Six', 'Seven', 'Eight', 'Nine', 'Ten']
1602     
1603     for digit in digits:
1604         d = digits.index (digit)
1605         id = re.sub ('%d' % d, digit, id)
1606
1607     id = re.sub  ('[^a-zA-Z]', 'X', id)
1608     return id
1609
1610 def musicxml_pitch_to_lily (mxl_pitch):
1611     p = musicexp.Pitch ()
1612     p.alteration = mxl_pitch.get_alteration ()
1613     p.step = musicxml_step_to_lily (mxl_pitch.get_step ())
1614     p.octave = mxl_pitch.get_octave () - 4
1615     return p
1616
1617 def musicxml_unpitched_to_lily (mxl_unpitched):
1618     p = None
1619     step = mxl_unpitched.get_step ()
1620     if step:
1621         p = musicexp.Pitch ()
1622         p.step = musicxml_step_to_lily (step)
1623     octave = mxl_unpitched.get_octave ()
1624     if octave and p:
1625         p.octave = octave - 4
1626     return p
1627
1628 def musicxml_restdisplay_to_lily (mxl_rest):
1629     p = None
1630     step = mxl_rest.get_step ()
1631     if step:
1632         p = musicexp.Pitch ()
1633         p.step = musicxml_step_to_lily (step)
1634     octave = mxl_rest.get_octave ()
1635     if octave and p:
1636         p.octave = octave - 4
1637     return p
1638
1639 def voices_in_part (part):
1640     """Return a Name -> Voice dictionary for PART"""
1641     part.interpret ()
1642     part.extract_voices ()
1643     voices = part.get_voices ()
1644     part_info = part.get_staff_attributes ()
1645
1646     return (voices, part_info)
1647
1648 def voices_in_part_in_parts (parts):
1649     """return a Part -> Name -> Voice dictionary"""
1650     return dict([(p.id, voices_in_part (p)) for p in parts])
1651
1652
1653 def get_all_voices (parts):
1654     all_voices = voices_in_part_in_parts (parts)
1655
1656     all_ly_voices = {}
1657     all_ly_staffinfo = {}
1658     for p, (name_voice, staff_info) in all_voices.items ():
1659
1660         part_ly_voices = {}
1661         for n, v in name_voice.items ():
1662             progress ("Converting to LilyPond expressions...")
1663             # musicxml_voice_to_lily_voice returns (lily_voice, {nr->lyrics, nr->lyrics})
1664             part_ly_voices[n] = musicxml_voice_to_lily_voice (v)
1665
1666         all_ly_voices[p] = part_ly_voices
1667         all_ly_staffinfo[p] = staff_info
1668
1669     return (all_ly_voices, all_ly_staffinfo)
1670
1671
1672 def option_parser ():
1673     p = ly.get_option_parser(usage=_ ("musicxml2ly [options] FILE.xml"),
1674                              version=('''%prog (LilyPond) @TOPLEVEL_VERSION@\n\n'''
1675                                       +
1676 _ ("""This program is free software.  It is covered by the GNU General Public
1677 License and you are welcome to change it and/or distribute copies of it
1678 under certain conditions.  Invoke as `%s --warranty' for more
1679 information.""") % 'lilypond'
1680 + """
1681 Copyright (c) 2005--2007 by
1682     Han-Wen Nienhuys <hanwen@xs4all.nl>,
1683     Jan Nieuwenhuizen <janneke@gnu.org> and
1684     Reinhold Kainhofer <reinhold@kainhofer.com>
1685 """),
1686                              description=_ ("Convert %s to LilyPond input.") % 'MusicXML' + "\n")
1687     p.add_option ('-v', '--verbose',
1688                   action="store_true",
1689                   dest='verbose',
1690                   help=_ ("be verbose"))
1691
1692     p.add_option ('', '--lxml',
1693                   action="store_true",
1694                   default=False,
1695                   dest="use_lxml",
1696                   help=_ ("Use lxml.etree; uses less memory and cpu time."))
1697
1698     p.add_option ('-z', '--compressed',
1699                   action = "store_true",
1700                   dest = 'compressed',
1701                   default = False,
1702                   help = _ ("Input file is a zip-compressed MusicXML file."))
1703
1704     p.add_option ('-r', '--relative',
1705                   action = "store_true",
1706                   dest = "relative",
1707                   help = _ ("Convert pitches in relative mode."))
1708
1709     p.add_option ('-l', '--language',
1710                   action = "store",
1711                   help = _ ("Use a different language file, e.g. 'deutsch' for deutsch.ly."))
1712
1713     p.add_option ('--no-articulation-directions', '--nd',
1714                   action = "store_false",
1715                   default = True,
1716                   dest = "convert_directions",
1717                   help = _ ("Do not convert directions (^, _ or -) for articulations."))
1718
1719     p.add_option ('-o', '--output',
1720                   metavar=_ ("FILE"),
1721                   action="store",
1722                   default=None,
1723                   type='string',
1724                   dest='output_name',
1725                   help=_ ("set output filename to FILE"))
1726     p.add_option_group ('bugs',
1727                         description=(_ ("Report bugs via")
1728                                      + ''' http://post.gmane.org/post.php'''
1729                                      '''?group=gmane.comp.gnu.lilypond.bugs\n'''))
1730     return p
1731
1732 def music_xml_voice_name_to_lily_name (part_id, name):
1733     str = "Part%sVoice%s" % (part_id, name)
1734     return musicxml_id_to_lily (str) 
1735
1736 def music_xml_lyrics_name_to_lily_name (part_id, name, lyricsnr):
1737     str = "Part%sVoice%sLyrics%s" % (part_id, name, lyricsnr)
1738     return musicxml_id_to_lily (str) 
1739
1740 def print_voice_definitions (printer, part_list, voices):
1741     for part in part_list:
1742         part_id = part.id
1743         nv_dict = voices.get (part_id, {})
1744         for (name, voice) in nv_dict.items ():
1745             k = music_xml_voice_name_to_lily_name (part_id, name)
1746             printer.dump ('%s = ' % k)
1747             voice.ly_voice.print_ly (printer)
1748             printer.newline()
1749             for l in voice.lyrics_order:
1750                 lname = music_xml_lyrics_name_to_lily_name (part_id, name, l)
1751                 printer.dump ('%s = ' %lname )
1752                 voice.lyrics_dict[l].print_ly (printer)
1753                 printer.newline()
1754
1755
1756 def uniq_list (l):
1757     return dict ([(elt,1) for elt in l]).keys ()
1758
1759 # format the information about the staff in the form 
1760 #     [staffid,
1761 #         [
1762 #            [voiceid1, [lyricsid11, lyricsid12,...] ...],
1763 #            [voiceid2, [lyricsid21, lyricsid22,...] ...],
1764 #            ...
1765 #         ]
1766 #     ]
1767 # raw_voices is of the form [(voicename, lyricsids)*]
1768 def format_staff_info (part_id, staff_id, raw_voices):
1769     voices = []
1770     for (v, lyricsids) in raw_voices:
1771         voice_name = music_xml_voice_name_to_lily_name (part_id, v)
1772         voice_lyrics = [music_xml_lyrics_name_to_lily_name (part_id, v, l)
1773                    for l in lyricsids]
1774         voices.append ([voice_name, voice_lyrics])
1775     return [staff_id, voices]
1776
1777 def update_score_setup (score_structure, part_list, voices):
1778
1779     for part_definition in part_list:
1780         part_id = part_definition.id
1781         nv_dict = voices.get (part_id)
1782         if not nv_dict:
1783             error_message ('unknown part in part-list: %s' % part_id)
1784             continue
1785
1786         staves = reduce (lambda x,y: x+ y,
1787                 [voice.voicedata._staves.keys ()
1788                  for voice in nv_dict.values ()],
1789                 [])
1790         staves_info = []
1791         if len (staves) > 1:
1792             staves_info = []
1793             staves = uniq_list (staves)
1794             staves.sort ()
1795             for s in staves:
1796                 thisstaff_raw_voices = [(voice_name, voice.lyrics_order) 
1797                     for (voice_name, voice) in nv_dict.items ()
1798                     if voice.voicedata._start_staff == s]
1799                 staves_info.append (format_staff_info (part_id, s, thisstaff_raw_voices))
1800         else:
1801             thisstaff_raw_voices = [(voice_name, voice.lyrics_order) 
1802                 for (voice_name, voice) in nv_dict.items ()]
1803             staves_info.append (format_staff_info (part_id, None, thisstaff_raw_voices))
1804         score_structure.set_part_information (part_id, staves_info)
1805
1806 def print_ly_preamble (printer, filename):
1807     printer.dump_version ()
1808     printer.print_verbatim ('%% automatically converted from %s\n' % filename)
1809
1810 def print_ly_additional_definitions (printer, filename):
1811     if needed_additional_definitions:
1812         printer.newline ()
1813         printer.print_verbatim ('%% additional definitions required by the score:')
1814         printer.newline ()
1815     for a in set(needed_additional_definitions):
1816         printer.print_verbatim (additional_definitions.get (a, ''))
1817         printer.newline ()
1818     printer.newline ()
1819
1820 # Read in the tree from the given I/O object (either file or string) and 
1821 # demarshall it using the classes from the musicxml.py file
1822 def read_xml (io_object, use_lxml):
1823     if use_lxml:
1824         import lxml.etree
1825         tree = lxml.etree.parse (io_object)
1826         mxl_tree = musicxml.lxml_demarshal_node (tree.getroot ())
1827         return mxl_tree
1828     else:
1829         from xml.dom import minidom, Node
1830         doc = minidom.parse(io_object)
1831         node = doc.documentElement
1832         return musicxml.minidom_demarshal_node (node)
1833     return None
1834
1835
1836 def read_musicxml (filename, compressed, use_lxml):
1837     raw_string = None
1838     if compressed:
1839         progress ("Input file %s is compressed, extracting raw MusicXML data" % filename)
1840         z = zipfile.ZipFile (filename, "r")
1841         container_xml = z.read ("META-INF/container.xml")
1842         if not container_xml:
1843             return None
1844         container = read_xml (StringIO.StringIO (container_xml), use_lxml)
1845         if not container:
1846             return None
1847         rootfiles = container.get_maybe_exist_named_child ('rootfiles')
1848         if not rootfiles:
1849             return None
1850         rootfile_list = rootfiles.get_named_children ('rootfile')
1851         mxml_file = None
1852         if len (rootfile_list) > 0:
1853             mxml_file = getattr (rootfile_list[0], 'full-path', None)
1854         if mxml_file:
1855             raw_string = z.read (mxml_file)
1856
1857     io_object = filename
1858     if raw_string:
1859         io_object = StringIO.StringIO (raw_string)
1860
1861     return read_xml (io_object, use_lxml)
1862
1863
1864 def convert (filename, options):
1865     progress ("Reading MusicXML from %s ..." % filename)
1866     
1867     tree = read_musicxml (filename, options.compressed, options.use_lxml)
1868     parts = tree.get_typed_children (musicxml.Part)
1869     (voices, staff_info) = get_all_voices (parts)
1870
1871     score_structure = None
1872     mxl_pl = tree.get_maybe_exist_typed_child (musicxml.Part_list)
1873     if mxl_pl:
1874         score_structure = extract_score_layout (mxl_pl, staff_info)
1875         part_list = mxl_pl.get_named_children ("score-part")
1876
1877     # score information is contained in the <work>, <identification> or <movement-title> tags
1878     score_information = extract_score_information (tree)
1879     layout_information = extract_layout_information (tree)
1880     update_score_setup (score_structure, part_list, voices)
1881
1882     if not options.output_name:
1883         options.output_name = os.path.basename (filename) 
1884         options.output_name = os.path.splitext (options.output_name)[0]
1885     elif re.match (".*\.ly", options.output_name):
1886         options.output_name = os.path.splitext (options.output_name)[0]
1887
1888
1889     defs_ly_name = options.output_name + '-defs.ly'
1890     driver_ly_name = options.output_name + '.ly'
1891
1892     printer = musicexp.Output_printer()
1893     progress ("Output to `%s'" % defs_ly_name)
1894     printer.set_file (codecs.open (defs_ly_name, 'wb', encoding='utf-8'))
1895
1896     print_ly_preamble (printer, filename)
1897     print_ly_additional_definitions (printer, filename)
1898     if score_information:
1899         score_information.print_ly (printer)
1900     if layout_information:
1901         layout_information.print_ly (printer)
1902     print_voice_definitions (printer, part_list, voices)
1903     
1904     printer.close ()
1905     
1906     
1907     progress ("Output to `%s'" % driver_ly_name)
1908     printer = musicexp.Output_printer()
1909     printer.set_file (codecs.open (driver_ly_name, 'wb', encoding='utf-8'))
1910     print_ly_preamble (printer, filename)
1911     printer.dump (r'\include "%s"' % os.path.basename (defs_ly_name))
1912     score_structure.print_ly (printer)
1913     printer.newline ()
1914
1915     return voices
1916
1917 def get_existing_filename_with_extension (filename, ext):
1918     if os.path.exists (filename):
1919         return filename
1920     newfilename = filename + "." + ext
1921     if os.path.exists (newfilename):
1922         return newfilename;
1923     newfilename = filename + ext
1924     if os.path.exists (newfilename):
1925         return newfilename;
1926     return ''
1927
1928 def main ():
1929     opt_parser = option_parser()
1930
1931     global options
1932     (options, args) = opt_parser.parse_args ()
1933     if not args:
1934         opt_parser.print_usage()
1935         sys.exit (2)
1936
1937     if options.language:
1938         musicexp.set_pitch_language (options.language)
1939         needed_additional_definitions.append (options.language)
1940         additional_definitions[options.language] = "\\include \"%s.ly\"\n" % options.language
1941
1942     # Allow the user to leave out the .xml or xml on the filename
1943     filename = get_existing_filename_with_extension (args[0], "xml")
1944     if not filename:
1945         filename = get_existing_filename_with_extension (args[0], "mxl")
1946         options.compressed = True
1947     if filename and os.path.exists (filename):
1948         voices = convert (filename, options)
1949     else:
1950         progress ("Unable to find input file %s" % args[0])
1951
1952 if __name__ == '__main__':
1953     main()