]> git.donarmstrong.com Git - lilypond.git/blob - scripts/musicxml2ly.py
Merge branch 'master' of git://git.sv.gnu.org/lilypond
[lilypond.git] / scripts / musicxml2ly.py
1 #!@TARGET_PYTHON@
2
3 import optparse
4 import sys
5 import re
6 import os
7 import string
8 import codecs
9 import zipfile
10 import StringIO
11 from gettext import gettext as _
12
13 """
14 @relocate-preamble@
15 """
16
17 import lilylib as ly
18
19 import musicxml
20 import musicexp
21
22 from rational import Rational
23
24 # Store command-line options in a global variable, so we can access them everythwere
25 options = None
26
27 def progress (str):
28     ly.stderr_write (str + '\n')
29     sys.stderr.flush ()
30
31 def error_message (str):
32     ly.stderr_write (str + '\n')
33     sys.stderr.flush ()
34
35 needed_additional_definitions = []
36 additional_definitions = {
37   "snappizzicato": """#(define-markup-command (snappizzicato layout props) ()
38   (interpret-markup layout props
39     (markup #:stencil
40       (ly:stencil-translate-axis
41         (ly:stencil-add
42           (make-circle-stencil 0.7 0.1 #f)
43           (ly:make-stencil
44             (list 'draw-line 0.1 0 0.1 0 1)
45             '(-0.1 . 0.1) '(0.1 . 1)
46           )
47         )
48         0.7 X
49       )
50     )
51   )
52 )
53 """
54 }
55
56 def round_to_two_digits (val):
57     return round (val * 100) / 100
58
59 def extract_layout_information (tree):
60     paper = musicexp.Paper ()
61     defaults = tree.get_maybe_exist_named_child ('defaults')
62     if not defaults:
63         return None
64     tenths = -1
65     scaling = defaults.get_maybe_exist_named_child ('scaling')
66     if scaling:
67         mm = scaling.get_named_child ('millimeters')
68         mm = string.atof (mm.get_text ())
69         tn = scaling.get_maybe_exist_named_child ('tenths')
70         tn = string.atof (tn.get_text ())
71         tenths = mm / tn
72         paper.global_staff_size = mm * 72.27 / 25.4
73     # We need the scaling (i.e. the size of staff tenths for everything!
74     if tenths < 0:
75         return None
76
77     def from_tenths (txt):
78         return round_to_two_digits (string.atof (txt) * tenths / 10)
79     def set_paper_variable (varname, parent, element_name):
80         el = parent.get_maybe_exist_named_child (element_name)
81         if el: # Convert to cm from tenths
82             setattr (paper, varname, from_tenths (el.get_text ()))
83
84     pagelayout = defaults.get_maybe_exist_named_child ('page-layout')
85     if pagelayout:
86         # TODO: How can one have different margins for even and odd pages???
87         set_paper_variable ("page_height", pagelayout, 'page-height')
88         set_paper_variable ("page_width", pagelayout, 'page-width')
89
90         pmargins = pagelayout.get_named_children ('page-margins')
91         for pm in pmargins:
92             set_paper_variable ("left_margin", pm, 'left-margin')
93             set_paper_variable ("right_margin", pm, 'right-margin')
94             set_paper_variable ("bottom_margin", pm, 'bottom-margin')
95             set_paper_variable ("top_margin", pm, 'top-margin')
96
97     systemlayout = defaults.get_maybe_exist_named_child ('system-layout')
98     if systemlayout:
99         sl = systemlayout.get_maybe_exist_named_child ('system-margins')
100         if sl:
101             set_paper_variable ("system_left_margin", sl, 'left-margin')
102             set_paper_variable ("system_right_margin", sl, 'right-margin')
103         set_paper_variable ("system_distance", systemlayout, 'system-distance')
104         set_paper_variable ("top_system_distance", systemlayout, 'top-system-distance')
105
106     stafflayout = defaults.get_named_children ('staff-layout')
107     for sl in stafflayout:
108         nr = getattr (sl, 'number', 1)
109         dist = sl.get_named_child ('staff-distance')
110         #TODO: the staff distance needs to be set in the Staff context!!!
111
112     # TODO: Finish appearance?, music-font?, word-font?, lyric-font*, lyric-language*
113     appearance = defaults.get_named_child ('appearance')
114     if appearance:
115         lws = appearance.get_named_children ('line-width')
116         for lw in lws:
117             # Possible types are: beam, bracket, dashes,
118             #    enclosure, ending, extend, heavy barline, leger,
119             #    light barline, octave shift, pedal, slur middle, slur tip,
120             #    staff, stem, tie middle, tie tip, tuplet bracket, and wedge
121             tp = lw.type
122             w = from_tenths (lw.get_text  ())
123             # TODO: Do something with these values!
124         nss = appearance.get_named_children ('note-size')
125         for ns in nss:
126             # Possible types are: cue, grace and large
127             tp = ns.type
128             sz = from_tenths (ns.get_text ())
129             # TODO: Do something with these values!
130         # <other-appearance> elements have no specified meaning
131
132     rawmusicfont = defaults.get_named_child ('music-font')
133     if rawmusicfont:
134         # TODO: Convert the font
135         pass
136     rawwordfont = defaults.get_named_child ('word-font')
137     if rawwordfont:
138         # TODO: Convert the font
139         pass
140     rawlyricsfonts = defaults.get_named_children ('lyric-font')
141     for lyricsfont in rawlyricsfonts:
142         # TODO: Convert the font
143         pass
144
145     return paper
146
147
148
149 # score information is contained in the <work>, <identification> or <movement-title> tags
150 # extract those into a hash, indexed by proper lilypond header attributes
151 def extract_score_information (tree):
152     header = musicexp.Header ()
153     def set_if_exists (field, value):
154         if value:
155             header.set_field (field, musicxml.escape_ly_output_string (value))
156
157     work = tree.get_maybe_exist_named_child ('work')
158     if work:
159         set_if_exists ('title', work.get_work_title ())
160         set_if_exists ('worknumber', work.get_work_number ())
161         set_if_exists ('opus', work.get_opus ())
162     else:
163         movement_title = tree.get_maybe_exist_named_child ('movement-title')
164         if movement_title:
165             set_if_exists ('title', movement_title.get_text ())
166     
167     identifications = tree.get_named_children ('identification')
168     for ids in identifications:
169         set_if_exists ('copyright', ids.get_rights ())
170         set_if_exists ('composer', ids.get_composer ())
171         set_if_exists ('arranger', ids.get_arranger ())
172         set_if_exists ('editor', ids.get_editor ())
173         set_if_exists ('poet', ids.get_poet ())
174             
175         set_if_exists ('tagline', ids.get_encoding_software ())
176         set_if_exists ('encodingsoftware', ids.get_encoding_software ())
177         set_if_exists ('encodingdate', ids.get_encoding_date ())
178         set_if_exists ('encoder', ids.get_encoding_person ())
179         set_if_exists ('encodingdescription', ids.get_encoding_description ())
180
181     return header
182
183 class PartGroupInfo:
184     def __init__ (self):
185         self.start = {}
186         self.end = {}
187     def is_empty (self):
188         return len (self.start) + len (self.end) == 0
189     def add_start (self, g):
190         self.start[getattr (g, 'number', "1")] = g
191     def add_end (self, g):
192         self.end[getattr (g, 'number', "1")] = g
193     def print_ly (self, printer):
194         error_message ("Unprocessed PartGroupInfo %s encountered" % self)
195     def ly_expression (self):
196         error_message ("Unprocessed PartGroupInfo %s encountered" % self)
197         return ''
198
199 def staff_attributes_to_string_tunings (mxl_attr):
200     details = mxl_attr.get_maybe_exist_named_child ('staff-details')
201     if not details:
202         return []
203     lines = 6
204     staff_lines = details.get_maybe_exist_named_child ('staff-lines')
205     if staff_lines:
206         lines = string.atoi (staff_lines.get_text ())
207
208     tunings = [0]*lines
209     staff_tunings = details.get_named_children ('staff-tuning')
210     for i in staff_tunings:
211         p = musicexp.Pitch()
212         line = 0
213         try:
214             line = string.atoi (i.line) - 1
215         except ValueError:
216             pass
217         tunings[line] = p
218
219         step = i.get_named_child (u'tuning-step')
220         step = step.get_text ().strip ()
221         p.step = musicxml_step_to_lily (step)
222
223         octave = i.get_named_child (u'tuning-octave')
224         octave = octave.get_text ().strip ()
225         p.octave = int (octave) - 4
226
227         alter = i.get_named_child (u'tuning-alter')
228         if alter:
229             p.alteration = int (alter.get_text ().strip ())
230     # lilypond seems to use the opposite ordering than MusicXML...
231     tunings.reverse ()
232
233     return tunings
234
235
236 def staff_attributes_to_lily_staff (mxl_attr):
237     if not mxl_attr:
238         return musicexp.Staff ()
239
240     (staff_id, attributes) = mxl_attr.items ()[0]
241
242     # distinguish by clef:
243     # percussion (percussion and rhythmic), tab, and everything else
244     clef_sign = None
245     clef = attributes.get_maybe_exist_named_child ('clef')
246     if clef:
247         sign = clef.get_maybe_exist_named_child ('sign')
248         if sign:
249             clef_sign = {"percussion": "percussion", "TAB": "tab"}.get (sign.get_text (), None)
250
251     lines = 5
252     details = attributes.get_maybe_exist_named_child ('staff-details')
253     if details:
254         staff_lines = details.get_maybe_exist_named_child ('staff-lines')
255         if staff_lines:
256             lines = string.atoi (staff_lines.get_text ())
257
258     staff = None
259     if clef_sign == "percussion" and lines == 1:
260         staff = musicexp.RhythmicStaff ()
261     elif clef_sign == "percussion":
262         staff = musicexp.DrumStaff ()
263         # staff.drum_style_table = ???
264     elif clef_sign == "tab":
265         staff = musicexp.TabStaff ()
266         staff.string_tunings = staff_attributes_to_string_tunings (attributes)
267         # staff.tablature_format = ???
268     else:
269         # TODO: Handle case with lines <> 5!
270         staff = musicexp.Staff ()
271
272     return staff
273
274
275 def extract_score_layout (part_list, staffinfo):
276     layout = musicexp.StaffGroup (None)
277     if not part_list:
278         return layout
279
280     def read_score_part (el):
281         if not isinstance (el, musicxml.Score_part):
282             return
283         # Depending on the attributes of the first measure, we create different
284         # types of staves (Staff, RhythmicStaff, DrumStaff, TabStaff, etc.)
285         staff = staff_attributes_to_lily_staff (staffinfo.get (el.id, None))
286         if not staff:
287             return None
288         staff.id = el.id
289         partname = el.get_maybe_exist_named_child ('part-name')
290         # Finale gives unnamed parts the name "MusicXML Part" automatically!
291         if partname and partname.get_text() != "MusicXML Part":
292             staff.instrument_name = partname.get_text ()
293         if el.get_maybe_exist_named_child ('part-abbreviation'):
294             staff.short_instrument_name = el.get_maybe_exist_named_child ('part-abbreviation').get_text ()
295         # TODO: Read in the MIDI device / instrument
296         return staff
297
298     def read_score_group (el):
299         if not isinstance (el, musicxml.Part_group):
300             return
301         group = musicexp.StaffGroup ()
302         if hasattr (el, 'number'):
303             id = el.number
304             group.id = id
305             #currentgroups_dict[id] = group
306             #currentgroups.append (id)
307         if el.get_maybe_exist_named_child ('group-name'):
308             group.instrument_name = el.get_maybe_exist_named_child ('group-name').get_text ()
309         if el.get_maybe_exist_named_child ('group-abbreviation'):
310             group.short_instrument_name = el.get_maybe_exist_named_child ('group-abbreviation').get_text ()
311         if el.get_maybe_exist_named_child ('group-symbol'):
312             group.symbol = el.get_maybe_exist_named_child ('group-symbol').get_text ()
313         if el.get_maybe_exist_named_child ('group-barline'):
314             group.spanbar = el.get_maybe_exist_named_child ('group-barline').get_text ()
315         return group
316
317
318     parts_groups = part_list.get_all_children ()
319
320     # the start/end group tags are not necessarily ordered correctly and groups
321     # might even overlap, so we can't go through the children sequentially!
322
323     # 1) Replace all Score_part objects by their corresponding Staff objects,
324     #    also collect all group start/stop points into one PartGroupInfo object
325     staves = []
326     group_info = PartGroupInfo ()
327     for el in parts_groups:
328         if isinstance (el, musicxml.Score_part):
329             if not group_info.is_empty ():
330                 staves.append (group_info)
331                 group_info = PartGroupInfo ()
332             staff = read_score_part (el)
333             if staff:
334                 staves.append (staff)
335         elif isinstance (el, musicxml.Part_group):
336             if el.type == "start":
337                 group_info.add_start (el)
338             elif el.type == "stop":
339                 group_info.add_end (el)
340     if not group_info.is_empty ():
341         staves.append (group_info)
342
343     # 2) Now, detect the groups:
344     group_starts = []
345     pos = 0
346     while pos < len (staves):
347         el = staves[pos]
348         if isinstance (el, PartGroupInfo):
349             prev_start = 0
350             if len (group_starts) > 0:
351                 prev_start = group_starts[-1]
352             elif len (el.end) > 0: # no group to end here
353                 el.end = {}
354             if len (el.end) > 0: # closes an existing group
355                 ends = el.end.keys ()
356                 prev_started = staves[prev_start].start.keys ()
357                 grpid = None
358                 intersection = filter(lambda x:x in ends, prev_started)
359                 if len (intersection) > 0:
360                     grpid = intersection[0]
361                 else:
362                     # Close the last started group
363                     grpid = staves[prev_start].start.keys () [0]
364                     # Find the corresponding closing tag and remove it!
365                     j = pos + 1
366                     foundclosing = False
367                     while j < len (staves) and not foundclosing:
368                         if isinstance (staves[j], PartGroupInfo) and staves[j].end.has_key (grpid):
369                             foundclosing = True
370                             del staves[j].end[grpid]
371                             if staves[j].is_empty ():
372                                 del staves[j]
373                         j += 1
374                 grpobj = staves[prev_start].start[grpid]
375                 group = read_score_group (grpobj)
376                 # remove the id from both the start and end
377                 if el.end.has_key (grpid):
378                     del el.end[grpid]
379                 del staves[prev_start].start[grpid]
380                 if el.is_empty ():
381                     del staves[pos]
382                 # replace the staves with the whole group
383                 for j in staves[(prev_start + 1):pos]:
384                     if j.is_group:
385                         j.stafftype = "InnerStaffGroup"
386                     group.append_staff (j)
387                 del staves[(prev_start + 1):pos]
388                 staves.insert (prev_start + 1, group)
389                 # reset pos so that we continue at the correct position
390                 pos = prev_start
391                 # remove an empty start group
392                 if staves[prev_start].is_empty ():
393                     del staves[prev_start]
394                     group_starts.remove (prev_start)
395                     pos -= 1
396             elif len (el.start) > 0: # starts new part groups
397                 group_starts.append (pos)
398         pos += 1
399
400     if len (staves) == 1:
401         return staves[0]
402     for i in staves:
403         layout.append_staff (i)
404     return layout
405
406
407
408 def musicxml_duration_to_lily (mxl_note):
409     d = musicexp.Duration ()
410     # if the note has no Type child, then that method spits out a warning and 
411     # returns 0, i.e. a whole note
412     d.duration_log = mxl_note.get_duration_log ()
413
414     d.dots = len (mxl_note.get_typed_children (musicxml.Dot))
415     # Grace notes by specification have duration 0, so no time modification 
416     # factor is possible. It even messes up the output with *0/1
417     if not mxl_note.get_maybe_exist_typed_child (musicxml.Grace):
418         d.factor = mxl_note._duration / d.get_length ()
419
420     return d
421
422 def rational_to_lily_duration (rational_len):
423     d = musicexp.Duration ()
424     d.duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (rational_len.denominator (), -1)
425     d.factor = Rational (rational_len.numerator ())
426     if d.duration_log < 0:
427         error_message ("Encountered rational duration with denominator %s, "
428                        "unable to convert to lilypond duration" %
429                        rational_len.denominator ())
430         # TODO: Test the above error message
431         return None
432     else:
433         return d
434
435 def musicxml_partial_to_lily (partial_len):
436     if partial_len > 0:
437         p = musicexp.Partial ()
438         p.partial = rational_to_lily_duration (partial_len)
439         return p
440     else:
441         return Null
442
443 # Detect repeats and alternative endings in the chord event list (music_list)
444 # and convert them to the corresponding musicexp objects, containing nested
445 # music
446 def group_repeats (music_list):
447     repeat_replaced = True
448     music_start = 0
449     i = 0
450     # Walk through the list of expressions, looking for repeat structure
451     # (repeat start/end, corresponding endings). If we find one, try to find the
452     # last event of the repeat, replace the whole structure and start over again.
453     # For nested repeats, as soon as we encounter another starting repeat bar,
454     # treat that one first, and start over for the outer repeat.
455     while repeat_replaced and i < 100:
456         i += 1
457         repeat_start = -1  # position of repeat start / end
458         repeat_end = -1 # position of repeat start / end
459         repeat_times = 0
460         ending_start = -1 # position of current ending start
461         endings = [] # list of already finished endings
462         pos = 0
463         last = len (music_list) - 1
464         repeat_replaced = False
465         final_marker = 0
466         while pos < len (music_list) and not repeat_replaced:
467             e = music_list[pos]
468             repeat_finished = False
469             if isinstance (e, RepeatMarker):
470                 if not repeat_times and e.times:
471                     repeat_times = e.times
472                 if e.direction == -1:
473                     if repeat_end >= 0:
474                         repeat_finished = True
475                     else:
476                         repeat_start = pos
477                         repeat_end = -1
478                         ending_start = -1
479                         endings = []
480                 elif e.direction == 1:
481                     if repeat_start < 0:
482                         repeat_start = 0
483                     if repeat_end < 0:
484                         repeat_end = pos
485                     final_marker = pos
486             elif isinstance (e, EndingMarker):
487                 if e.direction == -1:
488                     if repeat_start < 0:
489                         repeat_start = 0
490                     if repeat_end < 0:
491                         repeat_end = pos
492                     ending_start = pos
493                 elif e.direction == 1:
494                     if ending_start < 0:
495                         ending_start = 0
496                     endings.append ([ending_start, pos])
497                     ending_start = -1
498                     final_marker = pos
499             elif not isinstance (e, musicexp.BarLine):
500                 # As soon as we encounter an element when repeat start and end
501                 # is set and we are not inside an alternative ending,
502                 # this whole repeat structure is finished => replace it
503                 if repeat_start >= 0 and repeat_end > 0 and ending_start < 0:
504                     repeat_finished = True
505
506             # Finish off all repeats without explicit ending bar (e.g. when
507             # we convert only one page of a multi-page score with repeats)
508             if pos == last and repeat_start >= 0:
509                 repeat_finished = True
510                 final_marker = pos
511                 if repeat_end < 0:
512                     repeat_end = pos
513                 if ending_start >= 0:
514                     endings.append ([ending_start, pos])
515                     ending_start = -1
516
517             if repeat_finished:
518                 # We found the whole structure replace it!
519                 r = musicexp.RepeatedMusic ()
520                 if repeat_times <= 0:
521                     repeat_times = 2
522                 r.repeat_count = repeat_times
523                 # don't erase the first element for "implicit" repeats (i.e. no
524                 # starting repeat bars at the very beginning)
525                 start = repeat_start+1
526                 if repeat_start == music_start:
527                     start = music_start
528                 r.set_music (music_list[start:repeat_end])
529                 for (start, end) in endings:
530                     s = musicexp.SequentialMusic ()
531                     s.elements = music_list[start+1:end]
532                     r.add_ending (s)
533                 del music_list[repeat_start:final_marker+1]
534                 music_list.insert (repeat_start, r)
535                 repeat_replaced = True
536             pos += 1
537         # TODO: Implement repeats until the end without explicit ending bar
538     return music_list
539
540
541
542 def group_tuplets (music_list, events):
543
544
545     """Collect Musics from
546     MUSIC_LIST demarcated by EVENTS_LIST in TimeScaledMusic objects.
547     """
548
549     
550     indices = []
551
552     j = 0
553     for (ev_chord, tuplet_elt, fraction) in events:
554         while (j < len (music_list)):
555             if music_list[j] == ev_chord:
556                 break
557             j += 1
558         if tuplet_elt.type == 'start':
559             indices.append ((j, None, fraction))
560         elif tuplet_elt.type == 'stop':
561             indices[-1] = (indices[-1][0], j, indices[-1][2])
562
563     new_list = []
564     last = 0
565     for (i1, i2, frac) in indices:
566         if i1 >= i2:
567             continue
568
569         new_list.extend (music_list[last:i1])
570         seq = musicexp.SequentialMusic ()
571         last = i2 + 1
572         seq.elements = music_list[i1:last]
573
574         tsm = musicexp.TimeScaledMusic ()
575         tsm.element = seq
576
577         tsm.numerator = frac[0]
578         tsm.denominator  = frac[1]
579
580         new_list.append (tsm)
581
582     new_list.extend (music_list[last:])
583     return new_list
584
585
586 def musicxml_clef_to_lily (attributes):
587     change = musicexp.ClefChange ()
588     (change.type, change.position, change.octave) = attributes.get_clef_information ()
589     return change
590     
591 def musicxml_time_to_lily (attributes):
592     (beats, type) = attributes.get_time_signature ()
593
594     change = musicexp.TimeSignatureChange()
595     change.fraction = (beats, type)
596     
597     return change
598
599 def musicxml_key_to_lily (attributes):
600     start_pitch  = musicexp.Pitch ()
601     (fifths, mode) = attributes.get_key_signature () 
602     try:
603         (n,a) = {
604             'major' : (0,0),
605             'minor' : (5,0),
606             }[mode]
607         start_pitch.step = n
608         start_pitch.alteration = a
609     except  KeyError:
610         error_message ('unknown mode %s' % mode)
611
612     fifth = musicexp.Pitch()
613     fifth.step = 4
614     if fifths < 0:
615         fifths *= -1
616         fifth.step *= -1
617         fifth.normalize ()
618     
619     for x in range (fifths):
620         start_pitch = start_pitch.transposed (fifth)
621
622     start_pitch.octave = 0
623
624     change = musicexp.KeySignatureChange()
625     change.mode = mode
626     change.tonic = start_pitch
627     return change
628     
629 def musicxml_attributes_to_lily (attrs):
630     elts = []
631     attr_dispatch =  {
632         'clef': musicxml_clef_to_lily,
633         'time': musicxml_time_to_lily,
634         'key': musicxml_key_to_lily
635     }
636     for (k, func) in attr_dispatch.items ():
637         children = attrs.get_named_children (k)
638         if children:
639             elts.append (func (attrs))
640     
641     return elts
642
643 class Marker (musicexp.Music):
644     def __init__ (self):
645         self.direction = 0
646         self.event = None
647     def print_ly (self, printer):
648         sys.stderr.write ("Encountered unprocessed marker %s\n" % self)
649         pass
650     def ly_expression (self):
651         return ""
652 class RepeatMarker (Marker):
653     def __init__ (self):
654         Marker.__init__ (self)
655         self.times = 0
656 class EndingMarker (Marker):
657     pass
658
659 # Convert the <barline> element to musicxml.BarLine (for non-standard barlines)
660 # and to RepeatMarker and EndingMarker objects for repeat and
661 # alternatives start/stops
662 def musicxml_barline_to_lily (barline):
663     # retval contains all possible markers in the order:
664     # 0..bw_ending, 1..bw_repeat, 2..barline, 3..fw_repeat, 4..fw_ending
665     retval = {}
666     bartype_element = barline.get_maybe_exist_named_child ("bar-style")
667     repeat_element = barline.get_maybe_exist_named_child ("repeat")
668     ending_element = barline.get_maybe_exist_named_child ("ending")
669
670     bartype = None
671     if bartype_element:
672         bartype = bartype_element.get_text ()
673
674     if repeat_element and hasattr (repeat_element, 'direction'):
675         repeat = RepeatMarker ()
676         repeat.direction = {"forward": -1, "backward": 1}.get (repeat_element.direction, 0)
677
678         if ( (repeat_element.direction == "forward" and bartype == "heavy-light") or
679              (repeat_element.direction == "backward" and bartype == "light-heavy") ):
680             bartype = None
681         if hasattr (repeat_element, 'times'):
682             try:
683                 repeat.times = int (repeat_element.times)
684             except ValueError:
685                 repeat.times = 2
686         repeat.event = barline
687         if repeat.direction == -1:
688             retval[3] = repeat
689         else:
690             retval[1] = repeat
691
692     if ending_element and hasattr (ending_element, 'type'):
693         ending = EndingMarker ()
694         ending.direction = {"start": -1, "stop": 1, "discontinue": 1}.get (ending_element.type, 0)
695         ending.event = barline
696         if ending.direction == -1:
697             retval[4] = ending
698         else:
699             retval[0] = ending
700
701     if bartype:
702         b = musicexp.BarLine ()
703         b.type = bartype
704         retval[2] = b
705
706     return retval.values ()
707
708 spanner_event_dict = {
709     'slur' : musicexp.SlurEvent,
710     'beam' : musicexp.BeamEvent,
711     'glissando' : musicexp.GlissandoEvent,
712     'pedal' : musicexp.PedalEvent,
713     'wavy-line' : musicexp.TrillSpanEvent,
714     'octave-shift' : musicexp.OctaveShiftEvent,
715     'wedge' : musicexp.HairpinEvent
716 }
717 spanner_type_dict = {
718     'start': -1,
719     'begin': -1,
720     'crescendo': -1,
721     'decreschendo': -1,
722     'diminuendo': -1,
723     'continue': 0,
724     'up': -1,
725     'down': -1,
726     'stop': 1,
727     'end' : 1
728 }
729
730 def musicxml_spanner_to_lily_event (mxl_event):
731     ev = None
732     
733     name = mxl_event.get_name()
734     func = spanner_event_dict.get (name)
735     if func:
736         ev = func()
737     else:
738         error_message ('unknown span event %s' % mxl_event)
739
740
741     type = mxl_event.get_type ()
742     span_direction = spanner_type_dict.get (type)
743     # really check for None, because some types will be translated to 0, which
744     # would otherwise also lead to the unknown span warning
745     if span_direction != None:
746         ev.span_direction = span_direction
747     else:
748         error_message ('unknown span type %s for %s' % (type, name))
749
750     ev.set_span_type (type)
751     ev.line_type = getattr (mxl_event, 'line-type', 'solid')
752
753     # assign the size, which is used for octave-shift, etc.
754     ev.size = mxl_event.get_size ()
755
756     return ev
757
758 def musicxml_direction_to_indicator (direction):
759     return { "above": 1, "upright": 1, "up":1, "below": -1, "downright": -1, "down": -1, "inverted": -1 }.get (direction, 0)
760
761 def musicxml_fermata_to_lily_event (mxl_event):
762     ev = musicexp.ArticulationEvent ()
763     txt = mxl_event.get_text ()
764     # The contents of the element defined the shape, possible are normal, angled and square
765     ev.type = { "angled": "shortfermata", "square": "longfermata" }.get (txt, "fermata")
766     if hasattr (mxl_event, 'type'):
767       dir = musicxml_direction_to_indicator (mxl_event.type)
768       if dir and options.convert_directions:
769         ev.force_direction = dir
770     return ev
771
772 def musicxml_arpeggiate_to_lily_event (mxl_event):
773     ev = musicexp.ArpeggioEvent ()
774     ev.direction = musicxml_direction_to_indicator (getattr (mxl_event, 'direction', None))
775     return ev
776
777 def musicxml_tremolo_to_lily_event (mxl_event):
778     ev = musicexp.TremoloEvent ()
779     txt = mxl_event.get_text ()
780     if txt:
781       ev.bars = txt
782     else:
783       ev.bars = "3"
784     return ev
785
786 def musicxml_falloff_to_lily_event (mxl_event):
787     ev = musicexp.BendEvent ()
788     ev.alter = -4
789     return ev
790
791 def musicxml_doit_to_lily_event (mxl_event):
792     ev = musicexp.BendEvent ()
793     ev.alter = 4
794     return ev
795
796 def musicxml_bend_to_lily_event (mxl_event):
797     ev = musicexp.BendEvent ()
798     ev.alter = mxl_event.bend_alter ()
799     return ev
800
801 def musicxml_caesura_to_lily_event (mxl_event):
802     ev = musicexp.MarkupEvent ()
803     # FIXME: default to straight or curved caesura?
804     ev.contents = "\\musicglyph #\"scripts.caesura.straight\""
805     ev.force_direction = 1
806     return ev
807
808 def musicxml_fingering_event (mxl_event):
809     ev = musicexp.ShortArticulationEvent ()
810     ev.type = mxl_event.get_text ()
811     return ev
812
813 def musicxml_snappizzicato_event (mxl_event):
814     needed_additional_definitions.append ("snappizzicato")
815     ev = musicexp.MarkupEvent ()
816     ev.contents = "\\snappizzicato"
817     return ev
818
819 def musicxml_string_event (mxl_event):
820     ev = musicexp.NoDirectionArticulationEvent ()
821     ev.type = mxl_event.get_text ()
822     return ev
823
824 def musicxml_accidental_mark (mxl_event):
825     ev = musicexp.MarkupEvent ()
826     contents = { "sharp": "\\sharp",
827       "natural": "\\natural",
828       "flat": "\\flat",
829       "double-sharp": "\\doublesharp",
830       "sharp-sharp": "\\sharp\\sharp",
831       "flat-flat": "\\flat\\flat",
832       "flat-flat": "\\doubleflat",
833       "natural-sharp": "\\natural\\sharp",
834       "natural-flat": "\\natural\\flat",
835       "quarter-flat": "\\semiflat",
836       "quarter-sharp": "\\semisharp",
837       "three-quarters-flat": "\\sesquiflat",
838       "three-quarters-sharp": "\\sesquisharp",
839     }.get (mxl_event.get_text ())
840     if contents:
841         ev.contents = contents
842         return ev
843     else:
844         return None
845
846 # translate articulations, ornaments and other notations into ArticulationEvents
847 # possible values:
848 #   -) string  (ArticulationEvent with that name)
849 #   -) function (function(mxl_event) needs to return a full ArticulationEvent-derived object
850 #   -) (class, name)  (like string, only that a different class than ArticulationEvent is used)
851 # TODO: Some translations are missing!
852 articulations_dict = {
853     "accent": (musicexp.ShortArticulationEvent, ">"), # or "accent"
854     "accidental-mark": musicxml_accidental_mark,
855     "bend": musicxml_bend_to_lily_event,
856     "breath-mark": (musicexp.NoDirectionArticulationEvent, "breathe"),
857     "caesura": musicxml_caesura_to_lily_event,
858     #"delayed-turn": "?",
859     "detached-legato": (musicexp.ShortArticulationEvent, "_"), # or "portato"
860     "doit": musicxml_doit_to_lily_event,
861     #"double-tongue": "",
862     "down-bow": "downbow",
863     "falloff": musicxml_falloff_to_lily_event,
864     "fingering": musicxml_fingering_event,
865     #"fingernails": "",
866     #"fret": "",
867     #"hammer-on": "",
868     "harmonic": "flageolet",
869     #"heel": "",
870     "inverted-mordent": "prall",
871     "inverted-turn": "reverseturn",
872     "mordent": "mordent",
873     "open-string": "open",
874     #"plop": "",
875     #"pluck": "",
876     #"pull-off": "",
877     #"schleifer": "?",
878     #"scoop": "",
879     #"shake": "?",
880     "snap-pizzicato": musicxml_snappizzicato_event,
881     #"spiccato": "",
882     "staccatissimo": (musicexp.ShortArticulationEvent, "|"), # or "staccatissimo"
883     "staccato": (musicexp.ShortArticulationEvent, "."), # or "staccato"
884     "stopped": (musicexp.ShortArticulationEvent, "+"), # or "stopped"
885     #"stress": "",
886     "string": musicxml_string_event,
887     "strong-accent": (musicexp.ShortArticulationEvent, "^"), # or "marcato"
888     #"tap": "",
889     "tenuto": (musicexp.ShortArticulationEvent, "-"), # or "tenuto"
890     #"thumb-position": "",
891     #"toe": "",
892     "turn": "turn",
893     "tremolo": musicxml_tremolo_to_lily_event,
894     "trill-mark": "trill",
895     #"triple-tongue": "",
896     #"unstress": ""
897     "up-bow": "upbow",
898     #"wavy-line": "?",
899 }
900 articulation_spanners = [ "wavy-line" ]
901
902 def musicxml_articulation_to_lily_event (mxl_event):
903     # wavy-line elements are treated as trill spanners, not as articulation ornaments
904     if mxl_event.get_name () in articulation_spanners:
905         return musicxml_spanner_to_lily_event (mxl_event)
906
907     tmp_tp = articulations_dict.get (mxl_event.get_name ())
908     if not tmp_tp:
909         return
910
911     if isinstance (tmp_tp, str):
912         ev = musicexp.ArticulationEvent ()
913         ev.type = tmp_tp
914     elif isinstance (tmp_tp, tuple):
915         ev = tmp_tp[0] ()
916         ev.type = tmp_tp[1]
917     else:
918         ev = tmp_tp (mxl_event)
919
920     # Some articulations use the type attribute, other the placement...
921     dir = None
922     if hasattr (mxl_event, 'type') and options.convert_directions:
923         dir = musicxml_direction_to_indicator (mxl_event.type)
924     if hasattr (mxl_event, 'placement') and options.convert_directions:
925         dir = musicxml_direction_to_indicator (mxl_event.placement)
926     if dir:
927         ev.force_direction = dir
928     return ev
929
930
931 def musicxml_dynamics_to_lily_event (dynentry):
932     dynamics_available = ( "p", "pp", "ppp", "pppp", "ppppp", "pppppp",
933         "f", "ff", "fff", "ffff", "fffff", "ffffff",
934         "mp", "mf", "sf", "sfp", "sfpp", "fp",
935         "rf", "rfz", "sfz", "sffz", "fz" )
936     if not dynentry.get_name() in dynamics_available:
937         return
938     event = musicexp.DynamicsEvent ()
939     event.type = dynentry.get_name ()
940     return event
941
942 # Convert single-color two-byte strings to numbers 0.0 - 1.0
943 def hexcolorval_to_nr (hex_val):
944     try:
945         v = int (hex_val, 16)
946         if v == 255:
947             v = 256
948         return v / 256.
949     except ValueError:
950         return 0.
951
952 def hex_to_color (hex_val):
953     res = re.match (r'#([0-9a-f][0-9a-f]|)([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])([0-9a-f][0-9a-f])$', hex_val, re.IGNORECASE)
954     if res:
955         return map (lambda x: hexcolorval_to_nr (x), res.group (2,3,4))
956     else:
957         return None
958
959 def musicxml_words_to_lily_event (words):
960     event = musicexp.TextEvent ()
961     text = words.get_text ()
962     text = re.sub ('^ *\n? *', '', text)
963     text = re.sub (' *\n? *$', '', text)
964     event.text = text
965
966     if hasattr (words, 'default-y') and options.convert_directions:
967         offset = getattr (words, 'default-y')
968         try:
969             off = string.atoi (offset)
970             if off > 0:
971                 event.force_direction = 1
972             else:
973                 event.force_direction = -1
974         except ValueError:
975             event.force_direction = 0
976
977     if hasattr (words, 'font-weight'):
978         font_weight = { "normal": '', "bold": '\\bold' }.get (getattr (words, 'font-weight'), '')
979         if font_weight:
980             event.markup += font_weight
981
982     if hasattr (words, 'font-size'):
983         size = getattr (words, 'font-size')
984         font_size = {
985             "xx-small": '\\teeny',
986             "x-small": '\\tiny',
987             "small": '\\small',
988             "medium": '',
989             "large": '\\large',
990             "x-large": '\\huge',
991             "xx-large": '\\bigger\\huge'
992         }.get (size, '')
993         if font_size:
994             event.markup += font_size
995
996     if hasattr (words, 'color'):
997         color = getattr (words, 'color')
998         rgb = hex_to_color (color)
999         if rgb:
1000             event.markup += "\\with-color #(rgb-color %s %s %s)" % (rgb[0], rgb[1], rgb[2])
1001
1002     if hasattr (words, 'font-style'):
1003         font_style = { "italic": '\\italic' }.get (getattr (words, 'font-style'), '')
1004         if font_style:
1005             event.markup += font_style
1006
1007     # TODO: How should I best convert the font-family attribute?
1008
1009     # TODO: How can I represent the underline, overline and line-through
1010     #       attributes in Lilypond? Values of these attributes indicate
1011     #       the number of lines
1012
1013     return event
1014
1015
1016 direction_spanners = [ 'octave-shift', 'pedal', 'wedge' ]
1017
1018 def musicxml_direction_to_lily (n):
1019     # TODO: Handle the <staff> element!
1020     res = []
1021     dirtype_children = []
1022     for dt in n.get_typed_children (musicxml.DirType):
1023         dirtype_children += dt.get_all_children ()
1024
1025     for entry in dirtype_children:
1026
1027         if entry.get_name () == "dynamics":
1028             for dynentry in entry.get_all_children ():
1029                 ev = musicxml_dynamics_to_lily_event (dynentry)
1030                 if ev:
1031                     res.append (ev)
1032
1033         if entry.get_name () == "words":
1034             ev = musicxml_words_to_lily_event (entry)
1035             if ev:
1036                 res.append (ev)
1037
1038         # octave shifts. pedal marks, hairpins etc. are spanners:
1039         if entry.get_name() in direction_spanners:
1040             event = musicxml_spanner_to_lily_event (entry)
1041             if event:
1042                 res.append (event)
1043
1044
1045     return res
1046
1047 def musicxml_frame_to_lily_event (frame):
1048     ev = musicexp.FretEvent ()
1049     ev.strings = frame.get_strings ()
1050     ev.frets = frame.get_frets ()
1051     #offset = frame.get_first_fret () - 1
1052     barre = []
1053     for fn in frame.get_named_children ('frame-note'):
1054         fret = fn.get_fret ()
1055         if fret <= 0:
1056             fret = "o"
1057         el = [ fn.get_string (), fret ]
1058         fingering = fn.get_fingering ()
1059         if fingering >= 0:
1060             el.append (fingering)
1061         ev.elements.append (el)
1062         b = fn.get_barre ()
1063         if b == 'start':
1064             barre[0] = el[0] # start string
1065             barre[2] = el[1] # fret
1066         elif b == 'stop':
1067             barre[1] = el[0] # end string
1068     if barre:
1069         ev.barre = barre
1070     return ev
1071
1072 def musicxml_harmony_to_lily (n):
1073     res = []
1074     for f in n.get_named_children ('frame'):
1075         ev = musicxml_frame_to_lily_event (f)
1076         if ev:
1077             res.append (ev)
1078
1079     return res
1080
1081 instrument_drumtype_dict = {
1082     'Acoustic Snare Drum': 'acousticsnare',
1083     'Side Stick': 'sidestick',
1084     'Open Triangle': 'opentriangle',
1085     'Mute Triangle': 'mutetriangle',
1086     'Tambourine': 'tambourine',
1087     'Bass Drum': 'bassdrum',
1088 }
1089
1090 def musicxml_note_to_lily_main_event (n):
1091     pitch  = None
1092     duration = None
1093     event = None
1094
1095     mxl_pitch = n.get_maybe_exist_typed_child (musicxml.Pitch)
1096     if mxl_pitch:
1097         pitch = musicxml_pitch_to_lily (mxl_pitch)
1098         event = musicexp.NoteEvent ()
1099         event.pitch = pitch
1100
1101         acc = n.get_maybe_exist_named_child ('accidental')
1102         if acc:
1103             # let's not force accs everywhere. 
1104             event.cautionary = acc.editorial
1105
1106     elif n.get_maybe_exist_typed_child (musicxml.Unpitched):
1107         # Unpitched elements have display-step and can also have
1108         # display-octave.
1109         unpitched = n.get_maybe_exist_typed_child (musicxml.Unpitched)
1110         event = musicexp.NoteEvent ()
1111         event.pitch = musicxml_unpitched_to_lily (unpitched)
1112         
1113     elif n.get_maybe_exist_typed_child (musicxml.Rest):
1114         # rests can have display-octave and display-step, which are
1115         # treated like an ordinary note pitch
1116         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1117         event = musicexp.RestEvent ()
1118         pitch = musicxml_restdisplay_to_lily (rest)
1119         event.pitch = pitch
1120
1121     elif n.instrument_name:
1122         event = musicexp.NoteEvent ()
1123         drum_type = instrument_drumtype_dict.get (n.instrument_name)
1124         if drum_type:
1125             event.drum_type = drum_type
1126         else:
1127             n.message ("drum %s type unknown, please add to instrument_drumtype_dict" % n.instrument_name)
1128             event.drum_type = 'acousticsnare'
1129
1130     else:
1131         n.message ("cannot find suitable event")
1132
1133     if event:
1134         event.duration = musicxml_duration_to_lily (n)
1135
1136     return event
1137
1138
1139 ## TODO
1140 class NegativeSkip:
1141     def __init__ (self, here, dest):
1142         self.here = here
1143         self.dest = dest
1144
1145 class LilyPondVoiceBuilder:
1146     def __init__ (self):
1147         self.elements = []
1148         self.pending_dynamics = []
1149         self.end_moment = Rational (0)
1150         self.begin_moment = Rational (0)
1151         self.pending_multibar = Rational (0)
1152         self.ignore_skips = False
1153
1154     def _insert_multibar (self):
1155         r = musicexp.MultiMeasureRest ()
1156         r.duration = musicexp.Duration()
1157         r.duration.duration_log = 0
1158         r.duration.factor = self.pending_multibar
1159         self.elements.append (r)
1160         self.begin_moment = self.end_moment
1161         self.end_moment = self.begin_moment + self.pending_multibar
1162         self.pending_multibar = Rational (0)
1163         
1164     def add_multibar_rest (self, duration):
1165         self.pending_multibar += duration
1166
1167     def set_duration (self, duration):
1168         self.end_moment = self.begin_moment + duration
1169     def current_duration (self):
1170         return self.end_moment - self.begin_moment
1171         
1172     def add_music (self, music, duration):
1173         assert isinstance (music, musicexp.Music)
1174         if self.pending_multibar > Rational (0):
1175             self._insert_multibar ()
1176
1177         self.elements.append (music)
1178         self.begin_moment = self.end_moment
1179         self.set_duration (duration)
1180         
1181         # Insert all pending dynamics right after the note/rest:
1182         if isinstance (music, musicexp.ChordEvent) and self.pending_dynamics:
1183             for d in self.pending_dynamics:
1184                 music.append (d)
1185             self.pending_dynamics = []
1186
1187     # Insert some music command that does not affect the position in the measure
1188     def add_command (self, command):
1189         assert isinstance (command, musicexp.Music)
1190         if self.pending_multibar > Rational (0):
1191             self._insert_multibar ()
1192         self.elements.append (command)
1193     def add_barline (self, barline):
1194         # TODO: Implement merging of default barline and custom bar line
1195         self.add_music (barline, Rational (0))
1196     def add_partial (self, command):
1197         self.ignore_skips = True
1198         self.add_command (command)
1199
1200     def add_dynamics (self, dynamic):
1201         # store the dynamic item(s) until we encounter the next note/rest:
1202         self.pending_dynamics.append (dynamic)
1203
1204     def add_bar_check (self, number):
1205         b = musicexp.BarLine ()
1206         b.bar_number = number
1207         self.add_barline (b)
1208
1209     def jumpto (self, moment):
1210         current_end = self.end_moment + self.pending_multibar
1211         diff = moment - current_end
1212         
1213         if diff < Rational (0):
1214             error_message ('Negative skip %s' % diff)
1215             diff = Rational (0)
1216
1217         if diff > Rational (0) and not (self.ignore_skips and moment == 0):
1218             skip = musicexp.SkipEvent()
1219             duration_factor = 1
1220             duration_log = {1: 0, 2: 1, 4:2, 8:3, 16:4, 32:5, 64:6, 128:7, 256:8, 512:9}.get (diff.denominator (), -1)
1221             duration_dots = 0
1222             if duration_log > 0: # denominator is a power of 2...
1223                 if diff.numerator () == 3:
1224                     duration_log -= 1
1225                     duration_dots = 1
1226                 else:
1227                     duration_factor = Rational (diff.numerator ())
1228             else:
1229                 duration_log = 0
1230                 duration_factor = diff
1231             skip.duration.duration_log = duration_log
1232             skip.duration.factor = duration_factor
1233             skip.duration.dots = duration_dots
1234
1235             evc = musicexp.ChordEvent ()
1236             evc.elements.append (skip)
1237             self.add_music (evc, diff)
1238
1239         if diff > Rational (0) and moment == 0:
1240             self.ignore_skips = False
1241
1242     def last_event_chord (self, starting_at):
1243
1244         value = None
1245
1246         # if the position matches, find the last ChordEvent, do not cross a bar line!
1247         at = len( self.elements ) - 1
1248         while (at >= 0 and
1249                not isinstance (self.elements[at], musicexp.ChordEvent) and
1250                not isinstance (self.elements[at], musicexp.BarLine)):
1251             at -= 1
1252
1253         if (self.elements
1254             and at >= 0
1255             and isinstance (self.elements[at], musicexp.ChordEvent)
1256             and self.begin_moment == starting_at):
1257             value = self.elements[at]
1258         else:
1259             self.jumpto (starting_at)
1260             value = None
1261         return value
1262         
1263     def correct_negative_skip (self, goto):
1264         self.end_moment = goto
1265         self.begin_moment = goto
1266         evc = musicexp.ChordEvent ()
1267         self.elements.append (evc)
1268
1269
1270 class VoiceData:
1271     def __init__ (self):
1272         self.voicedata = None
1273         self.ly_voice = None
1274         self.lyrics_dict = {}
1275         self.lyrics_order = []
1276
1277 def musicxml_step_to_lily (step):
1278     if step:
1279         return (ord (step) - ord ('A') + 7 - 2) % 7
1280     else:
1281         return None
1282
1283 def musicxml_voice_to_lily_voice (voice):
1284     tuplet_events = []
1285     modes_found = {}
1286     lyrics = {}
1287     return_value = VoiceData ()
1288     return_value.voicedata = voice
1289     
1290     # First pitch needed for relative mode (if selected in command-line options)
1291     first_pitch = None
1292
1293     # Needed for melismata detection (ignore lyrics on those notes!):
1294     inside_slur = False
1295     is_tied = False
1296     is_chord = False
1297     ignore_lyrics = False
1298
1299     current_staff = None
1300
1301     # Make sure that the keys in the dict don't get reordered, since
1302     # we need the correct ordering of the lyrics stanzas! By default,
1303     # a dict will reorder its keys
1304     return_value.lyrics_order = voice.get_lyrics_numbers ()
1305     for k in return_value.lyrics_order:
1306         lyrics[k] = []
1307
1308     voice_builder = LilyPondVoiceBuilder()
1309
1310     for n in voice._elements:
1311         if n.get_name () == 'forward':
1312             continue
1313         staff = n.get_maybe_exist_named_child ('staff')
1314         if staff:
1315             staff = staff.get_text ()
1316             if current_staff and staff <> current_staff and not n.get_maybe_exist_named_child ('chord'):
1317                 voice_builder.add_command (musicexp.StaffChange (staff))
1318             current_staff = staff
1319
1320         if isinstance (n, musicxml.Partial) and n.partial > 0:
1321             a = musicxml_partial_to_lily (n.partial)
1322             if a:
1323                 voice_builder.add_partial (a)
1324             continue
1325
1326         if isinstance (n, musicxml.Direction):
1327             for a in musicxml_direction_to_lily (n):
1328                 if a.wait_for_note ():
1329                     voice_builder.add_dynamics (a)
1330                 else:
1331                     voice_builder.add_command (a)
1332             continue
1333
1334         if isinstance (n, musicxml.Harmony):
1335             for a in musicxml_harmony_to_lily (n):
1336                 if a.wait_for_note ():
1337                     voice_builder.add_dynamics (a)
1338                 else:
1339                     voice_builder.add_command (a)
1340             continue
1341
1342         is_chord = n.get_maybe_exist_named_child ('chord')
1343         if not is_chord:
1344             try:
1345                 voice_builder.jumpto (n._when)
1346             except NegativeSkip, neg:
1347                 voice_builder.correct_negative_skip (n._when)
1348                 n.message ("Negative skip? from %s to %s, diff %s" % (neg.here, neg.dest, neg.dest - neg.here))
1349             
1350         if isinstance (n, musicxml.Attributes):
1351             if n.is_first () and n._measure_position == Rational (0):
1352                 try:
1353                     number = int (n.get_parent ().number)
1354                 except ValueError:
1355                     number = 0
1356                 if number > 0:
1357                     voice_builder.add_bar_check (number)
1358
1359             for a in musicxml_attributes_to_lily (n):
1360                 voice_builder.add_command (a)
1361             continue
1362
1363         if isinstance (n, musicxml.Barline):
1364             barlines = musicxml_barline_to_lily (n)
1365             for a in barlines:
1366                 if isinstance (a, musicexp.BarLine):
1367                     voice_builder.add_barline (a)
1368                 elif isinstance (a, RepeatMarker) or isinstance (a, EndingMarker):
1369                     voice_builder.add_command (a)
1370             continue
1371
1372         if not n.__class__.__name__ == 'Note':
1373             error_message ('not a Note or Attributes? %s' % n)
1374             continue
1375
1376         rest = n.get_maybe_exist_typed_child (musicxml.Rest)
1377         if (rest
1378             and rest.is_whole_measure ()):
1379
1380             voice_builder.add_multibar_rest (n._duration)
1381             continue
1382
1383         if n.is_first () and n._measure_position == Rational (0):
1384             try: 
1385                 num = int (n.get_parent ().number)
1386             except ValueError:
1387                 num = 0
1388             if num > 0:
1389                 voice_builder.add_bar_check (num)
1390
1391         main_event = musicxml_note_to_lily_main_event (n)
1392         if main_event and not first_pitch:
1393             first_pitch = main_event.pitch
1394         ignore_lyrics = inside_slur or is_tied or is_chord
1395
1396         if main_event and hasattr (main_event, 'drum_type') and main_event.drum_type:
1397             modes_found['drummode'] = True
1398
1399         ev_chord = voice_builder.last_event_chord (n._when)
1400         if not ev_chord: 
1401             ev_chord = musicexp.ChordEvent()
1402             voice_builder.add_music (ev_chord, n._duration)
1403
1404         grace = n.get_maybe_exist_typed_child (musicxml.Grace)
1405         if grace:
1406             grace_chord = None
1407             if n.get_maybe_exist_typed_child (musicxml.Chord) and ev_chord.grace_elements:
1408                 grace_chord = ev_chord.grace_elements.get_last_event_chord ()
1409             if not grace_chord:
1410                 grace_chord = musicexp.ChordEvent ()
1411                 ev_chord.append_grace (grace_chord)
1412             if hasattr (grace, 'slash'):
1413                 # TODO: use grace_type = "appoggiatura" for slurred grace notes
1414                 if grace.slash == "yes":
1415                     ev_chord.grace_type = "acciaccatura"
1416             # now that we have inserted the chord into the grace music, insert
1417             # everything into that chord instead of the ev_chord
1418             ev_chord = grace_chord
1419             ev_chord.append (main_event)
1420             ignore_lyrics = True
1421         else:
1422             ev_chord.append (main_event)
1423             # When a note/chord has grace notes (duration==0), the duration of the
1424             # event chord is not yet known, but the event chord was already added
1425             # with duration 0. The following correct this when we hit the real note!
1426             if voice_builder.current_duration () == 0 and n._duration > 0:
1427                 voice_builder.set_duration (n._duration)
1428         
1429         notations_children = n.get_typed_children (musicxml.Notations)
1430         tuplet_event = None
1431         span_events = []
1432
1433         # The <notation> element can have the following children (+ means implemented, ~ partially, - not):
1434         # +tied | +slur | +tuplet | glissando | slide | 
1435         #    ornaments | technical | articulations | dynamics |
1436         #    +fermata | arpeggiate | non-arpeggiate | 
1437         #    accidental-mark | other-notation
1438         for notations in notations_children:
1439             for tuplet_event in notations.get_tuplets():
1440                 mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1441                 frac = (1,1)
1442                 if mod:
1443                     frac = mod.get_fraction ()
1444                 
1445                 tuplet_events.append ((ev_chord, tuplet_event, frac))
1446
1447             slurs = [s for s in notations.get_named_children ('slur')
1448                 if s.get_type () in ('start','stop')]
1449             if slurs:
1450                 if len (slurs) > 1:
1451                     error_message ('more than 1 slur?')
1452                 # record the slur status for the next note in the loop
1453                 if not grace:
1454                     if slurs[0].get_type () == 'start':
1455                         inside_slur = True
1456                     elif slurs[0].get_type () == 'stop':
1457                         inside_slur = False
1458                 lily_ev = musicxml_spanner_to_lily_event (slurs[0])
1459                 ev_chord.append (lily_ev)
1460
1461             if not grace:
1462                 mxl_tie = notations.get_tie ()
1463                 if mxl_tie and mxl_tie.type == 'start':
1464                     ev_chord.append (musicexp.TieEvent ())
1465                     is_tied = True
1466                 else:
1467                     is_tied = False
1468
1469             fermatas = notations.get_named_children ('fermata')
1470             for a in fermatas:
1471                 ev = musicxml_fermata_to_lily_event (a)
1472                 if ev: 
1473                     ev_chord.append (ev)
1474
1475             arpeggiate = notations.get_named_children ('arpeggiate')
1476             for a in arpeggiate:
1477                 ev = musicxml_arpeggiate_to_lily_event (a)
1478                 if ev:
1479                     ev_chord.append (ev)
1480
1481             glissandos = notations.get_named_children ('glissando')
1482             for a in glissandos:
1483                 ev = musicxml_spanner_to_lily_event (a)
1484                 if ev:
1485                     ev_chord.append (ev)
1486                 
1487             # Articulations can contain the following child elements:
1488             #         accent | strong-accent | staccato | tenuto |
1489             #         detached-legato | staccatissimo | spiccato |
1490             #         scoop | plop | doit | falloff | breath-mark | 
1491             #         caesura | stress | unstress
1492             # Technical can contain the following child elements:
1493             #         up-bow | down-bow | harmonic | open-string |
1494             #         thumb-position | fingering | pluck | double-tongue |
1495             #         triple-tongue | stopped | snap-pizzicato | fret |
1496             #         string | hammer-on | pull-off | bend | tap | heel |
1497             #         toe | fingernails | other-technical
1498             # Ornaments can contain the following child elements:
1499             #         trill-mark | turn | delayed-turn | inverted-turn |
1500             #         shake | wavy-line | mordent | inverted-mordent | 
1501             #         schleifer | tremolo | other-ornament, accidental-mark
1502             ornaments = notations.get_named_children ('ornaments')
1503             ornaments += notations.get_named_children ('articulations')
1504             ornaments += notations.get_named_children ('technical')
1505
1506             for a in ornaments:
1507                 for ch in a.get_all_children ():
1508                     ev = musicxml_articulation_to_lily_event (ch)
1509                     if ev: 
1510                         ev_chord.append (ev)
1511
1512             dynamics = notations.get_named_children ('dynamics')
1513             for a in dynamics:
1514                 for ch in a.get_all_children ():
1515                     ev = musicxml_dynamics_to_lily_event (ch)
1516                     if ev:
1517                         ev_chord.append (ev)
1518
1519         # Extract the lyrics
1520         if not rest and not ignore_lyrics:
1521             note_lyrics_processed = []
1522             note_lyrics_elements = n.get_typed_children (musicxml.Lyric)
1523             for l in note_lyrics_elements:
1524                 if l.get_number () < 0:
1525                     for k in lyrics.keys ():
1526                         lyrics[k].append (l.lyric_to_text ())
1527                         note_lyrics_processed.append (k)
1528                 else:
1529                     lyrics[l.number].append(l.lyric_to_text ())
1530                     note_lyrics_processed.append (l.number)
1531             for lnr in lyrics.keys ():
1532                 if not lnr in note_lyrics_processed:
1533                     lyrics[lnr].append ("\skip4")
1534
1535
1536         mxl_beams = [b for b in n.get_named_children ('beam')
1537                      if (b.get_type () in ('begin', 'end')
1538                          and b.is_primary ())] 
1539         if mxl_beams:
1540             beam_ev = musicxml_spanner_to_lily_event (mxl_beams[0])
1541             if beam_ev:
1542                 ev_chord.append (beam_ev)
1543             
1544         if tuplet_event:
1545             mod = n.get_maybe_exist_typed_child (musicxml.Time_modification)
1546             frac = (1,1)
1547             if mod:
1548                 frac = mod.get_fraction ()
1549                 
1550             tuplet_events.append ((ev_chord, tuplet_event, frac))
1551
1552     ## force trailing mm rests to be written out.   
1553     voice_builder.add_music (musicexp.ChordEvent (), Rational (0))
1554     
1555     ly_voice = group_tuplets (voice_builder.elements, tuplet_events)
1556     ly_voice = group_repeats (ly_voice)
1557
1558     seq_music = musicexp.SequentialMusic ()
1559
1560     if 'drummode' in modes_found.keys ():
1561         ## \key <pitch> barfs in drummode.
1562         ly_voice = [e for e in ly_voice
1563                     if not isinstance(e, musicexp.KeySignatureChange)]
1564     
1565     seq_music.elements = ly_voice
1566     for k in lyrics.keys ():
1567         return_value.lyrics_dict[k] = musicexp.Lyrics ()
1568         return_value.lyrics_dict[k].lyrics_syllables = lyrics[k]
1569     
1570     
1571     if len (modes_found) > 1:
1572        error_message ('Too many modes found %s' % modes_found.keys ())
1573        
1574     if options.relative:
1575         v = musicexp.RelativeMusic ()
1576         v.element = seq_music
1577         v.basepitch = first_pitch
1578         seq_music = v
1579
1580     return_value.ly_voice = seq_music
1581     for mode in modes_found.keys ():
1582         v = musicexp.ModeChangingMusicWrapper()
1583         v.element = seq_music
1584         v.mode = mode
1585         return_value.ly_voice = v
1586     
1587     return return_value
1588
1589 def musicxml_id_to_lily (id):
1590     digits = ['Zero', 'One', 'Two', 'Three', 'Four', 'Five',
1591               'Six', 'Seven', 'Eight', 'Nine', 'Ten']
1592     
1593     for digit in digits:
1594         d = digits.index (digit)
1595         id = re.sub ('%d' % d, digit, id)
1596
1597     id = re.sub  ('[^a-zA-Z]', 'X', id)
1598     return id
1599
1600 def musicxml_pitch_to_lily (mxl_pitch):
1601     p = musicexp.Pitch ()
1602     p.alteration = mxl_pitch.get_alteration ()
1603     p.step = musicxml_step_to_lily (mxl_pitch.get_step ())
1604     p.octave = mxl_pitch.get_octave () - 4
1605     return p
1606
1607 def musicxml_unpitched_to_lily (mxl_unpitched):
1608     p = None
1609     step = mxl_unpitched.get_step ()
1610     if step:
1611         p = musicexp.Pitch ()
1612         p.step = musicxml_step_to_lily (step)
1613     octave = mxl_unpitched.get_octave ()
1614     if octave and p:
1615         p.octave = octave - 4
1616     return p
1617
1618 def musicxml_restdisplay_to_lily (mxl_rest):
1619     p = None
1620     step = mxl_rest.get_step ()
1621     if step:
1622         p = musicexp.Pitch ()
1623         p.step = musicxml_step_to_lily (step)
1624     octave = mxl_rest.get_octave ()
1625     if octave and p:
1626         p.octave = octave - 4
1627     return p
1628
1629 def voices_in_part (part):
1630     """Return a Name -> Voice dictionary for PART"""
1631     part.interpret ()
1632     part.extract_voices ()
1633     voices = part.get_voices ()
1634     part_info = part.get_staff_attributes ()
1635
1636     return (voices, part_info)
1637
1638 def voices_in_part_in_parts (parts):
1639     """return a Part -> Name -> Voice dictionary"""
1640     return dict([(p.id, voices_in_part (p)) for p in parts])
1641
1642
1643 def get_all_voices (parts):
1644     all_voices = voices_in_part_in_parts (parts)
1645
1646     all_ly_voices = {}
1647     all_ly_staffinfo = {}
1648     for p, (name_voice, staff_info) in all_voices.items ():
1649
1650         part_ly_voices = {}
1651         for n, v in name_voice.items ():
1652             progress ("Converting to LilyPond expressions...")
1653             # musicxml_voice_to_lily_voice returns (lily_voice, {nr->lyrics, nr->lyrics})
1654             part_ly_voices[n] = musicxml_voice_to_lily_voice (v)
1655
1656         all_ly_voices[p] = part_ly_voices
1657         all_ly_staffinfo[p] = staff_info
1658
1659     return (all_ly_voices, all_ly_staffinfo)
1660
1661
1662 def option_parser ():
1663     p = ly.get_option_parser(usage=_ ("musicxml2ly [options] FILE.xml"),
1664                              version=('''%prog (LilyPond) @TOPLEVEL_VERSION@\n\n'''
1665                                       +
1666 _ ("""This program is free software.  It is covered by the GNU General Public
1667 License and you are welcome to change it and/or distribute copies of it
1668 under certain conditions.  Invoke as `%s --warranty' for more
1669 information.""") % 'lilypond'
1670 + """
1671 Copyright (c) 2005--2007 by
1672     Han-Wen Nienhuys <hanwen@xs4all.nl>,
1673     Jan Nieuwenhuizen <janneke@gnu.org> and
1674     Reinhold Kainhofer <reinhold@kainhofer.com>
1675 """),
1676                              description=_ ("Convert %s to LilyPond input.") % 'MusicXML' + "\n")
1677     p.add_option ('-v', '--verbose',
1678                   action="store_true",
1679                   dest='verbose',
1680                   help=_ ("be verbose"))
1681
1682     p.add_option ('', '--lxml',
1683                   action="store_true",
1684                   default=False,
1685                   dest="use_lxml",
1686                   help=_ ("Use lxml.etree; uses less memory and cpu time."))
1687
1688     p.add_option ('-z', '--compressed',
1689                   action = "store_true",
1690                   dest = 'compressed',
1691                   default = False,
1692                   help = _ ("Input file is a zip-compressed MusicXML file."))
1693
1694     p.add_option ('-r', '--relative',
1695                   action = "store_true",
1696                   dest = "relative",
1697                   help = _ ("Convert pitches in relative mode."))
1698
1699     p.add_option ('-l', '--language',
1700                   action = "store",
1701                   help = _ ("Use a different language file, e.g. 'deutsch' for deutsch.ly."))
1702
1703     p.add_option ('--no-articulation-directions', '--nd',
1704                   action = "store_false",
1705                   default = True,
1706                   dest = "convert_directions",
1707                   help = _ ("Do not convert directions (^, _ or -) for articulations."))
1708
1709     p.add_option ('-o', '--output',
1710                   metavar=_ ("FILE"),
1711                   action="store",
1712                   default=None,
1713                   type='string',
1714                   dest='output_name',
1715                   help=_ ("set output filename to FILE"))
1716     p.add_option_group ('bugs',
1717                         description=(_ ("Report bugs via")
1718                                      + ''' http://post.gmane.org/post.php'''
1719                                      '''?group=gmane.comp.gnu.lilypond.bugs\n'''))
1720     return p
1721
1722 def music_xml_voice_name_to_lily_name (part_id, name):
1723     str = "Part%sVoice%s" % (part_id, name)
1724     return musicxml_id_to_lily (str) 
1725
1726 def music_xml_lyrics_name_to_lily_name (part_id, name, lyricsnr):
1727     str = "Part%sVoice%sLyrics%s" % (part_id, name, lyricsnr)
1728     return musicxml_id_to_lily (str) 
1729
1730 def print_voice_definitions (printer, part_list, voices):
1731     for part in part_list:
1732         part_id = part.id
1733         nv_dict = voices.get (part_id, {})
1734         for (name, voice) in nv_dict.items ():
1735             k = music_xml_voice_name_to_lily_name (part_id, name)
1736             printer.dump ('%s = ' % k)
1737             voice.ly_voice.print_ly (printer)
1738             printer.newline()
1739             for l in voice.lyrics_order:
1740                 lname = music_xml_lyrics_name_to_lily_name (part_id, name, l)
1741                 printer.dump ('%s = ' %lname )
1742                 voice.lyrics_dict[l].print_ly (printer)
1743                 printer.newline()
1744
1745
1746 def uniq_list (l):
1747     return dict ([(elt,1) for elt in l]).keys ()
1748
1749 # format the information about the staff in the form 
1750 #     [staffid,
1751 #         [
1752 #            [voiceid1, [lyricsid11, lyricsid12,...] ...],
1753 #            [voiceid2, [lyricsid21, lyricsid22,...] ...],
1754 #            ...
1755 #         ]
1756 #     ]
1757 # raw_voices is of the form [(voicename, lyricsids)*]
1758 def format_staff_info (part_id, staff_id, raw_voices):
1759     voices = []
1760     for (v, lyricsids) in raw_voices:
1761         voice_name = music_xml_voice_name_to_lily_name (part_id, v)
1762         voice_lyrics = [music_xml_lyrics_name_to_lily_name (part_id, v, l)
1763                    for l in lyricsids]
1764         voices.append ([voice_name, voice_lyrics])
1765     return [staff_id, voices]
1766
1767 def update_score_setup (score_structure, part_list, voices):
1768
1769     for part_definition in part_list:
1770         part_id = part_definition.id
1771         nv_dict = voices.get (part_id)
1772         if not nv_dict:
1773             error_message ('unknown part in part-list: %s' % part_id)
1774             continue
1775
1776         staves = reduce (lambda x,y: x+ y,
1777                 [voice.voicedata._staves.keys ()
1778                  for voice in nv_dict.values ()],
1779                 [])
1780         staves_info = []
1781         if len (staves) > 1:
1782             staves_info = []
1783             staves = uniq_list (staves)
1784             staves.sort ()
1785             for s in staves:
1786                 thisstaff_raw_voices = [(voice_name, voice.lyrics_order) 
1787                     for (voice_name, voice) in nv_dict.items ()
1788                     if voice.voicedata._start_staff == s]
1789                 staves_info.append (format_staff_info (part_id, s, thisstaff_raw_voices))
1790         else:
1791             thisstaff_raw_voices = [(voice_name, voice.lyrics_order) 
1792                 for (voice_name, voice) in nv_dict.items ()]
1793             staves_info.append (format_staff_info (part_id, None, thisstaff_raw_voices))
1794         score_structure.set_part_information (part_id, staves_info)
1795
1796 def print_ly_preamble (printer, filename):
1797     printer.dump_version ()
1798     printer.print_verbatim ('%% automatically converted from %s\n' % filename)
1799
1800 def print_ly_additional_definitions (printer, filename):
1801     if needed_additional_definitions:
1802         printer.newline ()
1803         printer.print_verbatim ('%% additional definitions required by the score:')
1804         printer.newline ()
1805     for a in set(needed_additional_definitions):
1806         printer.print_verbatim (additional_definitions.get (a, ''))
1807     printer.newline ()
1808
1809 # Read in the tree from the given I/O object (either file or string) and 
1810 # demarshall it using the classes from the musicxml.py file
1811 def read_xml (io_object, use_lxml):
1812     if use_lxml:
1813         import lxml.etree
1814         tree = lxml.etree.parse (io_object)
1815         mxl_tree = musicxml.lxml_demarshal_node (tree.getroot ())
1816         return mxl_tree
1817     else:
1818         from xml.dom import minidom, Node
1819         doc = minidom.parse(io_object)
1820         node = doc.documentElement
1821         return musicxml.minidom_demarshal_node (node)
1822     return None
1823
1824
1825 def read_musicxml (filename, compressed, use_lxml):
1826     raw_string = None
1827     if compressed:
1828         progress ("Input file %s is compressed, extracting raw MusicXML data" % filename)
1829         z = zipfile.ZipFile (filename, "r")
1830         container_xml = z.read ("META-INF/container.xml")
1831         if not container_xml:
1832             return None
1833         container = read_xml (StringIO.StringIO (container_xml), use_lxml)
1834         if not container:
1835             return None
1836         rootfiles = container.get_maybe_exist_named_child ('rootfiles')
1837         if not rootfiles:
1838             return None
1839         rootfile_list = rootfiles.get_named_children ('rootfile')
1840         mxml_file = None
1841         if len (rootfile_list) > 0:
1842             mxml_file = getattr (rootfile_list[0], 'full-path', None)
1843         if mxml_file:
1844             raw_string = z.read (mxml_file)
1845
1846     io_object = filename
1847     if raw_string:
1848         io_object = StringIO.StringIO (raw_string)
1849
1850     return read_xml (io_object, use_lxml)
1851
1852
1853 def convert (filename, options):
1854     progress ("Reading MusicXML from %s ..." % filename)
1855     
1856     tree = read_musicxml (filename, options.compressed, options.use_lxml)
1857     parts = tree.get_typed_children (musicxml.Part)
1858     (voices, staff_info) = get_all_voices (parts)
1859
1860     score_structure = None
1861     mxl_pl = tree.get_maybe_exist_typed_child (musicxml.Part_list)
1862     if mxl_pl:
1863         score_structure = extract_score_layout (mxl_pl, staff_info)
1864         part_list = mxl_pl.get_named_children ("score-part")
1865
1866     # score information is contained in the <work>, <identification> or <movement-title> tags
1867     score_information = extract_score_information (tree)
1868     layout_information = extract_layout_information (tree)
1869     update_score_setup (score_structure, part_list, voices)
1870
1871     if not options.output_name:
1872         options.output_name = os.path.basename (filename) 
1873         options.output_name = os.path.splitext (options.output_name)[0]
1874     elif re.match (".*\.ly", options.output_name):
1875         options.output_name = os.path.splitext (options.output_name)[0]
1876
1877
1878     defs_ly_name = options.output_name + '-defs.ly'
1879     driver_ly_name = options.output_name + '.ly'
1880
1881     printer = musicexp.Output_printer()
1882     progress ("Output to `%s'" % defs_ly_name)
1883     printer.set_file (codecs.open (defs_ly_name, 'wb', encoding='utf-8'))
1884
1885     print_ly_preamble (printer, filename)
1886     print_ly_additional_definitions (printer, filename)
1887     if score_information:
1888         score_information.print_ly (printer)
1889     if layout_information:
1890         layout_information.print_ly (printer)
1891     print_voice_definitions (printer, part_list, voices)
1892     
1893     printer.close ()
1894     
1895     
1896     progress ("Output to `%s'" % driver_ly_name)
1897     printer = musicexp.Output_printer()
1898     printer.set_file (codecs.open (driver_ly_name, 'wb', encoding='utf-8'))
1899     print_ly_preamble (printer, filename)
1900     printer.dump (r'\include "%s"' % os.path.basename (defs_ly_name))
1901     score_structure.print_ly (printer)
1902     printer.newline ()
1903
1904     return voices
1905
1906 def get_existing_filename_with_extension (filename, ext):
1907     if os.path.exists (filename):
1908         return filename
1909     newfilename = filename + "." + ext
1910     if os.path.exists (newfilename):
1911         return newfilename;
1912     newfilename = filename + ext
1913     if os.path.exists (newfilename):
1914         return newfilename;
1915     return ''
1916
1917 def main ():
1918     opt_parser = option_parser()
1919
1920     global options
1921     (options, args) = opt_parser.parse_args ()
1922     if not args:
1923         opt_parser.print_usage()
1924         sys.exit (2)
1925
1926     if options.language:
1927         musicexp.set_pitch_language (options.language)
1928         needed_additional_definitions.append (options.language)
1929         additional_definitions[options.language] = "\\include \"%s.ly\"\n" % options.language
1930
1931     # Allow the user to leave out the .xml or xml on the filename
1932     filename = get_existing_filename_with_extension (args[0], "xml")
1933     if not filename:
1934         filename = get_existing_filename_with_extension (args[0], "mxl")
1935         options.compressed = True
1936     if filename and os.path.exists (filename):
1937         voices = convert (filename, options)
1938     else:
1939         progress ("Unable to find input file %s" % args[0])
1940
1941 if __name__ == '__main__':
1942     main()