]> git.donarmstrong.com Git - lilypond.git/blobdiff - scripts/lilypond-book.py
Changed scripts/* to use sys.argv[0]
[lilypond.git] / scripts / lilypond-book.py
index 316694e9096d752ea564da159de496fffe4a673b..44ba8e60ff15636d74f967c1c2b3a70483f303fc 100644 (file)
@@ -1,77 +1,39 @@
 #!@PYTHON@
-# vim: set noexpandtab:
 
-"""
-
-  TODO:
-  * junk --outdir for--output
-  * Figure out clean set of options.
-  *
-  * texinfo: add support for @pagesize
-
-  todo: dimension handling (all the x2y) is clumsy. (tca: Thats
-        because the values are taken directly from texinfo.tex,
-        geometry.sty and article.cls. Give me a hint, and I'll
-        fix it.)
-
-
-  TODO: magnification support should also work for texinfo -> html: eg. add as option to dvips.
-
-
-
-  This is a slightly hairy program. The general approach is as follows 
-  The input string is chopped up in chunks, i.e. ,  a list of tuples
-
-    with the format  (TAG_STR, MAIN_STR, OPTIONS, TODO, BASE)
-
-  This list is built step by step: first ignore and verbatim commands
-  are handled, delivering a list of chunks.
-  
-  then all chunks containing lilypond commands are chopped up
-
-  when all chunks have their final form, all bodies from lilypond blocks are 
-  extracted, and if applicable, written do disk and run through lilypond.
-  
-
-tags supported
-
-  ignore
-  lilypond
-  input
-  verb
-  verbatim
-  multicols
-  numcols
-  
-
-
-
-"""
-
-#  This is was the idea for handling of comments:
-#      Multiline comments, @ignore .. @end ignore is scanned for
-#      in read_doc_file, and the chunks are marked as 'ignore', so
-#      lilypond-book will not touch them any more. The content of the
-#      chunks are written to the output file. Also 'include' and 'input'
-#      regex has to check if they are commented out.
-#
+'''
+Example usage:
+
+test:
+     lilypond-book --filter="tr '[a-z]' '[A-Z]'" BOOK
+         
+convert-ly on book:
+     lilypond-book --filter="convert-ly --no-version --from=1.6.11 -" BOOK
+
+classic lilypond-book:
+     lilypond-book --process="lilypond" BOOK.tely
+
+TODO:
+    *  ly-options: intertext ?
+    *  --linewidth?
+    *  eps in latex / eps by lilypond -fps ?
+    *  check latex parameters, twocolumn, multicolumn?
+      
+    *  Converting from lilypond-book source, substitute:
+       @mbinclude foo.itely -> @include foo.itely
+       \mbinput -> \input
 
-#      Then it is scanned for 'lilypond', 'lilypond-file' and 'lilypond-block'.
-#      These three regex's has to check if they are on a commented line,
-#      % for latex, @c for texinfo.
-#
-#      Then lines that are commented out with % (latex) and @c (Texinfo)
-#      are put into chunks marked 'ignore'. This cannot be done before
-#      searching for the lilypond-blocks because % is also the comment character
-#      for lilypond.
-#
-#      The the rest of the rexeces are searched for. They don't have to test
-#      if they are on a commented out line.
+'''
 
+import __main__
 import glob
 import stat
 import string
 
+#
+# TODO:
+#
+#  * use --png --ps --pdf for making images? 
+#
 
 ################################################################
 # Users of python modules should include this snippet
@@ -102,57 +64,40 @@ import lilylib as ly
 global _;_=ly._
 global re;re = ly.re
 
+
 # lilylib globals
-program_name = 'lilypond-book'
+program_version = '@TOPLEVEL_VERSION@'
+program_name = sys.argv[0]
 verbose_p = 0
 pseudo_filter_p = 0
 original_dir = os.getcwd ()
-#temp_dir = os.path.join (original_dir,  '%s.dir' % program_name)
-#urg
-temp_dir = '/tmp'
-keep_temp_dir_p = 0
-preview_resolution = 90
-
-## FIXME
-## ly2dvi: silly name?
-## do -P or -p by default?
-##help_summary = _ ("Run LilyPond using LaTeX for titling")
-help_summary = _ ("Process LilyPond snippets in hybrid html, LaTeX or texinfo document")
-copyright = ('Tom Cato Amundsen <tca@gnu.org>',
+
+
+help_summary = _ ("""Process LilyPond snippets in hybrid HTML, LaTeX or texinfo document.
+Example usage:
+
+   lilypond-book --filter="tr '[a-z]' '[A-Z]'" BOOK
+   lilypond-book --filter="convert-ly --no-version --from=2.0.0 -" BOOK
+   lilypond-book --process='lilypond -I include' BOOK
+
+""")
+
+copyright = ('Jan Nieuwenhuizen <janneke@gnu.org>',
             'Han-Wen Nienhuys <hanwen@cs.uu.nl>')
 
 option_definitions = [
        (_ ("EXT"), 'f', 'format', _ ("use output format EXT (texi [default], texi-html, latex, html)")),
-       (_ ("DIM"),  '', 'default-music-fontsize', _ ("default fontsize for music.  DIM is assumed to be in points")),
-       (_ ("DIM"),  '', 'default-lilypond-fontsize', _ ("deprecated, use --default-music-fontsize")),
-       (_ ("OPT"), '', 'extra-options', _ ("pass OPT quoted to the lilypond command line")),
-       (_ ("DIM"), '', 'force-music-fontsize', _ ("force fontsize for all inline lilypond. DIM is assumed be to in points")),
-       (_ ("DIM"), '', 'force-lilypond-fontsize', _ ("deprecated, use --force-music-fontsize")),
-       ('', 'h', 'help', _ ("this help")),
-       (_ ("DIR"), 'I', 'include', _ ("include path")),
-       ('', 'M', 'dependencies', _ ("write dependencies")),
-       (_ ("PREF"), '',  'dep-prefix', _ ("prepend PREF before each -M dependency")),
-       ('', 'n', 'no-lily', _ ("don't run lilypond")),
-       ('', '', 'no-pictures', _ ("don't generate pictures")),
-       ('', '', 'no-music', _ ("strip all lilypond blocks from output")),
-       (_ ("FILE"), 'o', 'outname', _ ("filename main output file")),
-       (_ ("FILE"), '', 'outdir', _ ("where to place generated files")),
-       (_ ('RES'), '', 'preview-resolution',
-        _ ("set the resolution of the preview to RES")),
-       ('', 'V', 'verbose', _ ("verbose")),
+       (_ ("FILTER"), 'F', 'filter', _ ("pipe snippets through FILTER [convert-ly -n -]")),
+       ('', 'h', 'help', _ ("print this help")),
+       (_ ("DIR"), 'I', 'include', _ ("add DIR to include path")),
+       (_ ("COMMAND"), 'P', 'process', _ ("process ly_files using COMMAND FILE...")),
+       (_ ("DIR"), 'o', 'output', _ ("write output to DIR")),
+       ('', 'V', 'verbose', _ ("be verbose")),
        ('', 'v', 'version', _ ("print version information")),
        ('', 'w', 'warranty', _ ("show warranty and copyright")),
        ]
 
-# format specific strings, ie. regex-es for input, and % strings for output
-
-# global variables
-
-include_path = [os.getcwd ()]
-
-
-#lilypond_binary = 'valgrind --suppressions=/home/hanwen/usr/src/guile-1.6.supp  --num-callers=10 /home/hanwen/usr/src/lilypond/lily/out/lilypond'
-
+include_path = [ly.abspath (os.getcwd ())]
 lilypond_binary = os.path.join ('@bindir@', 'lilypond')
 
 # only use installed binary  when we're installed too.
@@ -160,1475 +105,995 @@ if '@bindir@' == ('@' + 'bindir@') or not os.path.exists (lilypond_binary):
        lilypond_binary = 'lilypond'
 
 
+use_hash_p = 1
+format = 0
+output_name = 0
+latex_filter_cmd = 'latex "\\nonstopmode \input /dev/stdin"'
+filter_cmd = 0
+process_cmd = ''
+default_ly_options = {}
 
-ly2dvi_binary = os.path.join ('@bindir@', 'ly2dvi')
-
-# only use installed binary  when we're installed too.
-if '@bindir@' == ('@' + 'bindir@') or not os.path.exists (lilypond_binary):
-       ly2dvi_binary = 'ly2dvi'
-
-
-
-g_extra_opts = ''
-g_here_dir = os.getcwd ()
-g_dep_prefix = ''
-g_outdir = ''
-g_force_music_fontsize = 0
-g_do_pictures = 1
-g_do_music = 1
-g_make_html = 0
+#
+# is this pythonic? Personally, I find this rather #define-nesque. --hwn
+#
+AFTER = 'after'
+BEFORE = 'before'
+BOOKPAPER = 'bookpaper'
+EXAMPLEINDENT = 'exampleindent'
+FILTER = 'filter'
+FRAGMENT = 'fragment'
+HTML = 'html'
+INDENT = 'indent'
+LATEX = 'latex'
+LINEWIDTH = 'linewidth'
+NOFRAGMENT = 'nofragment'
+NOINDENT = 'noindent'
+NOTES = 'body'
+NOTIME = 'notime'
+OUTPUT = 'output'
+PAPER = 'paper'
+PREAMBLE = 'preamble'
+PRINTFILENAME = 'printfilename'
+QUOTE = 'quote'
+RAGGEDRIGHT = 'raggedright'
+RELATIVE = 'relative'
+STAFFSIZE = 'staffsize'
+TEXIDOC = 'texidoc'
+TEXINFO = 'texinfo'
+VERBATIM = 'verbatim'
 
-format = ''
-g_run_lilypond = 1
+# Recognize special sequences in the input 
+#
+# (?P<name>regex) -- assign result of REGEX to NAME
+# *? -- match non-greedily.
+# (?m) -- multiline regex: make ^ and $ match at each line
+# (?s) -- make the dot match all characters including newline
 no_match = 'a\ba'
-
-default_music_fontsize = 16
-default_text_fontsize = 12
-paperguru = None
-
-################################################################
-# Dimension handling for LaTeX.
-# 
-class LatexPaper:
-       def __init__ (self):
-               self.m_document_preamble = []
-               self.m_num_cols = 1
-               self.m_multicols = 1
-
-       def find_latex_dims (self):
-               if g_outdir:
-                       fname = os.path.join (g_outdir, "lily-tmp.tex")
-               else:
-                       fname = "lily-tmp.tex"
-               try:
-                       f = open (fname, "w")
-               except IOError:
-                       error ("Error creating temporary file '%s'" % fname)
-
-               for s in self.m_document_preamble:
-                       f.write (s)
-               f.write (r"""
-\begin{document}
-\typeout{---}
-\typeout{\columnsep \the\columnsep}
-\typeout{\textwidth \the\textwidth}
-\typeout{---}
-\end{document}
-               """)
-               f.close ()
-               re_dim = re.compile (r"\\(\w+)\s+(\d+\.\d+)")
-
-               cmd = "latex '\\nonstopmode \input %s'" % fname
-               # Ugh.  (La)TeX writes progress and error messages on stdout
-               # Redirect to stderr
-               cmd += ' 1>/dev/stderr'
-               status = ly.system (cmd, ignore_error = 1)
-               signal = 0xf & status
-               exit_status = status >> 8
-               
-               if status:
-                       ly.error (_ ("LaTeX failed."))
-                       ly.error (_ ("The error log is as follows:"))
-                       
-                       #URG see ly2dvi
-                       try:
-                               lns = open ('lily-tmp.log').readlines ()
-                       except:
-                               lns = ''
-                       countdown = -3
-                       for ln in lns:
-                               sys.stderr.write (ln)
-                               if re.match ('^!', ln):
-                                       countdown = 3
-
-                               if countdown == 0:
-                                       break
-
-                               if countdown > 0:
-                                       countdown = countdown -1
-
-                       sys.stderr.write ("  ... (further messages elided)...\n")
-                       sys.exit (1)
-
-               lns = open ('lily-tmp.log').readlines ()
-               for ln in lns:
-                       ln = string.strip (ln)
-                       m = re_dim.match (ln)
-                       if m:
-                               if m.groups ()[0] in ('textwidth', 'columnsep'):
-                                       self.__dict__['m_%s' % m.groups ()[0]] = float (m.groups ()[1])
-
-               try:
-                       os.remove (fname)
-                       os.remove (os.path.splitext (fname)[0]+".aux")
-                       os.remove (os.path.splitext (fname)[0]+".log")
-               except:
-                       pass
-
-               if not self.__dict__.has_key ('m_textwidth'):
-                       raise 'foo!'
-
-       def get_linewidth (self):
-               if self.m_num_cols == 1:
-                       w = self.m_textwidth
-               else:
-                       w = (self.m_textwidth - self.m_columnsep)/2
-               if self.m_multicols > 1:
-                       return (w - self.m_columnsep* (self.m_multicols-1)) \
-                          / self.m_multicols
-               return w
-
-
-class HtmlPaper:
-       def __init__ (self):
-               self.m_papersize = 'letterpaper'
-               self.m_fontsize = 12
-       def get_linewidth (self):
-               return html_linewidths[self.m_papersize][self.m_fontsize]
-
-class TexiPaper:
-       def __init__ (self):
-               self.m_papersize = 'letterpaper'
-               self.m_fontsize = 12
-       def get_linewidth (self):
-               return texi_linewidths[self.m_papersize][self.m_fontsize]
-
-def mm2pt (x):
-       return x * 2.8452756
-def in2pt (x):
-       return x * 72.26999
-def em2pt (x, fontsize = 10):
-       return {10: 10.00002, 11: 10.8448, 12: 11.74988}[fontsize] * x
-def ex2pt (x, fontsize = 10):
-       return {10: 4.30554, 11: 4.7146, 12: 5.16667}[fontsize] * x
-
-def pt2pt (x):
-       return x
-
-dimension_conversion_dict ={
-       'mm': mm2pt,
-       'cm': lambda x: mm2pt (10*x),
-       'in': in2pt,
-       'em': em2pt,
-       'ex': ex2pt,
-       'pt': pt2pt
+snippet_res = {
+       HTML: {
+       'include':  no_match,
+       'lilypond' : '(?m)(?P<match><lilypond((?P<options>[^:]*):)(?P<code>.*?)/>)',
+       'lilypond_block': r'''(?ms)(?P<match><lilypond(?P<options>[^>]+)?>(?P<code>.*?)</lilypond>)''',
+       'lilypond_file': r'(?m)(?P<match><lilypondfile(?P<options>[^>]+)?>\s*(?P<filename>[^<]+)\s*</lilypondfile>)',
+       'multiline_comment': r"(?sm)\s*(?!@c\s+)(?P<code><!--\s.*?!-->)\s",
+       'singleline_comment': no_match,
+       'verb': r'''(?P<code><pre>.*?</pre>)''',
+       'verbatim': r'''(?s)(?P<code><pre>\s.*?</pre>\s)''',
+       },
+
+       LATEX: {
+       'include': r'(?m)^[^%\n]*?(?P<match>\\input{(?P<filename>[^}]+)})',
+       'lilypond' : r'(?m)^[^%\n]*?(?P<match>\\lilypond\s*(\[(?P<options>.*?)\])?\s*{(?P<code>.*?)})',
+       'lilypond_block': r"(?sm)^[^%\n]*?(?P<match>\\begin\s*(\[(?P<options>.*?)\])?\s*{lilypond}(?P<code>.*?)\\end{lilypond})",
+       'lilypond_file': r'(?m)^[^%\n]*?(?P<match>\\lilypondfile\s*(\[(?P<options>.*?)\])?\s*\{(?P<filename>.+)})',
+       'multiline_comment': no_match,
+       'singleline_comment': r"(?m)^.*?(?P<match>(?P<code>^%.*$\n+))",
+       'verb': r"(?P<code>\\verb(?P<del>.).*?(?P=del))",
+       'verbatim': r"(?s)(?P<code>\\begin\s*{verbatim}.*?\\end{verbatim})",
+       },
+
+       TEXINFO: {
+       'include':  '(?m)^[^%\n]*?(?P<match>@include\s+(?P<filename>\S+))',
+       'lilypond' : '(?m)^(?P<match>@lilypond(\[(?P<options>[^]]*)\])?{(?P<code>.*?)})',
+       'lilypond_block': r'''(?ms)^(?P<match>@lilypond(\[(?P<options>[^]]*)\])?\s(?P<code>.*?)@end lilypond)\s''',
+       'lilypond_file': '(?m)^(?P<match>@lilypondfile(\[(?P<options>[^]]*)\])?{(?P<filename>[^}]+)})',
+       'multiline_comment': r'(?sm)^\s*(?!@c\s+)(?P<code>@ignore\s.*?@end\s+ignore)\s',
+       'singleline_comment': r'(?m)^.*(?P<match>(?P<code>@c([ \t][^\n]*|)\n))',
+
+# don't do this: fucks up with @code{@{}
+#      'verb': r'''(?P<code>@code{.*?})''',
+       'verbatim': r'''(?s)(?P<code>@example\s.*?@end\s+example\s)''',
+       },
        }
 
-# Convert numeric values, with or without specific dimension, to floats.
-# Keep other strings
-def conv_dimen_to_float (value):
-       if type (value) == type (""):
-               m = re.match ("([0-9.]+)(cm|in|pt|mm|em|ex)",value)
-               if m:
-                       unit = m.group (2)
-                       num = string.atof (m.group (1))
-                       conv =  dimension_conversion_dict[m.group (2)]
-
-                       value = conv (num)
-
-               elif re.match ("^[0-9.]+$",value):
-                       value = float (value)
-
-       return value
-
-texi_linewidths = {
-       'afourpaper': {12: mm2pt (160)},
-       'afourwide': {12: in2pt (6.5)},
-       'afourlatex': {12: mm2pt (150)},
-       'smallbook': {12: in2pt (5)},
-       'letterpaper': {12: in2pt (6)}}
-
-html_linewidths = {
-       'afourpaper': {12: mm2pt (160)},
-       'afourwide': {12: in2pt (6.5)},
-       'afourlatex': {12: mm2pt (150)},
-       'smallbook': {12: in2pt (5)},
-       'letterpaper': {12: in2pt (6)}}
-
-
-################################################################
-# How to output various structures. 
-output_dict= {
-
-
-       'html' : {
-
-               'output-filename' : r'''
-<!-- %s >
-<a href="%s">
-<pre>%s</pre></a>:''',
-               'output-lilypond-fragment': '''<lilypond%s>
-\context Staff\context Voice{ %s }
-</lilypond>''',
-               'output-noinline': r'''
-<!-- generated: %(fn)s.png !-->
-''',
-               ## maybe <hr> ?
-               'pagebreak': None,
-               # Verbatim text is always finished with \n.  FIXME: For HTML,
-               # this newline should be removed.
-               'output-verbatim': r'''<pre>
-%s</pre>''',
-               # Verbatim text is always finished with \n.  FIXME: For HTML,
-               # this newline should be removed.
-               'output-small-verbatim': r'''<font size=-1><pre>
-%s</pre></font>''',
-               ## Ugh we need to differentiate on origin:
-               ## lilypond-block origin wants an extra <p>, but
-               ## inline music doesn't.
-               ## possibly other center options?
-               'output-html': r'''
-%(pageimages)s''',
-               },
+format_res = {
+       HTML: {
+       'option-sep' : '\s*',
+       'intertext': r',?\s*intertext=\".*?\"',
+       },
+       LATEX: {
+       'intertext': r',?\s*intertext=\".*?\"',
+       'option-sep' : ',\s*',
+       },
+       TEXINFO: {
+       'intertext': r',?\s*intertext=\".*?\"',
+       'option-sep' : ',\s*',
+       },
+       }
 
+ly_options = {
+       NOTES: {
+               RELATIVE: r'''\relative c%(relative_quotes)s''',
+       },
+       BOOKPAPER: {
+               INDENT : r'''
+    indent = %(indent)s''',
+       'linewidth' : r'''
+    linewidth = %(linewidth)s''',
+               NOINDENT : r'''
+    indent = 0.0\mm''',        
+               QUOTE : r'''
+    linewidth = %(linewidth)s - 2.0 * %(exampleindent)s
+''',   
+               RAGGEDRIGHT : r'''
+    indent = 0.0\mm
+    raggedright = ##t''',
+       },
 
-       'latex': {
+       ##
+       PAPER: {
+               EXAMPLEINDENT : '',
 
-               'output-lilypond-fragment' : r'''\begin[eps,singleline,%s]{lilypond}
-  \context Staff <
-    \context Voice{
-      %s
-    }
-  >
-\end{lilypond}''',
-               'output-filename' : r'''\verb+%s+:\\
-%% %s
-%% %s
-''',
+               NOTIME : r'''
+    \context {
+        \Staff
+        \remove Time_signature_engraver
+    }''',
+       },
 
-               # verbatim text is always finished with \n
-               'output-verbatim': r'''\begin{verbatim}
-%s\end{verbatim}
-''',
-               # verbatim text is always finished with \n
-               'output-small-verbatim': r'''{\small\begin{verbatim}
-%s\end{verbatim}}
-''',
-               'output-default-post': "\\def\postLilypondExample{}\n",
-               'output-default-pre': "\\def\preLilypondExample{}\n",
-               'usepackage-graphics': '\\usepackage{graphics}\n',
-               'output-eps': '\\noindent\\parbox{\\lilypondepswidth{%(fn)s.eps}}{\includegraphics{%(fn)s}}',
-               'output-noinline': r'''
-%% generated: %(fn)s.eps
-''',
-               'output-latex-quoted': r'''{\preLilypondExample
-\input %(fn)s.tex
-\postLilypondExample}''',
-               'output-latex-noquote': r'''{\parindent 0pt
-\preLilypondExample
-\input %(fn)s.tex
-\postLilypondExample}''',
-               'pagebreak': r'\pagebreak',
+       ##
+       PREAMBLE: {
+               STAFFSIZE: r'''
+#(set-global-staff-size %(staffsize)s)''',
                },
+       }
 
-
-       'texi' : {
-
-
-               'output-filename' : r'''
-@ifnothtml
-@file{%s}:@*
-@end ifnothtml
-@ifhtml
-@uref{%s,@file{%s}}
-@end ifhtml
-''',
-               'output-lilypond-fragment': '''@lilypond[%s]
-\context Staff\context Voice{ %s }
-@end lilypond ''',
-               'output-noinline': r'''
-@c generated: %(fn)s.png
+output = {
+       HTML : {
+       FILTER: r'''<lilypond %(options)s>
+%(code)s
+</lilypond>
 ''',
-               'pagebreak': None,
-               # verbatim text is always finished with \n
-               'output-small-verbatim': r'''@smallexample
-%s@end smallexample
-''',
-               # verbatim text is always finished with \n
-               'output-verbatim': r'''@example
-%s@end example
-''',
-               # do some tweaking: @ is needed in some ps stuff.
-               #
-               # ugh, the <p> below breaks inline images...
-               'output-texi-noquote': r'''@tex
-\catcode`\@=12
-\parindent 0pt
-\def\lilypondbook{}
-\input %(fn)s.tex
-\catcode`\@=0
-@end tex
-@html
-<p>%(htmlimages)s
+       
+       AFTER: r'''
+  </a>
+</p>''',
+       BEFORE: r'''
 <p>
-@end html
-''',
-               'output-texi-quoted': r'''@quotation
-@tex
+  <a href="%(base)s.ly">''',
+       OUTPUT: r'''
+    <img align="center" valign="center"
+         border="0" src="%(image)s" alt="[image of music]">''',
+       PRINTFILENAME:'<p><tt><a href="%(base)s.ly">%(filename)s</a></tt></p>',
+       QUOTE: r'''<blockquote>
+%(str)s
+</blockquote>
+''',   
+       VERBATIM: r'''<pre>
+%(verb)s</pre>''',
+       },
+
+       LATEX : {
+       AFTER: '',
+       BEFORE: '',
+       OUTPUT: r'''{\parindent 0pt
 \catcode`\@=12
+\ifx\preLilyPondExample\undefined\relax\else\preLilyPondExample\fi
 \def\lilypondbook{}
-\input %(fn)s.tex
-\catcode`\@=0
-@end tex
-@html
-<p>%(htmlimages)s
-<p>
-@end html
+\input %(base)s.tex
+\ifx\postLilyPondExample\undefined\relax\else\postLilyPondExample\fi
+\catcode`\@=0}''',
+       PRINTFILENAME: '''\\texttt{%(filename)s}
+
+       ''',
+       QUOTE: r'''\begin{quotation}
+%(str)s
+\end{quotation}
+''',   
+       VERBATIM: r'''\noindent
+\begin{verbatim}
+%(verb)s\end{verbatim}
+''',
+       FILTER: r'''\begin{lilypond}[%(options)s]
+%(code)s
+\end{lilypond}''',
+       },
+
+       TEXINFO : {
+       FILTER: r'''@lilypond[%(options)s]
+%(code)s
+@lilypond''',
+       AFTER: '',
+       BEFORE: '',
+       OUTPUT: r'''@noindent
+@image{%(base)s,,,[image of music],%(ext)s}
+''',   
+       PRINTFILENAME: '''@file{%(filename)s}
+
+       ''',
+       QUOTE: r'''@quotation
+%(str)s
 @end quotation
 ''',
-               }
-
-       }
-
-def output_verbatim (body, small):
-       global format
-       if format == 'html':
-               body = re.sub ('&', '&amp;', body)
-               body = re.sub ('>', '&gt;', body)
-               body = re.sub ('<', '&lt;', body)
-       elif format == 'texi':
-               # clumsy workaround for python 2.2 pre bug.
-               body = re.sub ('@', '@@', body)
-               body = re.sub ('{', '@{', body)
-               body = re.sub ('}', '@}', body)
-
-       if small:
-               key = 'output-small-verbatim'
-       else:
-               key = 'output-verbatim'
-       return get_output (key) % body
-
-
-################################################################
-# Recognize special sequences in the input 
-
-
-# Warning: This uses extended regular expressions.  Tread with care.
-#
-# legenda
-#
-# (?P<name>regex) -- assign result of REGEX to NAME
-# *? -- match non-greedily.
-# (?m) -- multiline regex: make ^ and $ match at each line
-# (?s) -- make the dot match all characters including newline
-re_dict = {
-       'html': {
-               'include':  no_match,
-               'input': no_match,
-               'header': no_match,
-               'preamble-end': no_match,
-               'landscape': no_match,
-               'verbatim': r'''(?s)(?P<code><pre>\s.*?</pre>\s)''',
-               'verb': r'''(?P<code><pre>.*?</pre>)''',
-               'lilypond-file': r'(?m)(?P<match><lilypondfile(?P<options>[^>]+)?>\s*(?P<filename>[^<]+)\s*</lilypondfile>)',
-               'lilypond' : '(?m)(?P<match><lilypond((?P<options>[^:]*):)(?P<code>.*?)/>)',
-               'lilypond-block': r'''(?ms)(?P<match><lilypond(?P<options>[^>]+)?>(?P<code>.*?)</lilypond>)''',
-               'option-sep' : '\s*',
-               'intertext': r',?\s*intertext=\".*?\"',
-               'multiline-comment': r"(?sm)\s*(?!@c\s+)(?P<code><!--\s.*?!-->)\s",
-               'singleline-comment': no_match,
-               'numcols': no_match,
-               'multicols': no_match,
-               'ly2dvi': r'(?m)(?P<match><ly2dvifile(?P<options>[^>]+)?>\s*(?P<filename>[^<]+)\s*</ly2dvifile>)',
-               },
-
-       'latex': {
-               'input': r'(?m)^[^%\n]*?(?P<match>\\mbinput{?([^}\t \n}]*))',
-               'include': r'(?m)^[^%\n]*?(?P<match>\\mbinclude{(?P<filename>[^}]+)})',
-               'option-sep' : ',\s*',
-               'header': r"\n*\\documentclass\s*(\[.*?\])?",
-               'preamble-end': r'(?P<code>\\begin\s*{document})',
-               'verbatim': r"(?s)(?P<code>\\begin\s*{verbatim}.*?\\end{verbatim})",
-               'verb': r"(?P<code>\\verb(?P<del>.).*?(?P=del))",
-               'lilypond-file': r'(?m)^[^%\n]*?(?P<match>\\lilypondfile\s*(\[(?P<options>.*?)\])?\s*\{(?P<filename>.+)})',
-               'lilypond' : r'(?m)^[^%\n]*?(?P<match>\\lilypond\s*(\[(?P<options>.*?)\])?\s*{(?P<code>.*?)})',
-               'lilypond-block': r"(?sm)^[^%\n]*?(?P<match>\\begin\s*(\[(?P<options>.*?)\])?\s*{lilypond}(?P<code>.*?)\\end{lilypond})",
-               'def-post-re': r"\\def\\postLilypondExample",
-               'def-pre-re': r"\\def\\preLilypondExample",
-               'usepackage-graphics': r"\usepackage\s*{graphics}",
-               'intertext': r',?\s*intertext=\".*?\"',
-               'multiline-comment': no_match,
-               'singleline-comment': r"(?m)^.*?(?P<match>(?P<code>^%.*$\n+))",
-               'numcols': r"(?P<code>\\(?P<num>one|two)column)",
-               'multicols': r"(?P<code>\\(?P<be>begin|end)\s*{multicols}({(?P<num>\d+)?})?)",
-               'ly2dvi': no_match,
-
-               },
-
-       # why do we have distinction between @mbinclude and @include?
-
-       'texi': {
-               'include':  '(?m)^[^%\n]*?(?P<match>@mbinclude[ \n\t]+(?P<filename>[^\t \n]*))',
-               'input': no_match,
-               'header': no_match,
-               'preamble-end': no_match,
-               'landscape': no_match,
-               'verbatim': r'''(?s)(?P<code>@example\s.*?@end example\s)''',
-               'verb': r'''(?P<code>@code{.*?})''',
-               'lilypond-file': '(?m)^(?P<match>@lilypondfile(\[(?P<options>[^]]*)\])?{(?P<filename>[^}]+)})',
-               'lilypond' : '(?m)^(?P<match>@lilypond(\[(?P<options>[^]]*)\])?{(?P<code>.*?)})',
-               'lilypond-block': r'''(?ms)^(?P<match>@lilypond(\[(?P<options>[^]]*)\])?\s(?P<code>.*?)@end lilypond)\s''',
-               'option-sep' : ',\s*',
-               'intertext': r',?\s*intertext=\".*?\"',
-               'multiline-comment': r"(?sm)^\s*(?!@c\s+)(?P<code>@ignore\s.*?@end ignore)\s",
-               'singleline-comment': r"(?m)^.*?(?P<match>(?P<code>@c.*$\n+))",
-               'numcols': no_match,
-               'multicols': no_match,
-               'ly2dvi': no_match,
-               }
+       # FIXME: @exampleindent 5  is the default...
+       VERBATIM: r'''@exampleindent 0
+@example
+%(verb)s@end example
+@exampleindent 5
+''',
+       },
        }
 
-
-for r in re_dict.keys ():
-       olddict = re_dict[r]
-       newdict = {}
-       for k in olddict.keys ():
-               try:
-                       newdict[k] = re.compile (olddict[k])
-               except:
-                       print 'invalid regexp: %s' % olddict[k]
-
-                       ## we'd like to catch and reraise a more
-                       ## detailed error, but alas, the exceptions
-                       ## changed across the 1.5/2.1 boundary.
-
-                       raise "Invalid re"
-       re_dict[r] = newdict
-
-
-def uniq (list):
-       list.sort ()
-       s = list
-       list = []
-       for x in s:
-               if x not in list:
-                       list.append (x)
-       return list
-
-
-def get_output (name):
-       return  output_dict[format][name]
-
-def get_re (name):
-       return  re_dict[format][name]
-
-def bounding_box_dimensions (fname):
-       if g_outdir:
-               fname = os.path.join (g_outdir, fname)
-       try:
-               fd = open (fname)
-       except IOError:
-               error ("Error opening `%s'" % fname)
-       str = fd.read ()
-       s = re.search ('%%BoundingBox: ([0-9]+) ([0-9]+) ([0-9]+) ([0-9]+)', str)
-       if s:
-
-               gs = map (lambda x: string.atoi (x), s.groups ())
-               return (int (gs[2] - gs[0] + 0.5),
-                       int (gs[3] - gs[1] + 0.5))
-       else:
-               return (0,0)
-
-def error (str):
-       sys.stderr.write ("\n\n" + str + "\nExiting ... \n\n")
-       raise 'Exiting.'
-
-
-def compose_full_body (body, opts):
-       '''Construct the lilypond code to send to Lilypond.
-       Add stuff to BODY using OPTS as options.'''
-       music_size = default_music_fontsize
-       if g_force_music_fontsize:
-               music_size = g_force_music_fontsize
-       indent = ''
-       linewidth = ''
-       notime = ''
-       for o in opts:
-               if not g_force_music_fontsize:
-                       m = re.match ('([0-9]+)pt', o)
-                       if m:
-                               music_size = string.atoi (m.group (1))
-
-               m = re.match ('indent=([-.0-9]+)(cm|in|mm|pt)', o)
-               if m:
-                       f = float (m.group (1))
-                       indent = 'indent = %f\\%s' % (f, m.group (2))
-
-               m = re.match ('linewidth=([-.0-9]+)(cm|in|mm|pt)', o)
-               if m:
-                       f = float (m.group (1))
-                       linewidth = 'linewidth = %f\\%s' % (f, m.group (2))
-
-       if re.search ('\\\\score', body):
-               is_fragment = 0
-       else:
-               is_fragment = 1
-       if 'fragment' in opts:
-               is_fragment = 1
-       if 'nofragment' in opts:
-               is_fragment = 0
-
-       if is_fragment and not 'multiline' in opts:
-               opts.append ('singleline')
-
-       if 'raggedright' in opts or  'singleline' in opts:
-               if not linewidth:
-                       linewidth = 'raggedright = ##t'
-               if not indent:
-                       indent = 'indent = 0.0\mm'
-       elif not linewidth:
-               global paperguru
-               l = paperguru.get_linewidth ()
-               linewidth = 'linewidth = %f\pt' % l
-
-       if 'noindent' in opts:
-               indent = 'indent = 0.0\mm'
-
-       if 'notime' in opts:
-               notime = r'''
-\translator {
-  \StaffContext
-  \remove Time_signature_engraver
+PREAMBLE_LY = r'''%%%% Generated by %(program_name)s
+%%%% Options: [%(option_string)s]
+#(set! toplevel-score-handler ly:parser-print-score)
+#(set! toplevel-music-handler (lambda (p m)
+                              (ly:parser-print-score
+                               p (ly:music-scorify m p))
+                           ))
+%(preamble_string)s
+\bookpaper {%(bookpaper_string)s
 }
-'''
-
-       for o in opts:
-               m= re.search ('relative(.*)', o)
-               v = 0
-               if m:
-                       try:
-                               v = string.atoi (m.group (1))
-                       except ValueError:
-                               pass
-
-                       v = v + 1
-                       pitch = 'c'
-                       if v < 0:
-                               pitch = pitch + '\,' * v
-                       elif v > 0:
-                               pitch = pitch + '\'' * v
-
-                       body = '\\relative %s { %s }' % (pitch, body)
-
-       if is_fragment:
-               body = r'''
-\score {
-  \notes {
-%s
-  }
+\paper { %(paper_string)s
 }
-''' % body
-
-       opts = uniq (opts)
-       optstring = string.join (opts, ' ')
-       optstring = re.sub ('\n', ' ', optstring)
-       body = r'''
-%% Generated automatically by: lilypond-book.py
-%% options are %s
-\include "paper%d.ly"
-\paper  {
-  %s
-  %s
-  %s
-}
-''' % (optstring, music_size, linewidth, indent, notime) + body
-
-       # ughUGH not original options
-       return body
-
-def scan_html_preamble (chunks):
-       return
-
-def scan_latex_preamble (chunks):
-       # First we want to scan the \documentclass line
-       # it should be the first non-comment line.
-       # The only thing we really need to know about the \documentclass line
-       # is if there are one or two columns to begin with.
-       idx = 0
-       while 1:
-               if chunks[idx][0] == 'ignore':
-                       idx = idx + 1
-                       continue
-               m = get_re ('header').match (chunks[idx][1])
-               if not m:
-                       error ("Latex documents must start with a \documentclass command")
-               if m.group (1):
-                       options = re.split (',[\n \t]*', m.group (1)[1:-1])
-               else:
-                       options = []
-               if 'twocolumn' in options:
-                       paperguru.m_num_cols = 2
-               break
-
-
-       # Then we add everything before \begin{document} to
-       # paperguru.m_document_preamble so that we can later write this header
-       # to a temporary file in find_latex_dims() to find textwidth.
-       while idx < len (chunks) and chunks[idx][0] != 'preamble-end':
-               if chunks[idx] == 'ignore':
-                       idx = idx + 1
-                       continue
-               paperguru.m_document_preamble.append (chunks[idx][1])
-               idx = idx + 1
-
-       if len (chunks) == idx:
-               error ("Didn't find end of preamble (\\begin{document})")
-
-       paperguru.find_latex_dims ()
-
-def scan_texi_preamble (chunks):
-       # this is not bulletproof..., it checks the first 10 chunks
-       for c in chunks[:10]:
-               if c[0] == 'input':
-                       for s in ('afourpaper', 'afourwide', 'letterpaper',
-                                 'afourlatex', 'smallbook'):
-                               if string.find (c[1], "@%s" % s) != -1:
-                                       paperguru.m_papersize = s
-
-
-def scan_preamble (chunks):
-       global format
-       if format == 'html':
-               scan_html_preamble (chunks)
-       elif format == 'latex':
-               scan_latex_preamble (chunks)
-       elif format == 'texi':
-               scan_texi_preamble (chunks)
 
+''' 
 
-def completize_preamble (chunks):
-       global format
-       if format != 'latex':
-               return chunks
-       pre_b = post_b = graphics_b = None
-       for chunk in chunks:
-               if chunk[0] == 'preamble-end':
-                       break
-               if chunk[0] == 'input':
-                       m = get_re ('def-pre-re').search (chunk[1])
-                       if m:
-                               pre_b = 1
-               if chunk[0] == 'input':
-                       m = get_re ('def-post-re').search (chunk[1])
-                       if m:
-                               post_b = 1
-
-               if chunk[0] == 'input':
-                       m = get_re ('usepackage-graphics').search (chunk[1])
-                       if m:
-                               graphics_b = 1
-       x = 0
-       while x < len (chunks) and   chunks[x][0] != 'preamble-end':
-               x = x + 1
-
-       if x == len (chunks):
-               return chunks
-
-       if not pre_b:
-               chunks.insert (x, ('input', get_output ('output-default-pre')))
-       if not post_b:
-               chunks.insert (x, ('input', get_output ('output-default-post')))
-       if not graphics_b:
-               chunks.insert (x, ('input', get_output ('usepackage-graphics')))
-
-       return chunks
-
-
-read_files = []
-def find_file (name):
-       '''
-       Search the include path for NAME. If found, return the (CONTENTS, PATH) of the file.
-       '''
-
-       if name == '-':
-               return (sys.stdin.read (), '<stdin>')
-       f = None
-       nm = ''
-       for a in include_path:
-               try:
-                       nm = os.path.join (a, name)
-                       f = open (nm)
-                       global read_files
-                       read_files.append (nm)
-                       break
-               except IOError:
-                       pass
-       if f:
-               sys.stderr.write ("Reading `%s'\n" % nm)
-               return (f.read (), nm)
-       else:
-               error ("File not found `%s'\n" % name)
-               return ('', '')
-
-def do_ignore (match_object):
-       return [('ignore', match_object.group ('code'))]
-def do_preamble_end (match_object):
-       return [('preamble-end', match_object.group ('code'))]
-
-def make_verbatim (match_object):
-       return [('verbatim', match_object.group ('code'))]
-
-def make_verb (match_object):
-       return [('verb', match_object.group ('code'))]
-
-def do_include_file (m):
-       "m: MatchObject"
-       return [('input', get_output ('pagebreak'))] \
-            + read_doc_file (m.group ('filename')) \
-            + [('input', get_output ('pagebreak'))]
-
-def do_input_file (m):
-       return read_doc_file (m.group ('filename'))
+FRAGMENT_LY = r'''
+    %(notes_string)s{
+        %(code)s    }
+'''
+FULL_LY = '%(code)s'
+
+texinfo_linewidths = {
+       '@afourpaper': '160 \\mm',
+       '@afourwide': '6.5 \\in',
+       '@afourlatex': '150 \\mm',
+       '@smallbook': '5 \\in' ,
+       '@letterpaper': '6\\in',
+       }
 
-def make_lilypond (m):
-       if m.group ('options'):
-               options = m.group ('options')
+def classic_lilypond_book_compatibility (o):
+       if o == 'singleline':
+               return RAGGEDRIGHT
+       m = re.search ('relative\s*([-0-9])', o)
+       if m:
+               return 'relative=%s' % m.group (1)
+       m = re.match ('([0-9]+)pt', o)
+       if m:
+               return 'staffsize=%s' % m.group (1)
+       m = re.match ('indent=([-.0-9]+)(cm|in|mm|pt|staffspace)', o)
+       if m:
+               f = float (m.group (1))
+               return 'indent=%f\\%s' % (f, m.group (2))
+       m = re.match ('linewidth=([-.0-9]+)(cm|in|mm|pt|staffspace)', o)
+       if m:
+               f = float (m.group (1))
+               return 'linewidth=%f\\%s' % (f, m.group (2))
+       return None
+
+def compose_ly (code, options):
+       #Hmm
+       for i in default_ly_options.keys ():
+               if i not in options:
+                       options.append (i)
+       
+       #Hmm
+       if QUOTE in options and LINEWIDTH in options:
+               options.remove (LINEWIDTH)
+
+       if FRAGMENT in options:
+               if RAGGEDRIGHT not in options:
+                       options.append (RAGGEDRIGHT)
+               body = FRAGMENT_LY
        else:
-               options = ''
-       return [('input', get_output ('output-lilypond-fragment') %
-                       (options, m.group ('code')))]
-
-def make_lilypond_file (m):
-       '''
-
-       Find @lilypondfile{bla.ly} occurences and substitute bla.ly
-       into a @lilypond .. @end lilypond block.
+               body = FULL_LY
+
+       # defaults
+       relative = 1
+       staffsize = 16
+       override = {}
+       override.update (default_ly_options)
+       #FIXME: where to get sane value for exampleindent?
+       override[EXAMPLEINDENT] = r'9.0 \mm'
+
+       option_string = string.join (options, ',')
+
+       options_dict = {}
+       option_types = [NOTES, PREAMBLE, PAPER, BOOKPAPER]
+       for a in option_types:
+               options_dict[a] = []
+               
+       for i in options:
+               c = classic_lilypond_book_compatibility (i)
+               if c:
+                       ly.warning (_ ("deprecated ly-option used: %s" % i))
+                       ly.warning (_ ("compatibility mode translation: %s" \
+                                      % c))
+                       i = c
+               
+               if string.find (i, '=') > 0:
+                       key, value = string.split (i, '=')
+                       override[key] = value
+               else:
+                       key = i
+                       if not override.has_key (i):
+                               override[i] = None
+
+               found = 0
+               for type in option_types:
+                       if ly_options[type].has_key (key):
+                               
+                               options_dict[type].append (ly_options[type][key])
+                               found = 1
+                               break
 
-       '''
+               if not found and key not in (FRAGMENT, NOFRAGMENT, PRINTFILENAME,
+                                            RELATIVE, VERBATIM, TEXIDOC):
+                       ly.warning (_("ignoring unknown ly option: %s") % i)
 
-       if m.group ('options'):
-               options = get_re ('option-sep').split (m.group ('options'))
-       else:
-               options = []
-       (content, nm) = find_file (m.group ('filename'))
-       options.append ("filename=%s" % nm)
+       #URGS
+       if RELATIVE in override.keys () and override[RELATIVE]:
+               relative = string.atoi (override[RELATIVE])
 
+       relative_quotes = ''
 
-       return [('lilypond', content, options)]
+       # 1 = central C
+       if relative < 0:
+               relative_quotes += ',' * (- relative)
+       elif relative > 0:
+               relative_quotes += "'" * relative
+               
+       program_name = __main__.program_name
+       
+       paper_string = string.join (options_dict[PAPER], '\n    ') % override
+       bookpaper_string = string.join (options_dict[BOOKPAPER], '\n    ') % override
+       notes_string = string.join (options_dict[NOTES], '\n    ') % vars ()
+       preamble_string = string.join (options_dict[PREAMBLE], '\n    ') % override
+       return (PREAMBLE_LY + body) % vars ()
+
+
+# BARF
+# use lilypond for latex (.lytex) books,
+# and lilypond --preview for html, texinfo books?
+def to_eps (file):
+       cmd = r'latex "\nonstopmode \input %s"' % file
+       # Ugh.  (La)TeX writes progress and error messages on stdout
+       # Redirect to stderr
+       cmd = '(( %s  >&2 ) >&- )' % cmd
+       ly.system (cmd)
+       ly.system ('dvips -Ppdf -u+ec-mftrace.map -u+lilypond.map -E -o %s.eps %s' \
+                  % (file, file))
+
+
+       # check if it really is EPS.
+       # Otherwise music glyphs disappear from 2nd and following pages.
+
+       # TODO: should run dvips -pp -E per page, then we get proper
+       # cropping as well.
        
+       f = open ('%s.eps' % file)
+       for x in range(0,10) :
+               if re.search ("^%%Pages: ", f.readline ()):
 
-def make_ly2dvi_block (m):
-       '''
+                       # make non EPS.
+                       ly.system ('dvips -Ppdf -u+ec-mftrace.map -u+lilypond.map -o %s.eps %s' \
+                                  % (file, file))
+                       break
+       
 
-       Find <ly2dvifile .. >
-       '''
+def find_file (name):
+       for i in include_path:
+               full = os.path.join (i, name)
+               if os.path.exists (full):
+                       return full
+       ly.error (_ ('file not found: %s') % name + '\n')
+       ly.exit (1)
+       return ''
+       
+def verbatim_html (s):
+       return re.sub ('>', '&gt;',
+                      re.sub ('<', '&lt;',
+                              re.sub ('&', '&amp;', s)))
 
-       return [('ly2dvi', m.group ('filename'), m.group ('options'))]
+def verbatim_texinfo (s):
+       return re.sub ('{', '@{',
+                      re.sub ('}', '@}',
+                              re.sub ('@', '@@', s)))
 
+def split_options (option_string):
+       return re.split (format_res[format]['option-sep'], option_string)
 
-def make_lilypond_block (m):
-       if not g_do_music:
-               return []
 
-       if m.group ('options'):
-               options = get_re ('option-sep').split (m.group ('options'))
-       else:
-               options = []
-       options = filter (lambda s: s != '', options)
-       return [('lilypond', m.group ('code'), options)]
+class Chunk:
+       def replacement_text (self):
+               return ''
+       
+       def filter_text (self):
+               return self.replacement_text ()
 
 
-def do_columns (m):
-       global format
-       if format != 'latex':
-               return []
-       if m.group ('num') == 'one':
-               return [('numcols', m.group ('code'), 1)]
-       if m.group ('num') == 'two':
-               return [('numcols', m.group ('code'), 2)]
-
-def do_multicols (m):
-       global format
-       if format != 'latex':
-               return []
-       if m.group ('be') == 'begin':
-               return [('multicols', m.group ('code'), int (m.group ('num')))]
-       else:
-               return [('multicols', m.group ('code'), 1)]
-       return []
-
-def chop_chunks (chunks, re_name, func, use_match=0):
-       newchunks = []
-       for c in chunks:
-               if c[0] == 'input':
-                       str = c[1]
-                       while str:
-                               m = get_re (re_name).search (str)
-                               if m == None:
-                                       newchunks.append (('input', str))
-                                       str = ''
-                               else:
-                                       if use_match:
-                                               newchunks.append (('input', str[:m.start ('match')]))
-                                       else:
-                                               newchunks.append (('input', str[:m.start (0)]))
-                                       #newchunks.extend (func (m))
-                                       # python 1.5 compatible:
-                                       newchunks = newchunks + func (m)
-                                       str = str [m.end (0):]
-               else:
-                       newchunks.append (c)
-       return newchunks
+       def ly_is_outdated (self):
+               return 0
 
-def determine_format (str):
-       """
+       def png_is_outdated (self):
+               return 0
 
-       SIDE EFFECT! This sets FORMAT and PAPERGURU
+class Substring (Chunk):
+       def __init__ (self, source, start, end):
+               self.source = source
+               self.start = start
+               self.end = end
 
-       """
+       def replacement_text (self):
+               return self.source [self.start:self.end]
        
-       global format
-       if format == '':
-               html = re.search ('(?i)<[dh]tml', str[:200])
-               latex = re.search (r'''\\document''', str[:200])
-               texi = re.search ('@node|@setfilename', str[:200])
-
-               f = ''
-               g = None
-
-               if html and not latex and not texi:
-                       f = 'html'
-               elif latex and not html and not texi:
-                       f = 'latex'
-               elif texi and not html and not latex:
-                       f = 'texi'
-               else:
-                       error ("can't determine format, please specify")
-               format = f
-
-       global paperguru
-       if paperguru == None:
-               if format == 'html':
-                       g = HtmlPaper ()
-               elif format == 'latex':
-                       g = LatexPaper ()
-               elif format == 'texi':
-                       g = TexiPaper ()
-
-               paperguru = g
-
-
-def read_doc_file (filename):
-       '''Read the input file, find verbatim chunks and do \input and \include
-       '''
-       (str, path) = find_file (filename)
-       determine_format (str)
-
-       chunks = [('input', str)]
-
-       # we have to check for verbatim before doing include,
-       # because we don't want to include files that are mentioned
-       # inside a verbatim environment
-       chunks = chop_chunks (chunks, 'verbatim', make_verbatim)
-
-       chunks = chop_chunks (chunks, 'verb', make_verb)
-       chunks = chop_chunks (chunks, 'multiline-comment', do_ignore)
-       #ugh fix input
-       chunks = chop_chunks (chunks, 'include', do_include_file, 1)
-       chunks = chop_chunks (chunks, 'input', do_input_file, 1)
-       return chunks
-
-
-taken_file_names = {}
-
-def unique_file_name (body):
-       return 'lily-' + `abs (hash (body))`
-
-def schedule_lilypond_block (chunk):
-       '''Take the body and options from CHUNK, figure out how the
-       real .ly should look.  The .ly is written, and scheduled in
-       TODO.
-
-       Return: a single chunk.
-
-       The chunk pertaining to the lilypond output
-       has the format (TYPE_STR, MAIN_STR, OPTIONS, TODO, BASE), 
-       where TODO has format [basename, extension, extension, ... ]
-       '''
-
-       (type, body, opts) = chunk
-       assert type == 'lilypond'
-       file_body = compose_full_body (body, opts)
-       ## Hmm, we should hash only lilypond source, and skip the
-       ## %options are ...
-       ## comment line
-       basename = unique_file_name (file_body)
-       for o in opts:
-               m = re.search ('filename="(.*?)"', o)
-               if m:
-                       basename = m.group (1)
-                       if not taken_file_names.has_key (basename):
-                               taken_file_names[basename] = 0
-                       else:
-                               taken_file_names[basename] = taken_file_names[basename] + 1
-                               basename = basename + "-%i" % taken_file_names[basename]
-       update_file (file_body, os.path.join (g_outdir, basename) + '.ly')
-       needed_filetypes = ['tex']
-
-       if format == 'html' or g_make_html:
-               needed_filetypes.append ('eps')
-               needed_filetypes.append ('png')
-       if 'eps' in opts and not ('eps' in needed_filetypes):
-               needed_filetypes.append ('eps')
-
-       pathbase = os.path.join (g_outdir, basename)
-       def f (base, ext1, ext2):
-               a = os.path.isfile (base + ext2)
-               if (os.path.isfile (base + ext1) and
-                   os.path.isfile (base + ext2) and
-                               os.stat (base+ext1)[stat.ST_MTIME] >
-                               os.stat (base+ext2)[stat.ST_MTIME]) or \
-                               not os.path.isfile (base + ext2):
-                       return 1
-       todo = []
-       if 'tex' in needed_filetypes and f (pathbase, '.ly', '.tex'):
-               todo.append ('tex')
-       if 'eps' in needed_filetypes and f (pathbase, '.tex', '.eps'):
-               todo.append ('eps')
-       if 'png' in needed_filetypes and f (pathbase, '.eps', '.png'):
-               todo.append ('png')
-
-       return ('lilypond', body, opts, todo, basename)
-
-def format_lilypond_block (chunk):
-       """
+class Snippet (Chunk):
+       def __init__ (self, type, match, format):
+               self.type = type
+               self.match = match
+               self.hash = 0
+               self.options = []
+               self.format = format
+
+       def replacement_text (self):
+               return self.match.group (0)
        
-       Figure out  what should be left MAIN_STR (meant
-       for the main file) from a lilypond chunk: process
-       verbatim, and other options. Return: multiple chunks.
+       def substring (self, s):
+               return self.match.group (s)
 
-       
-       """
+       def __repr__ (self):
+               return `self.__class__`  +  " type =  " + self.type
+
+class Include_snippet (Snippet):
+       def processed_filename (self):
+               f = self.substring ('filename')
+               return os.path.splitext (f)[0] + format2ext[format]
 
+       def replacement_text (self):
+               s = self.match.group (0)
+               f = self.substring ('filename')
        
-       return_chunks = []
-
-       (type, body, opts, todo, basename) = chunk
-       assert type == 'lilypond'
-
-
-       newbody = ''
-       filename_chunk = None 
-       if 'printfilename' in opts:
-               for o in opts:
-                       m= re.match ("filename=(.*)", o)
-                       if m:
-                               template = get_output ("output-filename")
-                               b =  basename + '.ly'
-                               human_base = os.path.basename (m.group (1))
-                                                 
-                               ## todo: include path, but strip 
-                               ## first part of the path.
-                               filename_chunk = ('input',  template % (human_base, b,human_base))
-                               break
+               return re.sub (f, self.processed_filename (), s)
 
+class Lilypond_snippet (Snippet):
+       def __init__ (self, type, match, format):
+               Snippet.__init__ (self, type, match, format)
+               os = match.group ('options')
+               if os:
+                       self.options = split_options (os)
 
-       if 'smallverbatim' in opts:
-               newbody += output_verbatim (body, 1)
-       elif 'verbatim' in opts:
-               newbody += output_verbatim (body, 0)
-
-       for o in opts:
-               m = re.search ('intertext="(.*?)"', o)
-               if m:
-                       newbody = newbody + "\n"
-                       if format == 'texi':
-                               newbody = newbody + "@noindent\n"
-                       elif format == 'latex':
-                               newbody = newbody + "\\noindent\n"
-                       newbody = newbody + m.group (1) + "\n"
-
-       if 'noinline' in opts:
-               s = 'output-noinline'
-       elif format == 'latex':
-               if 'eps' in opts:
-                       s = 'output-eps'
-               else:
-                       if 'quote' in opts:
-                               s = 'output-latex-quoted'
-                       else:
-                               s = 'output-latex-noquote'
-       elif format == 'texi':
-               if 'quote' in opts:
-                       s = 'output-texi-quoted'
-               else:
-                       s = 'output-texi-noquote'
-       else: # format == 'html'
-               s = 'output-html'
-
-       def html_pages (basename):
-               pat = os.path.join (g_outdir, "%s-page*.png"%  basename)
+       def ly (self):
+               return self.substring ('code')
                
-               files =  glob.glob (pat)
+       def full_ly (self):
+               s = self.ly ()
+               if s:
+                       return compose_ly (s, self.options)
+               return ''
+
+       # todo: use md5?
+       def get_hash (self):
+               if not self.hash:
+                       self.hash = abs (hash (self.full_ly ()))
+               return self.hash
+
+       def basename (self):
+               if use_hash_p:
+                       return 'lily-%d' % self.get_hash ()
+               raise 'to be done'
+
+       def write_ly (self):
+               outf = open (self.basename () + '.ly', 'w')
+               outf.write (self.full_ly ())
                
+               open (self.basename() + '.txt', 'w').write("image of music")
                
-               template = '''<img align="center" valign="center"
-               border="0" src="%s" alt="[picture of music]">'''
-
-               str = ''
-               if  files == []:
-                       files = [basename+'.png' ]
-               else:
-                       files = map (os.path.basename, files)
-                       
-               for f in  files:
-                       str += template % f
 
-               str = '<a href="%s.ly">%s</a>' % (basename, str)
-
-               print 'hai', str
-               
-               return str
+       def ly_is_outdated (self):
+               base = self.basename ()
 
+               tex_file = '%s.tex' % base
+               ly_file = '%s.ly' % base
+               ok = os.path.exists (ly_file) and os.path.exists (tex_file)\
+                    and os.stat (tex_file)[stat.ST_SIZE] \
+                    and open (tex_file).readlines ()[-1][1:-1] \
+                    == 'lilypondend'
+                       
+               if ok and (use_hash_p or self.ly () == open (ly_file).read ()):
+                       # TODO: something smart with target formats
+                       # (ps, png) and m/ctimes
+                       return None
+               return self
        
-       newbody = newbody + get_output (s) % {'fn': basename,
-                                             'htmlimages': html_pages(basename)
-                                             }
-
-       if filename_chunk:
-               return_chunks += [filename_chunk]
+       def png_is_outdated (self):
+               base = self.basename ()
+               ok = self.ly_is_outdated ()
+               if format == HTML or format == TEXINFO:
+                       ok = ok and (os.path.exists (base + '.png')
+                                    or glob.glob (base + '-page*.png'))
+               return not ok
        
-       return_chunks += [('lilypond', newbody, opts, todo, basename)]
+       def filter_text (self):
+               code  = self.substring ('code')
+               s = run_filter (code)
+               d = {'code' : s,
+                    'options': self.match.group ('options')
+                    }
+               # TODO
+               return output[self.format][FILTER] % d
        
-       return return_chunks
-
-def format_lilypond_output_bodies (chunks):
-       newchunks = []
-       for c in chunks:
-
-               if c[0] == 'lilypond':
-                       newchunks += format_lilypond_block (c)
-               else:
-                       newchunks.append (c)
-
-       return newchunks
-
-
-
-def process_lilypond_blocks (chunks):#ugh rename
-       newchunks = []
-       # Count sections/chapters.
-       for c in chunks:
-               if c[0] == 'lilypond':
-                       c = schedule_lilypond_block (c)
-               elif c[0] == 'numcols':
-                       paperguru.m_num_cols = c[2]
-               elif c[0] == 'multicols':
-                       paperguru.m_multicols = c[2]
-                       
-               newchunks.append (c)
-               
-       return newchunks
-
-def process_ly2dvi_blocks (chunks):
+       def replacement_text (self):
+               func = Lilypond_snippet.__dict__ ['output_' + self.format]
+               return func (self)
        
-       def process_ly2dvi_block (chunk):
-               """
-
-Run ly2dvi script on filename specified in CHUNK.
-This is only supported for HTML output.
-
-In HTML output it will leave a download menu with ps/pdf/midi etc.  in
-a separate HTML file, and a title + preview in the main html file,
-linking to the menu.
-
-               """
-               (tag, name, opts) = chunk
-               assert format == 'html'
-               (content, original_name) = find_file (name)
-
-               original_name = os.path.basename (original_name)
+       def get_images (self):
+               base = self.basename ()
+               # URGUGHUGHUGUGHU
+               single = '%(base)s.png' % vars ()
+               multiple = '%(base)s-page1.png' % vars ()
+               images = (single,)
+               if os.path.exists (multiple) \
+                  and (not os.path.exists (single)\
+                       or (os.stat (multiple)[stat.ST_MTIME] \
+                           > os.stat (single)[stat.ST_MTIME])):
+                       images = glob.glob ('%(base)s-page*.png' % vars ())
+               return images
                
-               base = unique_file_name (content)
-               outname = base + '.ly'
-               changed = update_file (content, outname)
-
-               preview = base + ".png"
-               preview_page = base + '-page1.png'
-               
-               if changed or not (os.path.isfile (preview) or
-                                  os.path.isfile (preview_page)):
-                       
-                       ly.system ('%s --preview --postscript --verbose %s ' % (ly2dvi_binary, base) ) 
+       def output_html (self):
+               str = ''
+               base = self.basename ()
+               if format == HTML:
+                       str += self.output_print_filename (HTML)
+                       if VERBATIM in self.options:
+                               verb = verbatim_html (self.substring ('code'))
+                               str += write (output[HTML][VERBATIM] % vars ())
+                       if QUOTE in self.options:
+                               str = output[HTML][QUOTE] % vars ()
+
+               str += output[HTML][BEFORE] % vars ()
+               for image in self.get_images ():
+                       base, ext = os.path.splitext (image)
+                       str += output[HTML][OUTPUT] % vars ()
+               str += output[HTML][AFTER] % vars ()
+               return str
 
-                       ly.make_ps_images (base)
-                       ly.system ('gzip -9 - < %s.ps > %s.ps.gz' %  (base, base))
+       def output_info (self):
+               str = self.output_print_filename (HTML)
+               str = output[TEXINFO][BEFORE] % vars ()
+               for image in self.get_images ():
+                       base, ext = os.path.splitext (image)
                        
-               def size_str (fn):
-                       b = os.stat(fn)[stat.ST_SIZE]
-                       if b < 1024:
-                               return '%d bytes' % b
-                       elif b < (2 << 20):
-                               return '%d kb' % (b >> 10)
-                       else:
-                               return '%d mb' % (b >> 20)
-
-               exts = {
-                       'pdf' : "Print (PDF, %s)",
-                       'ps.gz' : "Print (gzipped PostScript, %s)",
-                       'png' : "View (PNG, %s)",
-                       'midi' : "Listen (MIDI, %s)",
-                       'ly' : "View source code (%s)", 
-                       }
-
-               menu = ''
-               page_files = glob.glob ('%s-page*.png' % base)
-
-               for p in string.split (page_files, '\n'):
-                       p = p.strip()
-                       if os.path.isfile (p):
-                               sz = size_str (p)
-                               page = re.sub ('.*page([0-9])+.*', 'View page \\1 (PNG picture, %s)\n', p)
-                               page = page % sz
-                               menu += '<li><a href="%s">%s</a>' % (p, page) 
-
-               ext_order = ['ly', 'pdf', 'ps.gz', 'midi']
-               for e in ext_order:
-                       fn =   base +  '.' + e
-                       print 'checking,' , fn
-                       if not os.path.isfile (fn):
-                               continue
-
-                       entry = exts[e] % size_str (fn)
-
-                       ## TODO: do something like
-                       ## this for texinfo/latex as well ?
-                       
-                       menu += '<li><a href="%s">%s</a>\n\n' % (fn, entry)
+                       # URG, makeinfo implicitely prepends dot to ext
+                       # specifying no extension is most robust
+                       ext = ''
+                       str += output[TEXINFO][OUTPUT] % vars ()
+               str += output[TEXINFO][AFTER] % vars ()
+               return str
 
+       def output_latex (self):
+               str = ''
+               base = self.basename ()
+               if format == LATEX:
+                       str += self.output_print_filename (LATEX)
+                       if  VERBATIM in self.options:
+                               verb = self.substring ('code')
+                               str += (output[LATEX][VERBATIM] % vars ())
+                       if QUOTE in self.options:
+                               str = output[LATEX][QUOTE] % vars ()
+
+               str +=  (output[LATEX][BEFORE]
+                        + (output[LATEX][OUTPUT] % vars ())
+                        + output[LATEX][AFTER])
+               return str
 
-               explanatory_para = """The pictures are 90dpi
-anti-aliased snapshots of the printed output, in PNG format. Both  PDF and PS
-use scalable fonts and should look OK at any resolution."""
-               
-               separate_menu =r'''
-<title>LilyPond example %s</title>
+       def output_print_filename (self,format):
+               str = ''
+               if  PRINTFILENAME in self.options:
+                       base = self.basename ()
+                       filename = self.substring ('filename')
+                       str = output[format][PRINTFILENAME] % vars ()
+               return str
 
-<h1>%s</h1>
-<p><img src="%s">
-<p>%s
-<p>
-<ul>%s</ul>''' % (original_name,original_name, preview, explanatory_para, menu)
-               
-               open (base + '.html','w'). write (separate_menu)
-
-               inline_menu = '<p/><a href="%s.html"><img src="%s"><p/></a>' % (base, original_name, preview)
-
-               return ('ly2dvi', inline_menu)
-
-       newchunks = []
-       for c in chunks:
-               if c[0] == 'ly2dvi':
-                       c = process_ly2dvi_block (c)
-               newchunks.append (c)
-
-       return newchunks
-
-def compile_all_files (chunks):
-       global foutn
-       eps = []
-       tex = []
-       png = []
-
-       for c in chunks:
-               if c[0] != 'lilypond':
-                       continue
-
-               base  = c[4]
-               exts = c[3]
-               for e in exts:
-                       if e == 'eps':
-                               eps.append (base)
-                       elif e == 'tex':
-                               #ugh
-                               if base + '.ly' not in tex:
-                                       tex.append (base + '.ly')
-                       elif e == 'png' and g_do_pictures:
-                               png.append (base)
-       d = os.getcwd ()
-       if g_outdir:
-               os.chdir (g_outdir)
-       if tex:
-               # fixme: be sys-independent.
-               def incl_opt (x):
-                       if g_outdir and x[0] != '/' :
-                               x = os.path.join (g_here_dir, x)
-                       return ' -I %s' % x
-
-               incs = map (incl_opt, include_path)
-               lilyopts = string.join (incs)
-               if do_deps:
-                       lilyopts += ' --dependencies'
-                       if g_outdir:
-                               lilyopts += ' --dep-prefix=' + g_outdir + '/'
-               lilyopts += ' --header=texidoc'
-               texfiles = string.join (tex)
-               cmd = string.join ((lilypond_binary, lilyopts, g_extra_opts,
-                                   texfiles))
-               ly.system (cmd, ignore_error = 0, progress_p = 1)
-
-               #
-               # Ugh, fixing up dependencies for .tex generation
-               #
-               if do_deps:
-                       depfiles=map (lambda x: re.sub ('(.*)\.ly', '\\1.dep',
-                                                       x), tex)
-
-                       for i in depfiles:
-                               f =open (i)
-                               text=f.read ()
-                               f.close ()
-                               text=re.sub ('\n([^:\n]*):',
-                                            '\n' + foutn + ':', text)
-                               f = open (i, 'w')
-                               f.write (text)
-                               f.close ()
-
-       def to_eps (file):
-               cmd = r"latex '\nonstopmode \input %s'" % file
-               # Ugh.  (La)TeX writes progress and error messages on stdout
-               # Redirect to stderr
-               cmd += ' 1>/dev/stderr'
-               ly.system (cmd)
-               ly.system ("dvips -E -o %s.eps %s" % (file, file))
-       map (to_eps, eps)
-
-       map (ly.make_ps_images, map (lambda x: x + '.eps', png))
-       os.chdir (d)
-
-
-def update_file (body, name):
-       '''
-       write the body if it has changed. Return whether BODY has changed.
-       '''
-       same = 0
-       try:
-               f = open (name)
-               fs = f.read (-1)
-               same = (fs == body)
-       except:
-               pass
+       def output_texinfo (self):
+               str = ''
+               # self.output_print_filename (TEXINFO)
+               str += ('@html\n' + self.output_print_filename (HTML)
+                       + '\n@end html\n')
+               str += ('@tex\n' + self.output_print_filename (LATEX)
+                       + '\n@end tex\n')
+               base = self.basename ()
+               if TEXIDOC in self.options:
+                       texidoc = base + '.texidoc'
+                       if os.path.exists (texidoc):
+                               str += '@include %(texidoc)s\n\n' % vars ()
+
+               if VERBATIM in self.options:
+                       verb = verbatim_texinfo (self.substring ('code'))
+                       str +=  (output[TEXINFO][VERBATIM] % vars ())
+
+               str += ('@ifinfo\n' + self.output_info () + '\n@end ifinfo\n')
+               str += ('@tex\n' + self.output_latex () + '\n@end tex\n')
+               str += ('@html\n' + self.output_html () + '\n@end html\n')
+
+               if QUOTE in self.options:
+                       str = output[TEXINFO][QUOTE] % vars ()
+
+               # need par after image
+               str += '\n'
 
-       if not same:
-               f = open (name , 'w')
-               f.write (body)
-               f.close ()
+               return str
 
-       return not same
+class Lilypond_file_snippet (Lilypond_snippet):
+       def ly (self):
+               name = self.substring ('filename')
+               return '\\renameinput \"%s\"\n%s' % (name, open (find_file (name)).read ())
+                       
+snippet_type_to_class = {
+       'lilypond_file' : Lilypond_file_snippet,
+       'lilypond_block' : Lilypond_snippet,
+       'lilypond' : Lilypond_snippet,
+       'include' : Include_snippet,
+       }
 
+def find_toplevel_snippets (s, types):
+        res = {}
+        for i in types:
+                res[i] = ly.re.compile (snippet_res[format][i])
+
+        snippets = []
+        index = 0
+        ##  found = dict (map (lambda x: (x, None), types))
+       ## urg python2.1
+        found = {}
+       map (lambda x, f=found: f.setdefault (x, None), types)
+
+       # We want to search for multiple regexes, without searching
+       # the string multiple times for one regex.
+       # Hence, we use earlier results to limit the string portion
+       # where we search.
+       # Since every part of the string is traversed at most once for
+       # every type of snippet, this is linear.
+
+        while 1:
+                first = None
+                endex = 1 << 30
+                for type in types:
+                        if not found[type] or found[type][0] < index:
+                                found[type] = None
+                                m = res[type].search (s[index:endex])
+                               if not m:
+                                       continue
+
+                               cl = Snippet
+                               if snippet_type_to_class.has_key (type):
+                                       cl = snippet_type_to_class[type]
+                               snip = cl (type, m, format)
+                               start = index + m.start (0)
+                               found[type] = (start, snip)
+
+                        if found[type] \
+                          and (not first or found[type][0] < found[first][0]):
+                                first = type
+
+                               # FIXME.
+
+                               # Limiting the search space is a cute
+                               # idea, but this *requires* to search
+                               # for possible containing blocks
+                               # first, at least long as we do not
+                               # search for the start of blocks, but
+                               # always/directly for the entire
+                               # @block ... @end block.
+                               
+                                endex = found[first][0]
+
+                if not first:
+                       snippets.append (Substring (s, index, len (s)))
+                       break
 
-def write_deps (fn, target, chunks):
-       global read_files
-       sys.stderr.write ('Writing `%s\'\n' % os.path.join (g_outdir, fn))
-       f = open (os.path.join (g_outdir, fn), 'w')
-       f.write ('%s%s: ' % (g_dep_prefix, target))
-       for d in read_files:
-               f.write ('%s ' %  d)
+               (start , snip) = found[first]
+               snippets.append (Substring (s, index, start))
+               snippets.append (snip)
+               found[first] = None
+                index = start + len (snip.match.group (0))
 
+        return snippets
 
-       ## There used to be code to write .tex dependencies, but
-       ## that is silly: lilypond-book has its own dependency scheme
-       ## to ensure that all lily-XXX.tex files are there
+def filter_pipe (input, cmd):
+       if verbose_p:
+               ly.progress (_ ("Opening filter `%s\'") % cmd)
                
+       stdin, stdout, stderr = os.popen3 (cmd)
+       stdin.write (input)
+       status = stdin.close ()
+
+       if not status:
+               status = 0
+               output = stdout.read ()
+               status = stdout.close ()
+               error = stderr.read ()
+               
+       if not status:
+               status = 0
+       signal = 0x0f & status
+       if status or (not output and error):
+               exit_status = status >> 8
+               ly.error (_ ("`%s\' failed (%d)") % (cmd, exit_status))
+               ly.error (_ ("The error log is as follows:"))
+               sys.stderr.write (error)
+               sys.stderr.write (stderr.read ())
+               ly.exit (status)
+       
+       if verbose_p:
+               ly.progress ('\n')
 
-       f.write ('\n')
-       f.close ()
-       read_files = []
-
-def check_texidoc (chunks):
-       ## TODO: put file name in front of texidoc. 
-       ##
-       n = []
-        for c in chunks:
-               if c[0] == 'lilypond':
-                       (type, body, opts, todo, basename) = c;
-                       pathbase = os.path.join (g_outdir, basename)
-                       if os.path.isfile (pathbase + '.texidoc') \
-                          and 'notexidoc' not in opts:
-                               n.append( ('input', '\n@include %s.texidoc\n' % basename))
-               n.append (c)
-       return n
-
-
-## what's this? Docme --hwn
-##
-def fix_epswidth (chunks):
-       newchunks = []
-       for c in chunks:
-               if c[0] != 'lilypond' or 'eps' not in c[2]:
-                       newchunks.append (c)
-                       continue
-
-               mag = 1.0
-               for o in c[2]:
-                       m  = re.match ('magnification=([0-9.]+)', o)
-                       if m:
-                               mag = string.atof (m.group (1))
-
-               def replace_eps_dim (match, lmag = mag):
-                       filename = match.group (1)
-                       dims = bounding_box_dimensions (filename)
-
-                       return '%fpt' % (dims[0] *lmag)
+       return output
+       
+def run_filter (s):
+       return filter_pipe (s, filter_cmd)
+
+def is_derived_class (cl,  baseclass):
+       if cl == baseclass:
+               return 1
+       for b in cl.__bases__:
+               if is_derived_class (b, baseclass):
+                       return 1
+       return 0
 
-               body = re.sub (r'''\\lilypondepswidth{(.*?)}''', replace_eps_dim, c[1])
-               newchunks.append (('lilypond', body, c[2], c[3], c[4]))
 
-       return newchunks
+def process_snippets (cmd, ly_snippets, png_snippets):
+       ly_names = filter (lambda x: x, map (Lilypond_snippet.basename, ly_snippets))
+       png_names = filter (lambda x: x, map (Lilypond_snippet.basename, png_snippets))
+       
+       if ly_names:
+               ly.system (string.join ([cmd] + ly_names), progress_p = 1)
 
+       if format == HTML or format == TEXINFO:
+               for i in png_names:
+                       if not os.path.exists (i + '.eps') and os.path.exists (i + '.tex'):
+                               to_eps (i)
+                               ly.make_ps_images (i + '.eps', resolution=110)
+                               
+#                      elif os.path.exists (i + '.ps'):
+#                              ly.make_ps_images (i + '.ps', resolution=110)
 
-##docme: why global?
-foutn=""
 
-def do_file (input_filename):
-       chunks = read_doc_file (input_filename)
-       chunks = chop_chunks (chunks, 'ly2dvi', make_ly2dvi_block, 1)
-       chunks = chop_chunks (chunks, 'lilypond', make_lilypond, 1)
-       chunks = chop_chunks (chunks, 'lilypond-file', make_lilypond_file, 1)
-       chunks = chop_chunks (chunks, 'lilypond-block', make_lilypond_block, 1)
-       chunks = chop_chunks (chunks, 'singleline-comment', do_ignore, 1)
-       chunks = chop_chunks (chunks, 'preamble-end', do_preamble_end)
-       chunks = chop_chunks (chunks, 'numcols', do_columns)
-       chunks = chop_chunks (chunks, 'multicols', do_multicols)
-       
-       scan_preamble (chunks)
-       chunks = process_lilypond_blocks (chunks)
-       chunks = process_ly2dvi_blocks (chunks)
+LATEX_DOCUMENT = r'''
+%(preamble)s
+\begin{document}
+\typeout{textwidth=\the\textwidth}
+\typeout{columnsep=\the\columnsep}
+\makeatletter\if@twocolumn\typeout{columns=2}\fi\makeatother
+\end{document}
+'''
+#need anything else besides textwidth?
+def get_latex_textwidth (source):
+       m = re.search (r'''(?P<preamble>\\begin\s*{document})''', source)
+       preamble = source[:m.start (0)]
+       latex_document = LATEX_DOCUMENT % vars ()
+        parameter_string = filter_pipe (latex_document, latex_filter_cmd)
+
+       columns = 0
+       m = re.search ('columns=([0-9.]*)', parameter_string)
+       if m:
+               columns = string.atoi (m.group (1))
+
+       columnsep = 0
+       m = re.search ('columnsep=([0-9.]*)pt', parameter_string)
+       if m:
+               columnsep = string.atof (m.group (1))
+
+       textwidth = 0
+       m = re.search('textwidth=([0-9.]*)pt', parameter_string)
+       if m:
+               textwidth = string.atof (m.group (1))
+               if columns:
+                       textwidth = (textwidth - columnsep) / columns
+
+       return textwidth
+
+ext2format = {
+       '.html' : HTML,
+       '.itely' : TEXINFO,
+       '.lytex' : LATEX,
+       '.tely' : TEXINFO,
+       '.tex': LATEX,
+       '.texi' : TEXINFO,
+       '.texinfo' : TEXINFO,
+       '.xml' : HTML,
+       }
+                              
+format2ext = {
+       HTML: '.html',
+       #TEXINFO: '.texinfo',
+       TEXINFO: '.texi',
+       LATEX: '.tex',
+       }
        
-       # Do It.
-       global g_run_lilypond
-       if g_run_lilypond:
-               compile_all_files (chunks)
-               chunks = fix_epswidth (chunks)
-
-
-       chunks = format_lilypond_output_bodies (chunks)
+def do_file (input_filename):
+       #ugh
        global format
-       if format == 'texi':
-               chunks = check_texidoc (chunks)
+       if not format:
+               e = os.path.splitext (input_filename)[1]
+               if e in ext2format.keys ():
+                       #FIXME
+                       format = ext2format[e]
+               else:
+                       ly.error (_ ("cannot determine format for: %s" \
+                                    % input_filename))
 
+       if not input_filename or input_filename == '-':
+               in_handle = sys.stdin
+               input_fullname = '<stdin>'
+       else:
+               if os.path.exists (input_filename):
+                       input_fullname = input_filename
+               elif format == LATEX:
+                       # urg python interface to libkpathsea?
+                       input_fullname = ly.read_pipe ('kpsewhich '
+                                                      + input_filename)[:-1]
+               else:
+                       input_fullname = find_file (input_filename)
+               in_handle = open (input_fullname)
+               
+       if input_filename == '-':
+               input_base = 'stdin'
+       else:
+               input_base = os.path.basename \
+                            (os.path.splitext (input_filename)[0])
 
-       x = 0
-       chunks = completize_preamble (chunks)
+       # only default to stdout when filtering 
+       if output_name == '-' or (not output_name and filter_cmd):
+               output_filename = '-'
+               output_file = sys.stdout
+       else:
+               if not output_name:
+                       output_filename = input_base + format2ext[format]
+               else:
+                       if not os.path.isdir (output_name):
+                               os.mkdir (output_name, 0777)
+                       output_filename = (output_name
+                                          + '/' + input_base
+                                          + format2ext[format])
+
+
+               if (os.path.exists (input_filename) and 
+                   os.path.exists (output_filename) and 
+                   os.path.samefile (output_filename, input_fullname)):
+                       ly.error (_("Output would overwrite input file; use --output."))
+                       sys.exit (2)
+
+               output_file = open (output_filename, 'w')
+               if output_name:
+                       os.chdir (output_name)
+
+       ly.progress (_ ("Reading %s...") % input_fullname)
+       source = in_handle.read ()
+       ly.progress ('\n')
+
+       # FIXME: containing blocks must be first, see find_toplevel_snippets
+       snippet_types = (
+               'multiline_comment',
+               'verbatim',
+               'lilypond_block',
+#              'verb',
+               'singleline_comment',
+               'lilypond_file',
+               'include',
+               'lilypond', )
+       ly.progress (_ ("Dissecting..."))
+       chunks = find_toplevel_snippets (source, snippet_types)
+       ly.progress ('\n')
+
+       global default_ly_options
+       textwidth = 0
+       if not default_ly_options.has_key (LINEWIDTH):
+               if format == LATEX:
+                       textwidth = get_latex_textwidth (source)
+                       default_ly_options[LINEWIDTH] = '''%.0f\\pt''' \
+                                                       % textwidth
+               elif format == TEXINFO:
+                       for (k, v) in texinfo_linewidths.items ():
+                               # FIXME: @paper is usually not in chunk #0:
+                               #        \input texinfo @c -*-texinfo-*-
+                               # bluntly search first K of source
+                               # s = chunks[0].replacement_text ()
+                               if re.search (k, source[:1024]):
+                                       default_ly_options[LINEWIDTH] = v
+                                       break
 
-       global foutn
+       if filter_cmd:
+               output_file.writelines ([c.filter_text () for c in chunks])
+               
+               
+       elif process_cmd:
+               ly_outdated = filter (lambda x: is_derived_class (x.__class__, Lilypond_snippet) \
+                                  and x.ly_is_outdated (), chunks)
+               png_outdated = filter (lambda x: is_derived_class (x.__class__, Lilypond_snippet) \
+                                  and x.png_is_outdated (), chunks)
+               
+               ly.progress (_ ("Writing snippets..."))
+               map (Lilypond_snippet.write_ly, ly_outdated)
+               ly.progress ('\n')
 
-       if outname:
-               my_outname = outname
-       elif input_filename == '-' or input_filename == "/dev/stdin":
-               my_outname = '-'
-       else:
-               my_outname = os.path.basename (os.path.splitext (input_filename)[0]) + '.' + format
-       my_depname = my_outname + '.dep'
-
-       if my_outname == '-' or my_outname == '/dev/stdout':
-               fout = sys.stdout
-               foutn = "<stdout>"
-               global do_deps
-               do_deps = 0
-       else:
-               foutn = os.path.join (g_outdir, my_outname)
-               sys.stderr.write ("Writing `%s'\n" % foutn)
-               fout = open (foutn, 'w')
-       for c in chunks:
-               fout.write (c[1])
-       fout.close ()
-       # should chmod -w
-
-       if do_deps:
-               write_deps (my_depname, foutn, chunks)
-
-outname = ''
-try:
-       (sh, long) = ly.getopt_args (option_definitions)
-       (options, files) = getopt.getopt (sys.argv[1:], sh, long)
-       
-except getopt.error, msg:
-       sys.stderr.write ('\n')
-       ly.error (_ ("getopt says: `%s\'" % s))
-       sys.stderr.write ('\n')
-       ly.help ()
-       ly.exit (2)
-
-do_deps = 0
-for opt in options:
-       o = opt[0]
-       a = opt[1]
-
-       if o == '--include' or o == '-I':
-               include_path.append (a)
-       elif o == '--version' or o == '-v':
-               ly.identify (sys.stdout)
-               sys.exit (0)
-       elif o == '--verbose' or o == '-V':
-               verbose_p = 1
-       elif o == '--format' or o == '-f':
-               format = a
-               if a == 'texi-html':
-                       format = 'texi'
-                       g_make_html = 1
-       elif o == '--outname' or o == '-o':
-               if len (files) > 1:
-                       #HACK
-                       sys.stderr.write ("Lilypond-book is confused by --outname on multiple files")
-                       sys.exit (1)
-               outname = a
-       elif o == '--help' or o == '-h':
-               ly.help ()
-               sys.exit (0)
-       elif o == '--no-lily' or o == '-n':
-               g_run_lilypond = 0
-       elif o == '--preview-resolution':
-               preview_resolution = string.atoi (a)
-       elif o == '--dependencies' or o == '-M':
-               do_deps = 1
-       elif o == '--default-music-fontsize':
-               default_music_fontsize = string.atoi (a)
-       elif o == '--default-lilypond-fontsize':
-               print "--default-lilypond-fontsize is deprecated, use --default-music-fontsize"
-               default_music_fontsize = string.atoi (a)
-       elif o == '--extra-options':
-               g_extra_opts = a
-       elif o == '--force-music-fontsize':
-               g_force_music_fontsize = string.atoi (a)
-       elif o == '--force-lilypond-fontsize':
-               print "--force-lilypond-fontsize is deprecated, use --default-lilypond-fontsize"
-               g_force_music_fontsize = string.atoi (a)
-       elif o == '--dep-prefix':
-               g_dep_prefix = a
-       elif o == '--no-pictures':
-               g_do_pictures = 0
-       elif o == '--no-music':
-               g_do_music = 0
-       elif o == '--outdir':
-               g_outdir = a
-       elif o == '--warranty' or o == '-w':
-               #status = os.system ('lilypond -w')
-               if 1 or status:
-                       ly.warranty ()
-               sys.exit (0)
-
-ly.identify (sys.stderr)
-
-if g_outdir:
-       if os.path.isfile (g_outdir):
-               error ("outdir is a file: %s" % g_outdir)
-       if not os.path.exists (g_outdir):
-               os.mkdir (g_outdir)
+               if ly_outdated:
+                       ly.progress (_ ("Processing..."))
+                       process_snippets (process_cmd, ly_outdated, png_outdated)
+               else:
+                       ly.progress (_ ("All snippets are up to date..."))
+               ly.progress ('\n')
+
+               ly.progress (_ ("Compiling %s...") % output_filename)
+               output_file.writelines ([s.replacement_text () \
+                                        for s in chunks])
+               ly.progress ('\n')
+
+       def process_include (snippet):
+               os.chdir (original_dir)
+               name = snippet.substring ('filename')
+               ly.progress (_ ('Processing include: %s') % name)
+               ly.progress ('\n')
+               do_file (name)
                
-if not files:
-       ly.help ()
-       ly.error (_ ("no files specified on command line"))
-       ly.exit (2)
+       map (process_include,
+            filter (lambda x: is_derived_class (x.__class__, Include_snippet), chunks))
 
-ly.setup_environment ()
+def do_options ():
+       global format, output_name
+       global filter_cmd, process_cmd, verbose_p
+       
+       (sh, long) = ly.getopt_args (option_definitions)
+       try:
+               (options, files) = getopt.getopt (sys.argv[1:], sh, long)
+       except getopt.error, s:
+               sys.stderr.write ('\n')
+               ly.error (_ ("getopt says: `%s\'" % s))
+               sys.stderr.write ('\n')
+               ly.help ()
+               ly.exit (2)
 
+       for opt in options:
+               o = opt[0]
+               a = opt[1]
 
-for input_filename in files:
-       do_file (input_filename)
+               if 0:
+                       pass
+               elif o == '--filter' or o == '-F':
+                       filter_cmd = a
+                       process_cmd = 0
+               elif o == '--format' or o == '-f':
+                       format = a
+                       if a == 'texi-html' or a == 'texi':
+                               format = TEXINFO
+               elif o == '--help' or o == '-h':
+                       ly.help ()
+                       sys.exit (0)
+               elif o == '--include' or o == '-I':
+                       include_path.append (os.path.join (original_dir,
+                                                          ly.abspath (a)))
+               elif o == '--output' or o == '-o':
+                       output_name = a
+               elif o == '--outdir':
+                       output_name = a
+               elif o == '--process' or o == '-P':
+                       process_cmd = a
+                       filter_cmd = 0
+               elif o == '--version' or o == '-v':
+                       ly.identify (sys.stdout)
+                       sys.exit (0)
+               elif o == '--verbose' or o == '-V':
+                       verbose_p = 1
+               elif o == '--warranty' or o == '-w':
+                       if 1 or status:
+                               ly.warranty ()
+                       sys.exit (0)
+       return files
+
+def main ():
+       files = do_options ()
+       global process_cmd
+       if process_cmd == '':
+               process_cmd = lilypond_binary + " -f tex "
+       
+       if process_cmd:
+               process_cmd += string.join ([(' -I %s' % p)
+                                            for p in include_path])
 
+       ly.identify (sys.stderr)
+       ly.setup_environment ()
+       if files:
+               do_file (files[0])
 
-#
-# Petr, ik zou willen dat ik iets zinvoller deed,
-# maar wat ik kan ik doen, het verandert toch niets?
-#   --hwn 20/aug/99
+if __name__ == '__main__':
+       main ()