]> git.donarmstrong.com Git - lilypond.git/blobdiff - lily/lexer.ll
Run `make grand-replace'.
[lilypond.git] / lily / lexer.ll
index 04a279b4ca06bed273cbbfdad4608b66329c1ac0..8dd76671456cebaf4341527c55254fe61844b494 100644 (file)
@@ -4,7 +4,7 @@
 
   source file of the LilyPond music typesetter
 
-  (c) 1996--2006 Han-Wen Nienhuys <hanwen@xs4all.nl>
+  (c) 1996--2008 Han-Wen Nienhuys <hanwen@xs4all.nl>
            Jan Nieuwenhuizen <janneke@gnu.org>
 */
 
@@ -41,7 +41,7 @@ using namespace std;
 #include "interval.hh"
 #include "lily-guile.hh"
 #include "lily-lexer.hh"
-#include "lilypond-input-version.hh"
+#include "lilypond-version.hh"
 #include "main.hh"
 #include "music.hh"
 #include "music-function.hh"
@@ -62,6 +62,7 @@ void strip_trailing_white (string&);
 void strip_leading_white (string&);
 string lyric_fudge (string s);
 SCM lookup_markup_command (string s);
+SCM lookup_markup_list_command (string s);
 bool is_valid_version (string s);
 
 
@@ -80,11 +81,6 @@ bool is_valid_version (string s);
        (*(YYLTYPE*)lexloc)
 
 #define YY_USER_ACTION add_lexed_char (YYLeng ());
-/*
-
-LYRICS         ({AA}|{TEX})[^0-9 \t\n\f]*
-
-*/
 
 
 SCM scan_fraction (string);
@@ -117,18 +113,21 @@ SCM (* scm_parse_error_handler) (void *);
 %x sourcefilename
 %x version
 
-A              [a-zA-Z]
+A              [a-zA-Z\200-\377]
 AA             {A}|_
 N              [0-9]
 AN             {AA}|{N}
 ANY_CHAR       (.|\n)
 PUNCT          [?!:'`]
 ACCENT         \\[`'"^]
-NATIONAL       [\001-\006\021-\027\031\036\200-\377]
+NATIONAL       [\001-\006\021-\027\031\036]
 TEX            {AA}|-|{PUNCT}|{ACCENT}|{NATIONAL}
 WORD           {A}{AN}*
 DASHED_WORD            {A}({AN}|-)*
 DASHED_KEY_WORD                \\{DASHED_WORD}
+
+
+
 ALPHAWORD      {A}+
 DIGIT          {N}
 UNSIGNED       {N}+
@@ -148,6 +147,7 @@ ESCAPED             [nt\\'"]
 EXTENDER       __
 HYPHEN         --
 BOM_UTF8       \357\273\277
+
 %%
 
 
@@ -171,7 +171,9 @@ BOM_UTF8    \357\273\277
   return type;
 }
 
-<INITIAL,chords,lyrics,figures,notes>{BOM_UTF8} {
+   /* Use the trailing context feature. Otherwise, the BOM will not be
+      found if the file starts with an identifier definition. */
+<INITIAL,chords,lyrics,figures,notes>{BOM_UTF8}/.* {
   if (this->lexloc->line_number () != 1 || this->lexloc->column_number () != 0)
     {
       LexerError (_ ("stray UTF-8 BOM encountered").c_str ());
@@ -237,7 +239,7 @@ BOM_UTF8    \357\273\277
        progress_indication ("\n");
        scm_module_define (scm_car (scopes_),
                     ly_symbol2scm ("input-file-name"),
-                    scm_makfrom0str (s.c_str ()));
+                    ly_string2scm (s));
 
 }
 
@@ -245,7 +247,6 @@ BOM_UTF8    \357\273\277
        int i;
        sscanf (YYText (), "%d", &i);
 
-//     this->set_debug (1); 
        yy_pop_state ();
        this->here_input ().get_source_file ()->set_line (here_input ().start (), i);
 }
@@ -273,7 +274,7 @@ BOM_UTF8    \357\273\277
        }
        <<EOF>>         {
                LexerError (_ ("EOF found inside a comment").c_str ());
-               is_main_input_ = false;
+               is_main_input_ = false; // should be safe , can't have \include in --safe.
                if (! close_input ()) 
                  yyterminate (); // can't move this, since it actually rets a YY_NULL
        }
@@ -325,7 +326,7 @@ BOM_UTF8    \357\273\277
 }
 <chords,notes,figures>{RESTNAME}       {
        char const *s = YYText ();
-       yylval.scm = scm_makfrom0str (s);
+       yylval.scm = scm_from_locale_string (s);
        return RESTNAME;
 }
 <chords,notes,figures>R                {
@@ -336,7 +337,7 @@ BOM_UTF8    \357\273\277
        Input hi = here_input();
        hi.step_forward ();
        SCM sval = ly_parse_scm (hi.start (), &n, hi,
-               be_safe_global && is_main_input_);
+               be_safe_global && is_main_input_, parser_);
 
        if (sval == SCM_UNDEFINED)
        {
@@ -429,7 +430,7 @@ BOM_UTF8    \357\273\277
 
                /* yylval is union. Must remember STRING before setting SCM*/
                string *sp = yylval.string;
-               yylval.scm = scm_makfrom0str (sp->c_str ());
+               yylval.scm = ly_string2scm (*sp);
                delete sp;
                return is_lyric_state () ? LYRICS_STRING : STRING;
        }
@@ -466,7 +467,7 @@ BOM_UTF8    \357\273\277
                if (c == '{' ||  c == '}') // brace open is for not confusing dumb tools.
                        here_input ().warning (
                                _ ("Brace found at end of lyric.  Did you forget a space?"));
-               yylval.scm = scm_makfrom0str (s.c_str ());
+               yylval.scm = ly_string2scm (s);
 
 
                return LYRICS_STRING;
@@ -518,7 +519,7 @@ BOM_UTF8    \357\273\277
        {MARKUPCOMMAND} {
                string str (YYText () + 1);
                SCM s = lookup_markup_command (str);
-
+               SCM s2 = lookup_markup_list_command (str);
                if (scm_is_pair (s) && scm_is_symbol (scm_cdr (s)) ) {
                        yylval.scm = scm_car(s);
                        SCM tag = scm_cdr(s);
@@ -538,6 +539,10 @@ BOM_UTF8   \357\273\277
                                return MARKUP_HEAD_SCM0_MARKUP1;
                        else if (tag == ly_symbol2scm ("scheme0-scheme1-markup2"))
                                return MARKUP_HEAD_SCM0_SCM1_MARKUP2;
+                       else if (tag == ly_symbol2scm ("scheme0-scheme1-markup2-markup3"))
+                               return MARKUP_HEAD_SCM0_SCM1_MARKUP2_MARKUP3;
+                       else if (tag == ly_symbol2scm ("scheme0-markup1-markup2"))
+                               return MARKUP_HEAD_SCM0_MARKUP1_MARKUP2;
                        else if (tag == ly_symbol2scm ("scheme0-scheme1-scheme2"))
                                return MARKUP_HEAD_SCM0_SCM1_SCM2;
                        else {
@@ -545,6 +550,24 @@ BOM_UTF8   \357\273\277
                                ly_display_scm (s);
                                assert(false);
                        }
+               } else if (scm_is_pair (s2) && scm_is_symbol (scm_cdr (s2))) {
+                       yylval.scm = scm_car(s2);
+                       SCM tag = scm_cdr(s2);
+                       if (tag == ly_symbol2scm("empty"))
+                               return MARKUP_LIST_HEAD_EMPTY;
+                       else if (tag == ly_symbol2scm ("scheme0"))
+                               return MARKUP_LIST_HEAD_SCM0;
+                       else if (tag == ly_symbol2scm ("markup-list0"))
+                               return MARKUP_LIST_HEAD_LIST0;
+                       else if (tag == ly_symbol2scm ("scheme0-markup-list1"))
+                               return MARKUP_LIST_HEAD_SCM0_LIST1;
+                       else if (tag == ly_symbol2scm ("scheme0-scheme1-markup-list2"))
+                               return MARKUP_LIST_HEAD_SCM0_SCM1_LIST2;
+                       else {
+                               programming_error ("no parser tag defined for this markup list signature"); 
+                               ly_display_scm (s);
+                               assert(false);
+                       }
                } else
                        return scan_escaped_word (str);
        }
@@ -559,7 +582,7 @@ BOM_UTF8    \357\273\277
                if (c == '{' ||  c == '}')
                        here_input ().warning (
                                _ ("Brace found at end of markup.  Did you forget a space?"));
-               yylval.scm = scm_makfrom0str (s.c_str ());
+               yylval.scm = ly_string2scm (s);
 
 
                return STRING;
@@ -572,7 +595,11 @@ BOM_UTF8   \357\273\277
 <*><<EOF>> {
        if (is_main_input_)
        {
-               is_main_input_ = false;
+               /* 2 = init.ly + current file.
+                  > because we're before closing, but is_main_input_ should
+                  reflect after.
+               */ 
+               is_main_input_ = include_stack_.size () > 2;
                if (!close_input ())
                /* Returns YY_NULL */
                        yyterminate ();
@@ -776,7 +803,7 @@ Lily_lexer::scan_escaped_word (string str)
        string msg (_f ("unknown escaped string: `\\%s'", str));        
        LexerError (msg.c_str ());
 
-       yylval.scm = scm_makfrom0str (str.c_str ());
+       yylval.scm = ly_string2scm (str);
 
        return STRING;
 }
@@ -797,14 +824,15 @@ Lily_lexer::scan_bare_word (string str)
                        else if (scm_is_symbol (yylval.scm))
                            return DRUM_PITCH;
                }
-               else if ((handle = scm_hashq_get_handle (chordmodifier_tab_, sym))!= SCM_BOOL_F)
+               else if ((YYSTATE == chords)
+                       && (handle = scm_hashq_get_handle (chordmodifier_tab_, sym))!= SCM_BOOL_F)
                {
                    yylval.scm = scm_cdr (handle);
                    return CHORD_MODIFIER;
                }
        }
 
-       yylval.scm = scm_makfrom0str (str.c_str ());
+       yylval.scm = ly_string2scm (str);
        return STRING;
 }
 
@@ -877,12 +905,18 @@ is_valid_version (string s)
 {
   Lilypond_version current ( MAJOR_VERSION "." MINOR_VERSION "." PATCH_LEVEL );
   Lilypond_version ver (s);
-  if (! ((ver >= oldest_version) && (ver <= current)))
+  if (int (ver) < oldest_version)
        {       
-               non_fatal_error (_f ("Incorrect lilypond version: %s (%s, %s)", ver.to_string (), oldest_version.to_string (), current.to_string ()));
-               non_fatal_error (_ ("Consider updating the input with the convert-ly script")); 
+               non_fatal_error (_f ("file too old: %s (oldest supported: %s)", ver.to_string (), oldest_version.to_string ()));
+               non_fatal_error (_ ("consider updating the input with the convert-ly script"));
                return false;
-    }
+       }
+
+  if (ver > current)
+       {
+               non_fatal_error (_f ("program too old: %s (file requires: %s)",  current.to_string (), ver.to_string ()));
+               return false;
+       }
   return true;
 }
        
@@ -933,7 +967,14 @@ SCM
 lookup_markup_command (string s)
 {
        SCM proc = ly_lily_module_constant ("lookup-markup-command");
-       return scm_call_1 (proc, scm_makfrom0str (s.c_str ()));
+       return scm_call_1 (proc, ly_string2scm (s));
+}
+
+SCM
+lookup_markup_list_command (string s)
+{
+       SCM proc = ly_lily_module_constant ("lookup-markup-list-command");
+       return scm_call_1 (proc, ly_string2scm (s));
 }
 
 /* Shut up lexer warnings.  */