lily/lily-lexer.cc

   1 /*
   2   This file is part of LilyPond, the GNU music typesetter.
   3
   4   Copyright (C) 1997--2015 Han-Wen Nienhuys <hanwen@xs4all.nl>
   5
   6   LilyPond is free software: you can redistribute it and/or modify
   7   it under the terms of the GNU General Public License as published by
   8   the Free Software Foundation, either version 3 of the License, or
   9   (at your option) any later version.
  10
  11   LilyPond is distributed in the hope that it will be useful,
  12   but WITHOUT ANY WARRANTY; without even the implied warranty of
  13   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14   GNU General Public License for more details.
  15
  16   You should have received a copy of the GNU General Public License
  17   along with LilyPond.  If not, see <http://www.gnu.org/licenses/>.
  18 */
  19
  20 #include "lily-lexer.hh"
  21
  22 #include <cctype>
  23 #include <sstream>
  24 using namespace std;
  25
  26 #include "context.hh" // for nested_property_alist
  27 #include "international.hh"
  28 #include "interval.hh"
  29 #include "keyword.hh"
  30 #include "main.hh"
  31 #include "moment.hh"
  32 #include "parser.hh"
  33 #include "scm-hash.hh"
  34 #include "source-file.hh"
  35 #include "warn.hh"
  36 #include "program-option.hh"
  37 #include "lily-parser.hh"
  38 #include "ly-module.hh"
  39
  40 static Keyword_ent the_key_tab[]
  41 =
  42 {
  43   {"accepts", ACCEPTS},
  44   {"addlyrics", ADDLYRICS},
  45   {"alias", ALIAS},
  46   {"alternative", ALTERNATIVE},
  47   {"book", BOOK},
  48   {"bookpart", BOOKPART},
  49   {"change", CHANGE},
  50   {"chordmode", CHORDMODE},
  51   {"chords", CHORDS},
  52   {"consists", CONSISTS},
  53   {"context", CONTEXT},
  54   {"default", DEFAULT},
  55   {"defaultchild", DEFAULTCHILD},
  56   {"denies", DENIES},
  57   {"description", DESCRIPTION},
  58   {"drummode", DRUMMODE},
  59   {"drums", DRUMS},
  60   {"etc", ETC},
  61   {"figuremode", FIGUREMODE},
  62   {"figures", FIGURES},
  63   {"header", HEADER},
  64   {"layout", LAYOUT},
  65   {"lyricmode", LYRICMODE},
  66   {"lyrics", LYRICS},
  67   {"lyricsto", LYRICSTO},
  68   {"markup", MARKUP},
  69   {"markuplist", MARKUPLIST},
  70   {"midi", MIDI},
  71   {"name", NAME},
  72   {"new", NEWCONTEXT},
  73   {"notemode", NOTEMODE},
  74   {"override", OVERRIDE},
  75   {"paper", PAPER},
  76   {"remove", REMOVE},
  77   {"repeat", REPEAT},
  78   {"rest", REST},
  79   {"revert", REVERT},
  80   {"score", SCORE},
  81   {"sequential", SEQUENTIAL},
  82   {"set", SET},
  83   {"simultaneous", SIMULTANEOUS},
  84   {"tempo", TEMPO},
  85   {"type", TYPE},
  86   {"unset", UNSET},
  87   {"with", WITH},
  88   {0, 0}
  89 };
  90
  91 Lily_lexer::Lily_lexer (Sources *sources, Lily_parser *parser)
  92 {
  93   parser_ = parser;
  94   keytable_ = new Keyword_table (the_key_tab);
  95   chordmodifier_tab_ = SCM_EOL;
  96   pitchname_tab_stack_ = SCM_EOL;
  97   sources_ = sources;
  98   scopes_ = SCM_EOL;
  99   error_level_ = 0;
 100   is_main_input_ = false;
 101   main_input_level_ = 0;
 102   start_module_ = SCM_EOL;
 103   extra_tokens_ = SCM_EOL;
 104   smobify_self ();
 105
 106   add_scope (ly_make_module (false));
 107   push_note_state (SCM_EOL);
 108   chordmodifier_tab_ = scm_make_vector (scm_from_int (1), SCM_EOL);
 109 }
 110
 111 Lily_lexer::Lily_lexer (Lily_lexer const &src, Lily_parser *parser,
 112                         SCM override_input)
 113   : Includable_lexer ()
 114 {
 115   parser_ = parser;
 116   keytable_ = (src.keytable_) ? new Keyword_table (*src.keytable_) : 0;
 117   chordmodifier_tab_ = src.chordmodifier_tab_;
 118   pitchname_tab_stack_ = src.pitchname_tab_stack_;
 119   sources_ = src.sources_;
 120   scopes_ = src.scopes_;
 121   start_module_ = SCM_EOL;
 122
 123   error_level_ = 0;
 124   is_main_input_ = src.is_main_input_;
 125   main_input_level_ = 0;
 126
 127   extra_tokens_ = SCM_EOL;
 128   if (unsmob<Input> (override_input))
 129     override_input_ = *unsmob<Input> (override_input);
 130
 131   smobify_self ();
 132
 133   push_note_state (SCM_EOL);
 134 }
 135
 136 Lily_lexer::~Lily_lexer ()
 137 {
 138   delete keytable_;
 139 }
 140
 141 void
 142 Lily_lexer::add_scope (SCM module)
 143 {
 144   ly_reexport_module (scm_current_module ());
 145   if (!scm_is_pair (scopes_))
 146     start_module_ = scm_current_module ();
 147
 148   for (SCM s = scopes_; scm_is_pair (s); s = scm_cdr (s))
 149     ly_use_module (module, scm_car (s));
 150   scopes_ = scm_cons (module, scopes_);
 151
 152   set_current_scope ();
 153 }
 154 bool
 155 Lily_lexer::has_scope () const
 156 {
 157   return scm_is_pair (scopes_);
 158 }
 159
 160 SCM
 161 Lily_lexer::remove_scope ()
 162 {
 163   SCM sc = scm_car (scopes_);
 164   scopes_ = scm_cdr (scopes_);
 165   set_current_scope ();
 166   return sc;
 167 }
 168
 169 SCM
 170 Lily_lexer::set_current_scope ()
 171 {
 172   SCM old = scm_current_module ();
 173
 174   if (scm_is_pair (scopes_))
 175     scm_set_current_module (scm_car (scopes_));
 176   else
 177     scm_set_current_module (start_module_);
 178
 179   return old;
 180 }
 181
 182 int
 183 Lily_lexer::lookup_keyword (const string &s)
 184 {
 185   return keytable_->lookup (s.c_str ());
 186 }
 187
 188 SCM
 189 Lily_lexer::keyword_list () const
 190 {
 191   if (!keytable_)
 192     return SCM_EOL;
 193
 194   SCM l = SCM_EOL;
 195   SCM *tail = &l;
 196   for (vsize i = 0; i < keytable_->table_.size (); i++)
 197     {
 198       *tail = scm_acons (scm_from_utf8_string (keytable_->table_[i].name_),
 199                          scm_from_int (keytable_->table_[i].tokcode_),
 200                          SCM_EOL);
 201
 202       tail = SCM_CDRLOC (*tail);
 203     }
 204
 205   return l;
 206 }
 207
 208 SCM
 209 Lily_lexer::lookup_identifier_symbol (SCM sym)
 210 {
 211   for (SCM s = scopes_; scm_is_pair (s); s = scm_cdr (s))
 212     {
 213       SCM var = ly_module_lookup (scm_car (s), sym);
 214       if (scm_is_true (var))
 215         return scm_variable_ref (var);
 216     }
 217
 218   return SCM_UNDEFINED;
 219 }
 220
 221 SCM
 222 Lily_lexer::lookup_identifier (const string &name)
 223 {
 224   return lookup_identifier_symbol (ly_symbol2scm (name.c_str ()));
 225 }
 226
 227 void
 228 Lily_lexer::start_main_input ()
 229 {
 230   yy_flex_debug = get_program_option ("debug-lexer");
 231   parser_->set_yydebug (get_program_option ("debug-parser"));
 232
 233   new_input (main_input_name_, sources_);
 234
 235   scm_module_define (scm_car (scopes_),
 236                      ly_symbol2scm ("input-file-name"),
 237                      ly_string2scm (main_input_name_));
 238 }
 239
 240 void
 241 Lily_lexer::new_input (const string &str, string d, Sources *ss)
 242 {
 243   Includable_lexer::new_input (str, d, ss);
 244 }
 245
 246 void
 247 Lily_lexer::new_input (const string &str, Sources *ss)
 248 {
 249   if (is_main_input_ && be_safe_global)
 250     {
 251       LexerError (_ ("include files are not allowed in safe mode").c_str ());
 252       return;
 253     }
 254
 255   Includable_lexer::new_input (str, ss);
 256 }
 257
 258 // PATH is either a single symbol (or string) or a list of symbols
 259 // giving the path to a nested property.  A symbol is treated the same
 260 // as a list of length 1.
 261 void
 262 Lily_lexer::set_identifier (SCM path, SCM val)
 263 {
 264   SCM sym = path;
 265   if (scm_is_string (path))
 266     sym = scm_string_to_symbol (path);
 267   else if (scm_is_pair (path))
 268     {
 269       sym = scm_car (path);
 270       path = scm_cdr (path);
 271     }
 272
 273   if (scm_is_symbol (sym))
 274     {
 275       if (lookup_keyword (ly_symbol2string (sym)) >= 0)
 276         {
 277           string symstr = ly_symbol2string (sym);
 278           warning (_f ("identifier name is a keyword: `%s'", symstr.c_str ()));
 279         }
 280
 281       SCM mod = scm_car (scopes_);
 282
 283       if (scm_is_pair (path))
 284         {
 285           SCM prev = ly_module_lookup (mod, sym);
 286           if (scm_is_true (prev))
 287             val = nested_property_alist (scm_variable_ref (prev), path, val);
 288         }
 289       scm_module_define (mod, sym, val);
 290     }
 291   else
 292     programming_error ("identifier is not a symbol");
 293 }
 294
 295 void
 296 Lily_lexer::LexerError (char const *s)
 297 {
 298   if (include_stack_.empty ())
 299     non_fatal_error (s, _f ("%s:EOF", s));
 300   else
 301     {
 302       error_level_ |= 1;
 303       Input spot (*lexloc_);
 304       spot.non_fatal_error (s);
 305     }
 306 }
 307
 308 void
 309 Lily_lexer::LexerWarning (char const *s)
 310 {
 311   if (include_stack_.empty ())
 312     warning (s, _f ("%s:EOF", s));
 313   else
 314     {
 315       Input spot (*lexloc_);
 316       spot.warning (s);
 317     }
 318 }
 319
 320 char
 321 Lily_lexer::escaped_char (char c) const
 322 {
 323   switch (c)
 324     {
 325     case 'n':
 326       return '\n';
 327     case 't':
 328       return '\t';
 329     case '\'':
 330     case '\"':
 331     case '\\':
 332       return c;
 333     }
 334   return 0;
 335 }
 336
 337 Input
 338 Lily_lexer::here_input () const
 339 {
 340   return Input (*lexloc_);
 341 }
 342
 343 Input const &
 344 Lily_lexer::override_input (Input const &in) const
 345 {
 346   return override_input_.get_source_file ()
 347     ? override_input_ : in;
 348 }
 349
 350 void
 351 Lily_lexer::prepare_for_next_token ()
 352 {
 353   last_input_ = here_input ();
 354 }
 355
 356 /**
 357    Since we don't create the buffer state from the bytes directly, we
 358    don't know about the location of the lexer. Add this as a
 359    YY_USER_ACTION */
 360 void
 361 Lily_lexer::add_lexed_char (int count)
 362 {
 363   char const *start = here_str0 ();
 364   lexloc_->set (get_source_file (),
 365                 start, start + count);
 366   char_count_stack_.back () += count;
 367 }
 368
 369
 370 const char Lily_lexer::type_p_name_[] = "ly:lily-lexer?";
 371
 372 SCM
 373 Lily_lexer::mark_smob () const
 374 {
 375   ASSERT_LIVE_IS_ALLOWED (self_scm ());
 376
 377   scm_gc_mark (chordmodifier_tab_);
 378   if (parser_)
 379     scm_gc_mark (parser_->self_scm ());
 380   scm_gc_mark (pitchname_tab_stack_);
 381   scm_gc_mark (start_module_);
 382   scm_gc_mark (extra_tokens_);
 383   return scopes_;
 384 }
 385
 386 int
 387 Lily_lexer::print_smob (SCM port, scm_print_state *) const
 388 {
 389   scm_puts ("#<Lily_lexer ", port);
 390   scm_display (scopes_, port);
 391   scm_puts (" >", port);
 392   return 1;
 393 }
 394
 395 bool
 396 Lily_lexer::is_clean () const
 397 {
 398   return include_stack_.empty ();
 399 }