Adapt documentation for optional arguments now that lookahead is permissible

Parser: properly disambiguate pitches from music in function arguments

In many instances, function arguments were parsed greedily without
looking at the function argument predicates first.  This did not allow
using subsequent function arguments of type pitch and duration since
they were combined into one music expression.

Parser: remove command_element and command_event synonyms of tempo_event

Parser: remove pitch_arg and PITCH_ARG

Parser: inline a few "common" expressions occuring only once now

Remove all closed music expressions

Permit event functions to use a non-closed argument list.

Add location data to extra_tokens_ stack in lexer.

Parser: let MYREPARSE and MYBACKUP back up even in presence of lookahead

This implies that the lookahead token must not yet have made an impact
on the state stack other than causing the reduction of the current
rule, or switching the lookahead token while Bison is mulling it over
will cause trouble.

Since an LALR(1) works on the top of the stack, this can usually be
guaranteed.  The "Too much lookahead" message is not produced.  If
these constructs are misused, the parser should typically complain
about the replacement token being unexpected.

The advantage is the ability to vastly simplify syntax rules that up
to now have to avoid lookahead tokens with a lot of drudgework.

Move the extra_token mechanism out of the lexer proper

Calling lex->pop_extra_token explicitly in the parser's yylex function
makes things considerably more robust.  It also allows pushing and
popping the EOF condition, necessary for backing up right at the end
of a file, like with ##{ \relative { c d e f } #} where the music
expression is checked against being a pitch, and then is backed up.

Issue 3726: toplevel-music-functions should be a session variable

We don't want changes in a .ly file to bleed into subsequent files.

Issue 3728: Allow score and book identifiers at top level, and score identifiers in book(part)s

Instead of

xxx = \score { ... }
yyy = \book { ... }
\score { \xxx }
\book { \yyy }

you can now just write

xxx = \score { ... }
yyy = \book { ... }
\xxx
\yyy

Book and bookparts at top level are distinguished by virtue of only
books having a \paper block.

Regularize score handling (origin and copying)

Scores get their origin set when score_body is called, and when encountered
in \xxx and  constructs, are properly copied.

Issue 3727: Allow header blocks and output definitions in \score to precede music

This addresses a frequent complaint of users.

Simplifies pure documentation in the CG.
Removes old information about lists and articulates everything in terms
of unpure-pure-containers.

Make parsing of articulation shorthands more robust. (issue 3664)

Allow articulation shorthands to be any post-event. Commit 6baa453 tried
to restrict them to ArticulationEvents, but actually allowed anything.

As opposed to previously, return a dummy PostEvents on error as
fallback rather than an incomplete ArticulationEvent causing followup
errors and a crash.

Signed-off-by: David Kastrup <dak@gnu.org>

Issue 3713: default for baseline-skip not available in the lists for repeatCommands

Doc: Add mention of LibreOffice

Issue 3686

OooLilyPond works for LibreOffice as well as OpenOffice.

Doc: Add links to LP user blog for Video Tutorials

Issue 3540

Added referfences and links to Video Tutorials
for beginners via LilyPond user Ben Lemon's blog

Remove outdated dependencies on .pfa files, replace with .pfb where feasible.

This may be related to issue 3674: Multiprocessor builds fail on some platforms.

Issue 3712: Ponding about Turkish Ebook by Server Acim

See
<URL:http://lists.gnu.org/archive/html/bug-lilypond/2013-12/msg00051.html>
for the announcement.

documentation: staff-spacing, resolve collisions

slurs avoid stafflines: move far enough; issue 3628

markup: scale the shift of super/sub-scripts by font-size

Simplify extract-beam-exceptions

Issue 3679: Rewrite the autobeam logic to use GUILE fractions rather than moments

This makes the arithmetic considerably clearer.

CG: remove information about frogs and frog meister

frogs list is dead, and the frog meister was a good idea
but it gets out of touch from reality (since a few months
previous Frog Meister didn't actually participate in development).

Release: update news.

Release: bump VERSION.

Merge branch 'translation' into 'master'

PO: updates from FTP

Issue 3706: Allow computed identifiers for \change

This makes it possible to write

\change #'Staff = #"high"

(or other computed expressions) just like it is possible with

\new #'Staff = #"high" { ... }

Issue 3695: Fix LILF table in emmentaler

From <URL:http://lists.gnu.org/archive/html/bug-lilypond/2013-11/msg00113.html>:

Now, for recent versions of emmentaler (same font file), LILC contains:
  (subfont . "feta20")
  (subfont . "feta-alphabet20")
  (subfont . "feta-flags20")
  (subfont . "feta-noteheads20")
  (subfont . "parmesan20")
  (subfont . "parmesan-noteheads20")

[...]

but the subfonts array has not been updated in
these commits.

XY-extent: more accurate docstring

Add Changes entry for -dstrokeadjust and "Usage" entry.

Implement option -dstrokeadjust in order to get stroked stems and strokeadjustment

This makes the stroke drawing primitives for long rounded rectangles
dependent on the setting of currentstrokeadjust.  As a result,
low-resolution bitmap devices (up to 150 dpi or so) will get stroke
adjustment applied automatically.  The option needs to get invoked
explicitly to get stroke adjustment for PDF, giving a large file size
increase and markedly better previews on a number of PDF previewers.

Issue 2658: Be serious about setstrokeadjust in PostScript primitives

This particularly concerns draw_round_box which is used for drawing
lines with a rounded ending.  If the width/height ratio or its inverse
exceeds 2, the box is considered to be a "line".  In this case, first
a clipping path is established representing the whole shape and
extended widely in the area of the "main stroke".  The reason for this
extension is to avoid both clip area and stroke competing for the
outline.  While this is not a problem for the PostScript or PDF
rendering model, the Cairo bitmap rendering library employs
Porter-Duff compositing for antialiasing amounting to "cheap man's
antialiasing" not requiring a higher rendering resolution but relying
on edges affecting a single pixel to be independent.

Porter-Duff requires us not to have multiple parallel strokes or clip
areas if we want to avoid wrong sub-pixel grayness levels (and
consequently lines appearing too thick or thin) in Cairo-based
previewers like Evince.

After establishing the clip area, a stroke is drawn through.  This
stroke may (at the PostScript device's discretion) employ
strokeadjustment further correcting the apparent thickness.
Ghostscript employs stroke adjustment when rendering at a resolution
below 150dpi.  Stroke adjustment does not pass into PDF, however, when
ps2pdf runs.

Ghostscript performs sub-pixel rendering for antialiasing which
reduces the amount of discontinuities possibly caused by joining
stroke-adjusted shapes with full shapes.

It turns out that sharper contours can be achieved by using strokepath
and fill instead of a plain stroke.  However, the resulting crisper
stems tend to combine worse with beams, so this approach has not been
pursued.

Don't meddle with Ghostscript's choice of currentstrokeadjust

It should be appropriate for device and resolution by default.

Make stroke_and_fill? PostScript operator that fills conditionally

Make music-drawing-routines.ps require PostScript 2.0

There is no point having conditional code around setstrokeadjust and
its ilk any more.

Completion_*_engraver: add means to preserve scale factor; issue 3650

Reduce offsets of \super and \sub

This brings chordNames and text superscripts into better agreement
with the shifts in user-provided scans.

script-column: earlier scripts support later scripts; issue 3683

small padding adjustment; issue 3630

hairpin: start at left edge of a rest

web: remove old news

In particular, remove the entry about the LilyPond Report,
which is no longer reachable.

Support articulations and breaths in MIDI. (issue 3664)

Articulations and breaths can alter the length and volume of the note.
(Breaths affect the previous chord.) This is controlled by their
midi-length and midi-extra-velocity properties. The standard articulations
now have these properties where appropriate.

(seconds->moment s context) is a convenience function for making
absolute durations.

Support properties on articulations.

Shorthand articulations like -. can now be ArticulationEvents, not just
articulation names. Previously a shorthand created a new ArticulationEvent
with its name, so there was no way to give it properties. Now it can be (and
is, by default) an ArticulationEvent.

Note that redefining a shorthand to a string (e.g. dashDot = "staccatissimo")
still creates propertyless articulations, regardless of \staccatissimo.

Issue 3694: Use standard inclusion scheme for FreeType headers.

The most recent FreeType release (2.5.1) has changed locations for header
files.  Using the standard way, this is not visible to applications.

let RhythmicStaff use default barline extent

There is no reason to make barlines in RhythmicStaff special.
The purpose of the deleted code was probably to ensure that
the barlines were visible at all (despite the fact that there
is just one staffline in a RhythmicStaff).  However, currently
barline code takes care of this by default.

This makes barlines in DrumStaff and RhythmicStaff similar.

A comment by Keith:
The book by Kurt Stone happens to have some bar-lines in single-line percussion
staves that are as tall as a 4/4 time-signature.  Other examples in the same
book have short bar-lines like these here, and looking at some scores the short
bar-lines are more common.

Issue 3682/2: Change documentation and regtests for \beamExceptions

Issue 3682/1: Implement \beamExceptions function fishing exceptions from beamed music.

Implement event-chord-reduce for reducing chords to single notes

Add unfold-repeats-fully function which will expand repeats in the data

Add regtest for copy/modify semantics of make-relative macro

Add regtest for music argument semantics of make-relative macro

Run scripts/auxiliar/update-with-convert-ly.sh

convert-ly rule for new make-relative semantics accepting music arguments

This only works when the "reference pitch" is the first or last of
the list.

Issue 3673: Make make-relative able to deal with music rather than just pitches

The old behavior of make-relative was too cumbersome to use in many
cases.

This variant allows, for example:

withOctave =
  (ly:music?)
  (make-relative
   (music) music
   #{ \context Bottom << $music \transpose c c' $music >> #}))

\relative
\new Staff \withOctave {
  \partial 4. c'8 e g |
  c2 e,4 g |
  c,8 c' b a <g d'> <f c'> <e b'> <d a'> |
  <c g'>1 | \bar "|."
}

Issue 3675: Make convert-ly -d only ever update on changed files

Previously, it updated unconditionally whenever a new stable version
came out, leading to merge conflicts.  When the final applied
conversion is to an unstable version and the following stable version
is not beyond the conversion target, the following stable version is
used.

Note that this rule does not make a factual difference for continuous
updates of a code base (the normal use case for
scripts/auxiliar/update-with-convert-ly.sh), but it makes a difference
for the conversion/import of code that may have fallen behind a lot
(like with the LSR import, or when converting archived files).

Grace notes: only shorten previous note if overlapping

Previously a grace note after a rest shortened the last note before the
rest.

This patch shortens the previous note to the start of the grace note
rather than by the length of the grace note, so notes before rests
aren't affected unless the grace notes are longer than the rest.

Fix spurious error playing initial grace notes (issue 1412)

This happens because the MIDI output starts at tick 0, regardless of
when the first event is. Initial grace notes start start at negative
ticks, so midi_walker::output_event thinks they're out of order. Fixed
by starting at the first event.

define-grobs.scm: use a property for TrillPitch offset; issue 3465

page-breaking: allow ragged pages to be compressed

 Issue 3676: Bar checks display the wrong location

This one is just embarrassing.  The lexer used last_input_ where it
should have been using here_input (), resulting in music identifiers
and some other stuff to be located one token early.

Release: update news.

Release: bump VERSION.

Issue 1553: Staff stretching problem in 2.13.50+

optimal-page-breaking.cc needs to protect unsigned subtraction.

Signed-off-by: David Kastrup <dak@gnu.org>

Merge remote-tracking branch 'origin/translation' into staging

Doc-fr: Updates NR rhythms and spacing

Issue 3672: NR: a few typos in connection with paper size

Issue 3658: variables cannot be used in \tempo command

parser: allow Scheme expressions for unsigned_number

parser: let unsigned_number check NUMBER_IDENTIFIER for correctness

Issue 3663: Crash with \repeat ... \alternative and \remove "Bar_engraver"

This approach is just poking around in the dark and removing Scheme
error messages.  In particular substituting the original glyph for
left-bar-line and right-bar-line (when missing) in calls to
span-bar::compound-bar-line seems fishy, and the original logic
for setting left-bar-broken if left-bar-line is not even present
is also not clear to me.

The results for the example in the bug report:
form = \new Staff \with {
  \remove "Bar_engraver"
} \repeat volta 2 {
    s1
} \alternative {
    s1 % first ending
    s1 % second ending
} % form

\score {
  <<
    \form
  >>
} % score
are also not identical with the 2.16 results: the volta brackets now
run into each other; before there was a gap.

It fixes the crash.  I have no idea what a proper fix would look like.

Issue 3666: Format error message for argument errors more nicely

Actually, using display-lily-music here would be nicer, but it does not
cater for anything but music automatically like music->make-music
does.

Issue 3668: Let NullVoice have an existence in MIDI

Issue 3457 omitted to introduce the NullVoice context into MIDI.  This
implementation is incomplete (see the TODO in performer-init.ly), but
at least it does not let the context structure go off the deep end in
MIDI.

GC-related fix of volta-repeat-iterator

This problem was introduced with issue 355.

Issue 3672: NR: a few typos in connection with paper size

Revert "optimal-page-breaking: signed/unsigned bug; issue 1553"

This reverts commit 7e771a83cafb00e0ed58400a93b728e283c4ad9c.

Issue 3656/2: disambiguate our own ::to_string from std::to_string

Issue 3656: Problems building Lilypond 2.17.95 with libc++ for use with llvm

std-vector.hh did not include config.hh but relied on it

optimal-page-breaking: signed/unsigned bug; issue 1553

align-interface: clarify handling of empty staves

pge-breaking: do not try to fill ragged-pages; issue 3441

page-breaking: keep the degree of stretching in Line_details; issue 3441

The prioritization of cache_line_details() needs this information
to recognize the best configurations.

\transpose: leave triple-sharps intact; issue 1009

Merge branch 'origin/translation' into staging

NR: \overrideTimeSignatureSettings works fine without instantiating context

This is another by-product of issue 3140.

Let simple_music possibly return a pitch in \chordmode

Make sure optional arguments accepted as pitches stay pitches when reparsing

Let a PITCH_IDENTIFIER optionally be followed by octave modifiers

This makes pitch identifiers more similar to note names.  There is no
point in keeping the distinction just for triggering syntax errors
on music that has no sensible other interpretation.

Make make_music_from_simple return music rather than a list in \chordmode

parser: move FRACTION into embedded_scm_bare_arg

It's a closed expression; not having to parse it with separate rules
reduces the amount of cruft in the rules.

Fold function_arglist_backup_common into function_arglist_backup

After the last refactoring, function_arglist_backup does not need a closed
variant, so there is no point in an extra non-terminal.

Merge branch 'issue3648' into staging

Contains enough related commits that its better to do as one merge
commit for the sake of bisection and/or reverting.

Run scripts/auxiliar/makelsr.py

Issue 3648/7: Give several examples of durations without explicit pitches

Issue 3648/6: Regtest for rhythmic sequences.

Issue 3648/5: Explain isolated durations in NR "Rhythms"