some tokenizer clean-ups, part 12

some tokenizer clean-ups, part 11

some tokenizer clean-ups, part 10

some tokenizer clean-ups, part 9

some tokenizer clean-ups, part 8

some tokenizer clean-ups, part 7

some tokenizer clean-ups, part 6

some tokenizer clean-ups, part 5

some tokenizer clean-ups, part 4

bump version to .02

update for issue c206

param --valign-if-unless, -viu, added for git #116

some tokenizer clean-ups, part 3

some tokenizer clean-ups, part 2

simplify diagnostics object

Previously, the diagnostics object made a call back to the tokenizer to get
the input line number. Now the line number arrives as an optional arg.

some tokenizer clean-ups, part 1

remove unused sub; switch from $tokenizer_self to $self

remove unused DIAGNOSTICS parameter, fix comments

Improve efficiency of counting and removing leading spaces

replace regex with index function for efficiency

The index functions are about 3x faster in this critical section.

eliminate sub length_tag

This eliminates a large amount of sub call overhead.

output file verbatim for certain lexical sub names

Lexical (my) subs which use the builtin names of certain quote-like
operators may cause problems in this version of perltidy.  For example
'my sub s {...}' may cause parsing errors. If something like this is
encountered, then formatting will not be attempted; the file will be
output verbatim.

eliminate sub store_space

This is now handled by sub store_token to improve efficiency by
reducing per-token sub calls

make formatting of 'class' more like 'package'

This update makes any 'class' keyword be formatted as if it were
'package' as far as spaces and blank lines go (i.e., -blpb=n flag applies).
This also improves coding efficiency.

bump version to 20230309.01

This has fixes for git #110 (missing docs) and git #115

update comments

some minor cleanups and comment updates

fix git #115

(Destination incorrectly set to stdout when source is set). The fix proposed
in git #115 is correct, but I decided to pass $source_stream as a new arg
so that the input hash can remain unchanged for possible diagnostic use.

fix spelling

remove outdated docs

The parameter check-syntax is accepted but now ignored due to security concerns

add tests b1452, b1453

add missing docs for -cpb and -bfvt=n, issue git #110

update version number

This will be the next release to CPAN after testing is complete.

remove unused code, update comments

improve recombine operation, c200

This update consolidates the three possible optimization methods in the
recombine operation into a single, simpler method which can be
shown to run in linear time.

update closing side comments

update docs

fix c198

update some comments and docs

fix incorrect log message, issue c195

remove unused vars

fix c169

fix b1451

add recombine optimization when ties are detected

restructure recombine operation

This avoids having a nested loop in a single sub

simplify coding for variable _radjusted_levels_

Coding of the array _radjusted_levels_ can be simplified since it
is now always used.  Previously it was not always available.

remove unused vars

I found these with a utility I wrote to scan for unused vars.  Most are
remnants from debugging, or variables that might have been useful but
were not actually used.  I left a few unused hashes in the tokenizer which
might be useful in the future.

simplify recombine optimization

be sure output batches do not end in a blank token

They will not be output but might cause incorrect line length calcs

simplify calculation of some flags in sub recombine

cleanup sub check_old_breakpoints

improve recombine reverse normal mode

fix issue c190

fix b1450

add some tests for recombine operations

add two optimization modes to recombine operation

This looks for two common patterns of monotonic variation in joint strengths
that can be handled very efficiently.

add case b1133 to convergence test files

This should have been added some time ago when the issue got resolved

simplify code for setting comma breakpoints, part 4

This completes restructuring of the complex code which
forms tables. The maximum McCabe number has been reduced from
about 140 to 54 by splitting it into several subs, without any
efficiency loss or change in function. This will simplify maintenance
and debugging.

simplify code for setting comma breakpoints, part 3

fix c186, c187

Allow more iterations in recombine operation when the number of lines
in the script increases significantly during formatting.  In case c187,
the entire input script was a single very long line.

simplify code for setting comma breakpoints, part 2

simplify code for setting comma breakpoints, part 1

fix comment text

update line ending code, part 2

remove unused code

update output-line-ending code, part 1

Moved from Formatter.pm to Tidy.pm, a more logical place

add iteration convergence statistics

Add INITIALIZER comments for globals

Skipping the re-initialization of a global control variable can cause
bugs which are extremely difficult to track down.  So it helps to have comments
indicating where this occurs.

remove obsolete comment about encoding

remove duplicate code

initialize global var $controlled_comma_style

initialize global var %matching_token in BEGIN block

update man page

avoid possibility of starting a random run twice

The GO.sh script is immediately moved to backup when a run starts.
That way it cannot be accidentally started again. Previously it was
moved to backup when a run ended.

reduce max_mccabe

The Formatter routines with highest McCabe values are currently these.
It is difficult to reduce them without significantly slowing processing.
set_bond_strengthws 121
grind_batch_of_CODE 119
set_comma_breakpoints_final 119
set_whitespace_flags 117
process_line_inner_loop 114
break_lines_inner_loop 113
set_vertical_tightness_flags 104
weld_nested_containers 101

fix b1449

reorganize sub check_options, part 2

reorgainze sub check_options, part 1

fix b1448

Bump to v 20221112.05; update one-line block docs

fix b1446

update docs for --use-feature=class

This also collects info on extended syntax in a single place

fix b1447; improve sub set_whitespace_flags

This should have been two commits. The first, fix b1447, is just 1 line
and will influence almost no code. The second improves the efficiency
of sub set_whitespace flags, mostly by processing comments faster. It
also fixes a minor problem with marking a sub call for special
formatting when a side comment appears between the sub name and
opening paren (issue c182).

Added parameter --one-line-block-exclusion-list=s

improved efficiency of token loop

set bugtracker to be github

bump version to .04

issue rt#145999, keep old mtime with -b if no diff

See the note in CHANGES.md

simplify sub pattern testing

remove unused var

give -kba priority over -otr (b1445)

minor code cleanup

eliminate unused var _last_last_line_leading_level_

switch from a regex to hash test

On my standard test case, this reduced the run time of
an if test from about 40 ms to 4 ms.

improve check for incorrect method call syntax, rt #145706

issue c179, rt #145706, multi-line class statement

This update improves the ability to automatically identify
an older style class statement if it spans multiple lines.
This avoids a needless warning message and allows the default
to be --use-feature=class.

update for rt #145706

fix b1444

fix non-fatal internal fault check c177

add check to avoid creating an empty batch

minor simplification

add expected output check for run_convergence_tests.pl

This is a large database of weird test cases which had convergence
problems at one time in random testing. This is run after all
software updates, to be sure they all still converge.
This update adds a check for any changes in formatting.