optimization of sub tokenizer_wrapup_no_ci

update docs

update docs

add doc on ci update

optimization of some new code

activate sub set_ci

add option to skip ci calc in tokenizer

This will be the future default

recent updates to sub set_ci

all open issues with sub set_ci have been resolved

minor fixes for sub set_ci

minor fixes for sub set_ci

minor fixes to sub set_ci

improve indentation of comments within deeply nested ternaries

streamline sub set_ci

improve and optimize sub set_ci

Insure correct marking of a brace following a format stmt

This does not change formatting but insures that braces
are correctly marked. This fixes issue c202/t032.

add sub set_ci

This will be the new method for computing ci after testing.

update for issue git #118

some tokenizer clean-ups, part 15

some tokenizer clean-ups, part 14

some tokenizer clean-ups, part 13

update markup language filter

remove unused code

improve html detection

Add code to guard against reformatting a file written in a markup language

fix c208, misparse of '$1x$2'

This was found in some obfuscated perl code.

some tokenizer clean-ups, part 12

some tokenizer clean-ups, part 11

some tokenizer clean-ups, part 10

some tokenizer clean-ups, part 9

some tokenizer clean-ups, part 8

some tokenizer clean-ups, part 7

some tokenizer clean-ups, part 6

some tokenizer clean-ups, part 5

some tokenizer clean-ups, part 4

bump version to .02

update for issue c206

param --valign-if-unless, -viu, added for git #116

some tokenizer clean-ups, part 3

some tokenizer clean-ups, part 2

simplify diagnostics object

Previously, the diagnostics object made a call back to the tokenizer to get
the input line number. Now the line number arrives as an optional arg.

some tokenizer clean-ups, part 1

remove unused sub; switch from $tokenizer_self to $self

remove unused DIAGNOSTICS parameter, fix comments

Improve efficiency of counting and removing leading spaces

replace regex with index function for efficiency

The index functions are about 3x faster in this critical section.

eliminate sub length_tag

This eliminates a large amount of sub call overhead.

output file verbatim for certain lexical sub names

Lexical (my) subs which use the builtin names of certain quote-like
operators may cause problems in this version of perltidy.  For example
'my sub s {...}' may cause parsing errors. If something like this is
encountered, then formatting will not be attempted; the file will be
output verbatim.

eliminate sub store_space

This is now handled by sub store_token to improve efficiency by
reducing per-token sub calls

make formatting of 'class' more like 'package'

This update makes any 'class' keyword be formatted as if it were
'package' as far as spaces and blank lines go (i.e., -blpb=n flag applies).
This also improves coding efficiency.

bump version to 20230309.01

This has fixes for git #110 (missing docs) and git #115

update comments

some minor cleanups and comment updates

fix git #115

(Destination incorrectly set to stdout when source is set). The fix proposed
in git #115 is correct, but I decided to pass $source_stream as a new arg
so that the input hash can remain unchanged for possible diagnostic use.

fix spelling

remove outdated docs

The parameter check-syntax is accepted but now ignored due to security concerns

add tests b1452, b1453

add missing docs for -cpb and -bfvt=n, issue git #110

update version number

This will be the next release to CPAN after testing is complete.

remove unused code, update comments

improve recombine operation, c200

This update consolidates the three possible optimization methods in the
recombine operation into a single, simpler method which can be
shown to run in linear time.

update closing side comments

update docs

fix c198

update some comments and docs

fix incorrect log message, issue c195

remove unused vars

fix c169

fix b1451

add recombine optimization when ties are detected

restructure recombine operation

This avoids having a nested loop in a single sub

simplify coding for variable _radjusted_levels_

Coding of the array _radjusted_levels_ can be simplified since it
is now always used.  Previously it was not always available.

remove unused vars

I found these with a utility I wrote to scan for unused vars.  Most are
remnants from debugging, or variables that might have been useful but
were not actually used.  I left a few unused hashes in the tokenizer which
might be useful in the future.

simplify recombine optimization

be sure output batches do not end in a blank token

They will not be output but might cause incorrect line length calcs

simplify calculation of some flags in sub recombine

cleanup sub check_old_breakpoints

improve recombine reverse normal mode

fix issue c190

fix b1450

add some tests for recombine operations

add two optimization modes to recombine operation

This looks for two common patterns of monotonic variation in joint strengths
that can be handled very efficiently.

add case b1133 to convergence test files

This should have been added some time ago when the issue got resolved

simplify code for setting comma breakpoints, part 4

This completes restructuring of the complex code which
forms tables. The maximum McCabe number has been reduced from
about 140 to 54 by splitting it into several subs, without any
efficiency loss or change in function. This will simplify maintenance
and debugging.

simplify code for setting comma breakpoints, part 3

fix c186, c187

Allow more iterations in recombine operation when the number of lines
in the script increases significantly during formatting.  In case c187,
the entire input script was a single very long line.

simplify code for setting comma breakpoints, part 2

simplify code for setting comma breakpoints, part 1

fix comment text

update line ending code, part 2

remove unused code

update output-line-ending code, part 1

Moved from Formatter.pm to Tidy.pm, a more logical place

add iteration convergence statistics

Add INITIALIZER comments for globals

Skipping the re-initialization of a global control variable can cause
bugs which are extremely difficult to track down.  So it helps to have comments
indicating where this occurs.

remove obsolete comment about encoding

remove duplicate code

initialize global var $controlled_comma_style

initialize global var %matching_token in BEGIN block

update man page

avoid possibility of starting a random run twice

The GO.sh script is immediately moved to backup when a run starts.
That way it cannot be accidentally started again. Previously it was
moved to backup when a run ended.

reduce max_mccabe

The Formatter routines with highest McCabe values are currently these.
It is difficult to reduce them without significantly slowing processing.
set_bond_strengthws 121
grind_batch_of_CODE 119
set_comma_breakpoints_final 119
set_whitespace_flags 117
process_line_inner_loop 114
break_lines_inner_loop 113
set_vertical_tightness_flags 104
weld_nested_containers 101

fix b1449

reorganize sub check_options, part 2