rewrite sub pre_tokenize for improved efficiency

This is a time-critical routine. It runs over 2x faster now compared to the
previous release.

optimize pretoken search order

Benchmarking shows that this simple change speeds up perltidy about 0.5%

read config file with slurp_stream instead of streamhandle

All calls to streamhandle are now of type 'w' only. This eliminates some
confusion over which code is responsible for setting binary mode on
read, and is more efficient.

minor optimization

remove unused variable

simplify coding for GCString length function

avoid calling GCString length function when possible

This speeds up processing large utf8 files about 4%

do not call Encode::Guess for pure ascii files

This speeds up perltidy by about 2% for most perl scripts.

switch from regex to hash lookup for anonymous subs

improve efficiency of a data transfer optimization

simplify final IO step

simplify some IO operations

make several improvements in efficiency

simplify coding of sub compare_string_buffers

add test case for file with just one character, '0'

improve file input efficiency

this decreases the time to read a large file by a factor of about 100

improve tokenizer efficiency

optimize tokenizer inner loop

remove most remaining unused ci coding

minor fix for CORE::

it is better to use 'type' instead of 'tok' even though they are the same here

remove several unused variables

bump version to 20230701.02

remove unused old code for setting continuation indentation

convert some input strings to string refs for efficiency

convert some output strings to string refs for efficiency

add sub 'write_tidy_output' to consolidate output logic

remove unused modules LineBuffer, LineSink, LineSource

minor optimization of tokenizer main loop

fix c236

remove unused code

rewrite sub process_filter_layer

add ability to write to SCALAR and ARRAY refs

this is needed for a future update

simplify some i/o logic; eliminate one call to LineSink

update docs

add another error check for -line-range-tidy

add parameter --line-range-tidy=n1:n2 (see git #122)

simplify code for line-endings

avoid PerlCritic complaint

eliminate final use of Perl::Tidy::LineSource

eliminate a call to Perl::Tidy::LineSource for efficiency

add error checks

ignore code-skipping sections when guessing indentation

This could happen if a script started with a code-skipping section

fix b1458

eliminate use of Perl::Tidy::LineBuffer

this improves efficiency and will simplify error checking

fix c231

fix issue b1457

add syntax check at '){', issue c230

update docs

fix typo

add -s option to convergence test utility

update to v20230701

bump version to .04

fix b1456

change param name -ipcsl to -ipc

This simplifies documentation

add option -ipscl

fix spelling, add some comments, remove a bad html link

Activate perlcritic policy Variables::ProhibitPackageVars

change default from -xbtl=kt to -xbtl=k

add note on multiple encodings in a file

fix issue b1455

fix debug message

avoid poor alignment of lines with different ci (issue c225)

fix doc

Do not align opening braces across ci level changes (c224)

update docs for -xbt and -xbtl

remove any space between isolated '$' and '{' (c221)

avoid testing files known to produce errors

fix semicolon count; minor code cleanups

bump vertion to 20230309.03

add parameters -xbt, -xbtl; see issue git #121

simplify and improve efficiency of sub set_ci

increase max_mccabe

fix undef when -dbs applied to script without subs

simplify coding to use available comma counts

improve formatting of sort/map/grep blocks

minor optimization

add a clarifying comment

optimization

optimizations

fix spelling

fix ci of a comment in a ternary expression

update docs

Optimizations, mostly avoiding needless calls

reformat

update docs

optimization of sub tokenizer_wrapup_no_ci

update docs

update docs

add doc on ci update

optimization of some new code

activate sub set_ci

add option to skip ci calc in tokenizer

This will be the future default

recent updates to sub set_ci

all open issues with sub set_ci have been resolved

minor fixes for sub set_ci

minor fixes for sub set_ci

minor fixes to sub set_ci

improve indentation of comments within deeply nested ternaries

streamline sub set_ci

improve and optimize sub set_ci

Insure correct marking of a brace following a format stmt

This does not change formatting but insures that braces
are correctly marked. This fixes issue c202/t032.