updated debugging output in BamIndex, seek vs. calculate distinction

Added more verbose debugging output to BamMultiReader::SetRegion

Reimplemented BamToolsIndex for bug fix and performance upgrade. *** NOTE *** This commit invalidats any previous BamToolsIndex files (.bti). Please re-run 'bamtools index -bti -in <yourBam>' to generate the new index files.

Removed debug output statement that slipped into last commit.

Reorganizing index/jumping calls. Now all BamReader cares about is sending a Jump() request to a BamIndex with a desired region and receiving a success/fail flag. BamIndex-derived classes will now handle all index-format-specific offset calculation, overlap checking, etc and make sure its associated BGZF stream has seek-ed as close to the desired region as that index scheme allows.

prefer bamtools index in BamMultiReader

Merge branch 'master' of git://github.com/pezmaster31/bamtools

Conflicts:
src/api/BamReader.cpp

Relicensed the source code used in bamtools_options. Most of it derived from Mosaik source, which was originally released under GPL.  Now under MIT License with author's permission. This puts the entire BamTools codebase securely under one unrestrictive license.

Documentation update

Added -region option to bamtools_merge

Previously missed a line in BamReader.cpp with the recent index overhaul.

Large-scale API indexing re-organization:

 * Moved FileExists() to BamAux.h so that all API classes have access to its functionality.
 * Created 2 'factory methods' in BamIndex.h to return a BamIndex subclass, depending on client\'s specified PreferredIndexType & on what files actually exist on disk.
 * Renamed BamDefaultIndex as BamStandardIndex.  Hopefully this name should be a clearer description going forward than BamDefaultIndex, since the standardized index may not always be the 'default' in every situation.

Modified Utilities::FileExists() so it doesnt rely on sys/stat.h.  While this header is de facto provided and supported on *most* systems, it really is not standard C/C++, so cant be trusted to be fully portable.

Cleaned up index file handling throughout toolkit.  Did this by adding a FileExists() methods to BamMultiReader for determining which index file to load.

Added IsIndexLoaded() public method to BamReader. Allows client to make sure index data is available before attempting any random access ops

Modified help description for -bti option

Added uncompressed output as default behavior for Filter-, Merge-, and RandomTools when sending results to stdout. User can override this behavior using the command line option: -forceCompression

Posted implementation of FilterTool.

Minor formatting & commenting update

Updated bamtools_utilities with #defines

Updating bamtools_options

Added bamtools_filter_engine.*

Removed -pg debug flag from Makefile CXXFLAGS, accidentally incorporated into a prior commit

Forgot to add jsoncpp/json.h in a previous commit

Fixed: Calls to GetEndPosition() rely on CIGAR data being parsed. Previously this was not set if BamAlignment was retrieved via GetNextAlignmentCore().  Moved CIGAR parsing back to LoadNextAlignment() to ensure this works properly.

Added JsonCPP code to repo. Will be used by FilterTool for script parsing

change printf's to fprint(stderr,

This pushes errors to the expected output, stderr, instead of mixing
them into the standard output stream.

Missed a Makefile in last commit - just adding header comments

Added simple header comments to all Makefiles, to help distinguish between them easier

Modified Makefile to ensure creation of bin/ and obj/ directories

Reorganized source tree & build system

Minor formatting cleanup in BamIndex.*

Modified the way BGZF sets up uncompressed output. Modified BamWriter to support uncompressed option.

Modified BamWriter::Open() to return bool on success/fail - was silent before, so clients had no way of handling errors

Added write-uncompressed flag to BGZF. Commit includes some other formatting cleanup as well.

Merge git://github.com/ekg/bamtools

Minor formatting cleanup: really just an update to be able to pull in Erik's JSON changes.

for json output in bamtools convert

Process qualities to provide a list of Q scores in the json output
instead of just a string of characters.

Bug fix in BamReader::Jump()

Added AddTag/EditTag/RemoveTag methods to BamAlignment. Refactored existing GetTag methods.

Reworded bamtools stats general help description

Mostly cosmetic fixes. A few tweaks to subtool options/settings naming or default handling as well.

Implemented basic alignment stats (count/%) for most of the alignment flags

Various cleanups.  Added -noheader to SAM conversion in ConvertTool

Forgot to update Makefile with last commit

Removed SamTool (bamtools sam ...) from toolkit.  This functionality is covered by ConvertTool.

Fixed variable length tag data retrieval in BamAlignment::GetTag(). To do this, removed templated GetTag(). Now have explicit overridden string, unsigned int, signed int, and float flavors of the method.

Fixed: remove unnecessary EOF write attempt for read-only files in  BGZF::Close()

Forgot to include updated bamtools 'main' with RandomTool commmit.

Added the <cctype> include to BamAux to explicitly support the toupper() fxn.  It had slipped past newer compilers so far

Fixed fopen-related typo in bamtools_fasta.*

Added basic implementation of RandomTool. This generates a random (well, pseudo... its based on rand()) subset of alignments from BAM file(s). User can specify REGION and/or number of alignments to generate. No duplicate checking implemented. TODO: Handle BAM files without existing index - tool currently depends heavily on being able to jump around randomly

Modified BamMultiReader::Open() to return bool. Still needs some tweaks to handle all error cases correctly.

Added cross-platform LFS for tell/seek. Removed fopen64/freopen64 - hopefully unecessary with -D_FILE_OFFSET_BITS=64 compiler flag

Fixed Rewind().  Now using LoadNextAlignment() instead of GetNextAlignmentCore(). GNAC() does region checks which, in this case of clearing prior region data, are unnecessary at best and most likely erroneous.

Modified Rewind() to check actual data present when resetting region markers, instead of relying on potentially incorrect RefData::RefHasAlignments

Modified handling of BamAlignmentSupportData.  This fix should allow BamWriter::SaveAlignment to still handle BamAlignments retrieved using the 'standard' GetNextAlignment[Core] correctly, while adding support for BamAlignments **generated directly** in client code. Switched BASD::IsParsed to HasCoreOnly, which is false by default and only set by BamReader::GetMextAlignmentCore() - therefore the client should never to touch the BASD struct.

Purely cosmetic udpate. Cleaned up some commented blocks, added file header information (author, description, etc)

Updated Makefile for fasta & pileup

Added support for reading FASTA sequences, as well as generating FASTA index (.fai) files. TODO: need to drop FASTA functionality into pileup conversion, as well as create command line feature to generate FASTA indices

Begun basic pileup conversion

Added simple PrintBed() method; plan to add PrintWiggle() next. Added use of function pointer to clean up code for conversion method selection.

Fixed typos in last commit.

Reorganized convert tool code. Restored stdin by default. Implemented FASTA/FASTQ convert methods. Still need to include support for new (.bti) index file format

Merge http://github.com/ekg/bamtools

Fixed: proper handling of BamAlignment::AlignedBases when QueryBases is empty.  Thanks to Aaron Quinlan for catching this.

Updated index and count sub-tools to recognize new (.bti) index file format

Separated indexing ops to new class. Implemented a fixed-partition-size index format (.bti) as an alternative to the BAM default (.bai)

Enforced proper handling of large files (>4Gb) on 32-bit systems.

Merge BamMultiReader and SetRegion into bamtools convert

This commit merges the BamMultiReader and SetRegion method into the
conversion tool.  This greatly simplifies the process of dumping
alignments from regions in a set of bam files.

Breaking in this commit: stdin input by default.  To be fixed in a
subsequent commit.

Remove heavy-handed failure mode in BamMultiReader::SetRegion

In practice a failure of BamReader::SetRegion means that we can't get
alignments from the specified region.  It is simpler to ignore failures
of SetRegion as they are gracefully handled by UpdateAlignments, which
simply doesn't add alignments from the readers which don't have
alignments in the target region.

This resolves a bug in which bamtools count (and any other utility using
BamMultiReader::SetRegion) would crash when provided a target region
with no alignments.

Removed accidental commit of .o files

Modified BamReader(and BGZF)::Open() to return bool. Tried to eliminate most exit() calls. These changes should allow for more graceful error handling. Some 'code cleanup' in BW, but no logic changes.

Updated temp file path stubs to reflect input BAM file stub, so that simultaneous sort runs don't interfere with each other.

Rough implementation of sort tool.  Generate lots of smaller sorted (STL sort with 'custom' compare fxn) temp files in one pass, using a specified buffer size.  Uses BamMultiReader paired with BamWriter to re-merge all temp files back into a single output BAM, also in one pass. Some work remains on optimizing parameters (e.g. default buffer size), scalability (single pass generates lots of temp files), & parallelization to make tool more sophisticated & robust.

Gracefully handle empty files with the BamMultiReader

This commit handles the case where an empty BAM file is passed in the
list of filenames given to BamMultiReader::Open(...).  Now a warning is
emitted if the file contains no alignments (or cannot be opened) and the
file is ignored.

integration of SetRegion into BamMultiReader

Also includes update to bamtools_count which uses the BamMultiReader by
default and no longer requires the specification of an index file on the
command line, as this would be very cumbersome to parse for multiple
input files.  Added method to check for file existence using stat to
bamtools_utilities.cpp

moved bamtools_count to use BamRegion

This is more consistent than using a bespoke struct (Region) with the
same fields.

Modified Jump() scheme to take better account of specified region and drill down closer to region beginning. Introduced RegionState to BRP in order to allow LoadNextAlignment to quit once an alignment is found beyond region.

Modified BamReaderPrivate::GetOffset() & BinsFromRegion() to make use of right bound cutoffs

Added concept of a fully specified region of interest to the BamReader API. Added BamRegion struct to BamAux.h. Added SetRegion() methods to BamReader. Reorganized or modified these existing BamReaderPrivate functions: BamReaderPrivate(), Close(), GetNextAlignment/Core(), IsOverlap(), Jump(), & Rewind(). Cleans up a lot of region-checking client code.

change merger to use GetNextAlignmentCore

This provides a modest performance boost to the merger.  A small change
to the BamAlignment copy constructor was required (to copy
BamAlignmentSupportData).

Merge branch 'master' of git://github.com/pezmaster31/bamtools

Moved BamAlignmentSupportData into BamAlignment data type. This continues the read/write speedup mentioned in prior commits, but removes the need for clients to manage this additional auxilary data object. The 'BamAlignment lite' is accessed by calling BamReader::GetNextAlignmentCore() and written by BamWriter::SaveAlignment() which checks to see how much parsing & packing is needed before writing.

further cleanup of duplicate @RG tag warning reporting

added warning for duplicate @RG tag in header

fixed potential bug with previous commit

The previous commit made assumptions about the ordering of subtags
within @RG header lines.  This commit only assumes that the read group
ID is specified by "ID", thus following spec.

fixed bug with @RG handling

Prior to this commit files merged with bamtools merge would have one @RG
tag for each file.  This is undesirable behavior.  This commit fixes the
issue by tracking unique @RG tags in our unified header
(BamMultiReader::GetHeaderText) and prevents the MultiReader from
observing more than one @RG tag in the header.  Future merges will have
the correct header.

Merge branch 'master' of git://github.com/pezmaster31/bamtools

Removed accidental add of object files

Added GetNextAlignmentCore() to BamReader API as well as a corresponding SaveAlignment() in BamWriter. Both utilitze the BamAlignmentSupportData structure which contains the raw character data and lengths, and which has been bumped to BamAux.h.  Exposing these methods should allow for quicker read/writes for tools that are only concerned with alignment/positional data, not the actual sequences.

BamMultiReader data structure rewrite

Rewrite to improve performance of the MultiReader on large sets of
files.  Move tracking of readers, alignments, and positions from several
decoupled vectors into a single multimap, allowing rapid acquisition of
the lowest 'current' alignment among the set of open readers.  Expect
some performance boost when running the MultReader on large numbers of
files, as prior to this rewrite each alignment required roughly 3 x N
ops (where N is the number of files) checking all these vectors.

json output

Fixed output of tag types c & C. Removed atoi() call. Simply casting the single byte to int works correctly.

This fixes the out-of-range exception. Though there's still a discrepancy with some (but, maddeningly, not all) tags following a string tag. Will look into to more detail, but at least it shouldn't crash in the meantime

pass ostream variable to print functions in convert

Began rolling over bamtools_sam into bamtools_convert.  Kinda hacky setup for now, but ok to get conversion routines tested

Fixed typo in settings config.

Added ConvertTool.h/cpp. Not yet implemented.

Updated README