Merge branch 'master' of http://github.com/pezmaster31/bamtools

Implemented 'compound rule' logic in the FilterTool's script support.

 * Previously the script was limited to doing 'OR' comparisons on various
property sets (what I call here filters). Now, by providing each filter
with an id, you can use these id's to define a compound rule.

 * Documentation is severely lacking on this end at the moment, but I hope
to have a good explanation up soon.  I think this interface could provide
a powerful flexibility in querying BAM files for very specific cases for
further analyses.

Cleaned up SplitTool internal implementation. Use of template methods should make maintenance a bit easier.

Merge branch 'master' of http://github.com/pezmaster31/bamtools

Removed a backup text file that snuck into an earlier commit

Added implementation of new SplitTool.  This tool splits a single BAM file into multiple BAMs, based on a user-specified property.  For now, properties supported are mapped/unmapped, paired/unpaired, split by reference, and split based on a given tag.

Added GetTagType() to BamAlignment

Updated to match new BamAlignment.h includes

Missed api/Makefile in last commit.

Moved BamAlignment data structure out to its own .h/.cpp.  BamAux.h was getting over-crowded. *NOTE - This means that if you were using the BamAlignment data structure in code without a reader/writer, you need to include BamAlignment.h instead of BamAux.h.  If your code was using reader/writer, no changes should be necessary on your end.

Merge branch 'master' of http://github.com/pezmaster31/bamtools

Fixed: bug related to accessing data (or regions with no alignments) near the ends of references, when using .bti index files. Required modifying the BamToolsIndex build step.  *NOTE: This update invalidates any existing .bti files, please re-generate any that you have currently.* Versioning system in BTI will not allow users to use the older, buggy version... so no chance of accidental usage.

Merge branch 'master' of http://github.com/pezmaster31/bamtools

Conflicts:
src/api/BamIndex.cpp

On second thought, moved the (non-indexing) constants back to BamAux.h, since they are not technically specific to BamWriter only and clients may be using them in their code

Did some housekeeping in BamAux.h - moved some constants to the files where they are actually used.

Missed an update to BamToolsIndex code in a previous commit

Added new PileupEngine to the toolkit. This is used by CoverageTool as well as ConvertTool for pileup format. Pileup conversion output before was buggy and overall incorrect.  Now should match SAMtools output to the best of my knowledge

Added option for users to specifiy half-open (1-based) return value for BamAlignment::GetEndPosition().  By default, returns 0-based coordinate after recent modification.

Merge branch 'master' of http://github.com/pezmaster31/bamtools

Fixed off-by-one error in BamAlignment::GetEndPosition()

updated debugging output in BamIndex, seek vs. calculate distinction

Added more verbose debugging output to BamMultiReader::SetRegion

Reimplemented BamToolsIndex for bug fix and performance upgrade. *** NOTE *** This commit invalidats any previous BamToolsIndex files (.bti). Please re-run 'bamtools index -bti -in <yourBam>' to generate the new index files.

Removed debug output statement that slipped into last commit.

Reorganizing index/jumping calls. Now all BamReader cares about is sending a Jump() request to a BamIndex with a desired region and receiving a success/fail flag. BamIndex-derived classes will now handle all index-format-specific offset calculation, overlap checking, etc and make sure its associated BGZF stream has seek-ed as close to the desired region as that index scheme allows.

prefer bamtools index in BamMultiReader

Merge branch 'master' of git://github.com/pezmaster31/bamtools

Conflicts:
src/api/BamReader.cpp

Relicensed the source code used in bamtools_options. Most of it derived from Mosaik source, which was originally released under GPL.  Now under MIT License with author's permission. This puts the entire BamTools codebase securely under one unrestrictive license.

Documentation update

Added -region option to bamtools_merge

Previously missed a line in BamReader.cpp with the recent index overhaul.

Large-scale API indexing re-organization:

 * Moved FileExists() to BamAux.h so that all API classes have access to its functionality.
 * Created 2 'factory methods' in BamIndex.h to return a BamIndex subclass, depending on client\'s specified PreferredIndexType & on what files actually exist on disk.
 * Renamed BamDefaultIndex as BamStandardIndex.  Hopefully this name should be a clearer description going forward than BamDefaultIndex, since the standardized index may not always be the 'default' in every situation.

Modified Utilities::FileExists() so it doesnt rely on sys/stat.h.  While this header is de facto provided and supported on *most* systems, it really is not standard C/C++, so cant be trusted to be fully portable.

Cleaned up index file handling throughout toolkit.  Did this by adding a FileExists() methods to BamMultiReader for determining which index file to load.

Added IsIndexLoaded() public method to BamReader. Allows client to make sure index data is available before attempting any random access ops

Modified help description for -bti option

Added uncompressed output as default behavior for Filter-, Merge-, and RandomTools when sending results to stdout. User can override this behavior using the command line option: -forceCompression

Posted implementation of FilterTool.

Minor formatting & commenting update

Updated bamtools_utilities with #defines

Updating bamtools_options

Added bamtools_filter_engine.*

Removed -pg debug flag from Makefile CXXFLAGS, accidentally incorporated into a prior commit

Forgot to add jsoncpp/json.h in a previous commit

Fixed: Calls to GetEndPosition() rely on CIGAR data being parsed. Previously this was not set if BamAlignment was retrieved via GetNextAlignmentCore().  Moved CIGAR parsing back to LoadNextAlignment() to ensure this works properly.

Added JsonCPP code to repo. Will be used by FilterTool for script parsing

change printf's to fprint(stderr,

This pushes errors to the expected output, stderr, instead of mixing
them into the standard output stream.

Missed a Makefile in last commit - just adding header comments

Added simple header comments to all Makefiles, to help distinguish between them easier

Modified Makefile to ensure creation of bin/ and obj/ directories

Reorganized source tree & build system

Minor formatting cleanup in BamIndex.*

Modified the way BGZF sets up uncompressed output. Modified BamWriter to support uncompressed option.

Modified BamWriter::Open() to return bool on success/fail - was silent before, so clients had no way of handling errors

Added write-uncompressed flag to BGZF. Commit includes some other formatting cleanup as well.

Merge git://github.com/ekg/bamtools

Minor formatting cleanup: really just an update to be able to pull in Erik's JSON changes.

for json output in bamtools convert

Process qualities to provide a list of Q scores in the json output
instead of just a string of characters.

Bug fix in BamReader::Jump()

Added AddTag/EditTag/RemoveTag methods to BamAlignment. Refactored existing GetTag methods.

Reworded bamtools stats general help description

Mostly cosmetic fixes. A few tweaks to subtool options/settings naming or default handling as well.

Implemented basic alignment stats (count/%) for most of the alignment flags

Various cleanups.  Added -noheader to SAM conversion in ConvertTool

Forgot to update Makefile with last commit

Removed SamTool (bamtools sam ...) from toolkit.  This functionality is covered by ConvertTool.

Fixed variable length tag data retrieval in BamAlignment::GetTag(). To do this, removed templated GetTag(). Now have explicit overridden string, unsigned int, signed int, and float flavors of the method.

Fixed: remove unnecessary EOF write attempt for read-only files in  BGZF::Close()

Forgot to include updated bamtools 'main' with RandomTool commmit.

Added the <cctype> include to BamAux to explicitly support the toupper() fxn.  It had slipped past newer compilers so far

Fixed fopen-related typo in bamtools_fasta.*

Added basic implementation of RandomTool. This generates a random (well, pseudo... its based on rand()) subset of alignments from BAM file(s). User can specify REGION and/or number of alignments to generate. No duplicate checking implemented. TODO: Handle BAM files without existing index - tool currently depends heavily on being able to jump around randomly

Modified BamMultiReader::Open() to return bool. Still needs some tweaks to handle all error cases correctly.

Added cross-platform LFS for tell/seek. Removed fopen64/freopen64 - hopefully unecessary with -D_FILE_OFFSET_BITS=64 compiler flag

Fixed Rewind().  Now using LoadNextAlignment() instead of GetNextAlignmentCore(). GNAC() does region checks which, in this case of clearing prior region data, are unnecessary at best and most likely erroneous.

Modified Rewind() to check actual data present when resetting region markers, instead of relying on potentially incorrect RefData::RefHasAlignments

Modified handling of BamAlignmentSupportData.  This fix should allow BamWriter::SaveAlignment to still handle BamAlignments retrieved using the 'standard' GetNextAlignment[Core] correctly, while adding support for BamAlignments **generated directly** in client code. Switched BASD::IsParsed to HasCoreOnly, which is false by default and only set by BamReader::GetMextAlignmentCore() - therefore the client should never to touch the BASD struct.

Purely cosmetic udpate. Cleaned up some commented blocks, added file header information (author, description, etc)

Updated Makefile for fasta & pileup

Added support for reading FASTA sequences, as well as generating FASTA index (.fai) files. TODO: need to drop FASTA functionality into pileup conversion, as well as create command line feature to generate FASTA indices

Begun basic pileup conversion

Added simple PrintBed() method; plan to add PrintWiggle() next. Added use of function pointer to clean up code for conversion method selection.

Fixed typos in last commit.

Reorganized convert tool code. Restored stdin by default. Implemented FASTA/FASTQ convert methods. Still need to include support for new (.bti) index file format

Merge http://github.com/ekg/bamtools

Fixed: proper handling of BamAlignment::AlignedBases when QueryBases is empty.  Thanks to Aaron Quinlan for catching this.

Updated index and count sub-tools to recognize new (.bti) index file format

Separated indexing ops to new class. Implemented a fixed-partition-size index format (.bti) as an alternative to the BAM default (.bai)

Enforced proper handling of large files (>4Gb) on 32-bit systems.

Merge BamMultiReader and SetRegion into bamtools convert

This commit merges the BamMultiReader and SetRegion method into the
conversion tool.  This greatly simplifies the process of dumping
alignments from regions in a set of bam files.

Breaking in this commit: stdin input by default.  To be fixed in a
subsequent commit.

Remove heavy-handed failure mode in BamMultiReader::SetRegion

In practice a failure of BamReader::SetRegion means that we can't get
alignments from the specified region.  It is simpler to ignore failures
of SetRegion as they are gracefully handled by UpdateAlignments, which
simply doesn't add alignments from the readers which don't have
alignments in the target region.

This resolves a bug in which bamtools count (and any other utility using
BamMultiReader::SetRegion) would crash when provided a target region
with no alignments.

Removed accidental commit of .o files

Modified BamReader(and BGZF)::Open() to return bool. Tried to eliminate most exit() calls. These changes should allow for more graceful error handling. Some 'code cleanup' in BW, but no logic changes.

Updated temp file path stubs to reflect input BAM file stub, so that simultaneous sort runs don't interfere with each other.

Rough implementation of sort tool.  Generate lots of smaller sorted (STL sort with 'custom' compare fxn) temp files in one pass, using a specified buffer size.  Uses BamMultiReader paired with BamWriter to re-merge all temp files back into a single output BAM, also in one pass. Some work remains on optimizing parameters (e.g. default buffer size), scalability (single pass generates lots of temp files), & parallelization to make tool more sophisticated & robust.

Gracefully handle empty files with the BamMultiReader

This commit handles the case where an empty BAM file is passed in the
list of filenames given to BamMultiReader::Open(...).  Now a warning is
emitted if the file contains no alignments (or cannot be opened) and the
file is ignored.

integration of SetRegion into BamMultiReader

Also includes update to bamtools_count which uses the BamMultiReader by
default and no longer requires the specification of an index file on the
command line, as this would be very cumbersome to parse for multiple
input files.  Added method to check for file existence using stat to
bamtools_utilities.cpp

moved bamtools_count to use BamRegion

This is more consistent than using a bespoke struct (Region) with the
same fields.

Modified Jump() scheme to take better account of specified region and drill down closer to region beginning. Introduced RegionState to BRP in order to allow LoadNextAlignment to quit once an alignment is found beyond region.

Modified BamReaderPrivate::GetOffset() & BinsFromRegion() to make use of right bound cutoffs