NEWS

   1 Beta release 0.1.11 (19 November, 2010)
   2 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   3
   4 This is a bug fix release:
   5
   6  * Fixed a bug in random retrieval (since 0.1.8). It occurs when reads
   7    are retrieved from a small region containing no reads.
   8
   9  * Fixed a bug in pileup (since 0.1.9). The bug causes an assertion
  10    failure when the first CIGAR operation is a deletion.
  11
  12  * Improved fault tolerence in remote access.
  13
  14 In addition, since 0.1.10, the `pileup' command has been deprecated by
  15 `mpileup' which is more powerful and more accurate. The `pileup' command
  16 will not be removed in the next few releases, but new features will not
  17 be added.
  18
  19 (0.1.11: 19 November 2010, r842)
  20
  21
  22
  23 Beta Release 0.1.10 (16 November, 2010)
  24 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  25
  26 This release is featured as the first major improvement to the indel
  27 caller. The method is similar to the old one implemented in the pileup
  28 command, but the details are handled more carefully both in theory and
  29 in practice. As a result, the new indel caller usually gives more
  30 accurate indel calls, though at the cost of sensitivity. The caller is
  31 implemented in the mpileup command and is invoked by default. It works
  32 with multiple samples.
  33
  34 Other notable changes:
  35
  36  * With the -r option, the calmd command writes the difference between
  37    the original base quality and the BAQ capped base quality at the BQ
  38    tag but does not modify the base quality. Please use -Ar to overwrite
  39    the original base quality (the 0.1.9 behavior).
  40
  41  * Allow to set a maximum per-sample read depth to reduce memory. In
  42    0.1.9, most of memory is wasted for the ultra high read depth in some
  43    regions (e.g. the chr1 centromere).
  44
  45  * Optionally write per-sample read depth and per-sample strand bias
  46    P-value.
  47
  48  * Compute equal-tail (Bayesian) credible interval of site allele
  49    frequency at the CI95 VCF annotation.
  50
  51  * Merged the vcfutils.pl varFilter and filter4vcf for better SNP/indel
  52    filtering.
  53
  54 (0.1.10: 16 November 2010, r829)
  55
  56
  57
  58 Beta Release 0.1.9 (27 October, 2010)
  59 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  60
  61 This release is featured as the first major improvement to the samtools'
  62 SNP caller.  It comes with a revised MAQ error model, the support of
  63 multi-sample SNP calling and the computation of base alignment quality
  64 (BAQ).
  65
  66 The revised MAQ error model is based on the original model. It solves an
  67 issue of miscalling SNPs in repetitive regions. Althought such SNPs can
  68 usually be filtered at a later step, they mess up unfiltered calls. This
  69 is a theoretical flaw in the original model. The revised MAQ model
  70 deprecates the orginal MAQ model and the simplified SOAPsnp model.
  71
  72 Multi-sample SNP calling is separated in two steps. The first is done by
  73 samtools mpileup and the second by a new program, bcftools, which is
  74 included in the samtools source code tree. Multi-sample SNP calling also
  75 works for single sample and has the advantage of enabling more powerful
  76 filtration. It is likely to deprecate pileup in future once a proper
  77 indel calling method is implemented.
  78
  79 BAQ is the Phred-scaled probability of a read base being wrongly
  80 aligned. Capping base quality by BAQ has been shown to be very effective
  81 in suppressing false SNPs caused by misalignments around indels or in
  82 low-complexity regions with acceptable compromise on computation
  83 time. This strategy is highly recommended and can be used with other SNP
  84 callers as well.
  85
  86 In addition to the three major improvements, other notable changes are:
  87
  88  * Changes to the pileup format. A reference skip (the N CIGAR operator)
  89    is shown as '<' or '>' depending on the strand. Tview is also changed
  90    accordingly.
  91
  92  * Accelerated pileup. The plain pileup is about 50% faster.
  93
  94  * Regional merge. The merge command now accepts a new option to merge
  95    files in a specified region.
  96
  97  * Fixed a bug in bgzip and razip which causes source files to be
  98    deleted even if option -c is applied.
  99
 100  * In APIs, propogate errors to downstream callers and make samtools
 101    return non-zero values once errors occur.
 102
 103 (0.1.9: 27 October 2010, r783)
 104
 105
 106
 107 Beta Release 0.1.8 (11 July, 2010)
 108 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 109
 110 Notable functional changes:
 111
 112  * Added the `reheader' command which replaces a BAM header with a new
 113    header. This command is much faster than replacing header by
 114    BAM->SAM->BAM conversions.
 115
 116  * Added the `mpileup' command which computes the pileup of multiple
 117    alignments.
 118
 119  * The `index' command now stores the number of mapped and unmapped
 120    reads in the index file. This information can be retrieved quickly by
 121    the new `idxstats' command.
 122
 123  * By default, pileup used the SOAPsnp model for SNP calling. This
 124    avoids the floating overflow in the MAQ model which leads to spurious
 125    calls in repetitive regions, although these calls will be immediately
 126    filtered by varFilter.
 127
 128  * The `tview' command now correctly handles CIGARs like 7I10M and
 129    10M1P1I10M which cause assertion failure in earlier versions.
 130
 131  * Tview accepts a region like `=10,000' where `=' stands for the
 132    current sequence name. This saves typing for long sequence names.
 133
 134  * Added the `-d' option to `pileup' which avoids slow indel calling
 135    in ultradeep regions by subsampling reads locally.
 136
 137  * Added the `-R' option to `view' which retrieves alignments in read
 138    groups listed in the specified file.
 139
 140 Performance improvements:
 141
 142  * The BAM->SAM conversion is up to twice faster, depending on the
 143    characteristic of the input.
 144
 145  * Parsing SAM headers with a lot of reference sequences is now much
 146    faster.
 147
 148  * The number of lseek() calls per query is reduced when the query
 149    region contains no read alignments.
 150
 151 Bug fixes:
 152
 153  * Fixed an issue in the indel caller that leads to miscall of indels.
 154    Note that this solution may not work well when the sequencing indel
 155    error rate is higher than the rate of SNPs.
 156
 157  * Fixed another issue in the indel caller which may lead to incorrect
 158    genotype.
 159
 160  * Fixed a bug in `sort' when option `-o' is applied.
 161
 162  * Fixed a bug in `view -r'.
 163
 164 APIs and other changes:
 165
 166  * Added iterator interfaces to random access and pileup. The callback
 167    interfaces directly call the iterator interfaces.
 168
 169  * The BGZF blocks holding the BAM header are indepedent of alignment
 170    BGZF blocks. Alignment records shorter than 64kB is guaranteed to be
 171    fully contained in one BGZF block. This change is fully compatible
 172    with the old version of samtools/picard.
 173
 174 Changes in other utilities:
 175
 176  * Updated export2sam.pl by Chris Saunders.
 177
 178  * Improved the sam2vcf.pl script.
 179
 180  * Added a Python version of varfilter.py by Aylwyn Scally.
 181
 182 (0.1.8: 11 July 2010, r613)
 183
 184
 185
 186 Beta Release 0.1.7 (10 November, 2009)
 187 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 188
 189 Notable changes:
 190
 191  * Improved the indel caller in complex scenariors, in particular for
 192    long reads. The indel caller is now able to make reasonable indel
 193    calls from Craig Venter capillary reads.
 194
 195  * Rewrote single-end duplicate removal with improved
 196    performance. Paired-end reads are not touched.
 197
 198  * Duplicate removal is now library aware. Samtools remove potential
 199    PCR/optical dupliates inside a library rather than across libraries.
 200
 201  * SAM header is now fully parsed, although this functionality is not
 202    used in merging and so on.
 203
 204  * In samtools merge, optionally take the input file name as RG-ID and
 205    attach the RG tag to each alignment.
 206
 207  * Added FTP support in the RAZF library. RAZF-compressed reference
 208    sequence can be retrieved remotely.
 209
 210  * Improved network support for Win32.
 211
 212  * Samtools sort and merge are now stable.
 213
 214 Changes in other utilities:
 215
 216  * Implemented sam2vcf.pl that converts the pileup format to the VCF
 217    format.
 218
 219  * This release of samtools is known to work with the latest
 220    Bio-Samtools Perl module.
 221
 222 (0.1.7: 10 November 2009, r510)
 223
 224
 225
 226 Beta Release 0.1.6 (2 September, 2009)
 227 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 228
 229 Notable changes:
 230
 231  * In tview, do not show a blank screen when no reads mapped to the
 232    corresponding region.
 233
 234  * Implemented native HTTP support in the BGZF library. Samtools is now
 235    able to directly open a BAM file on HTTP. HTTP proxy is also
 236    supported via the "http_proxy" environmental variable.
 237
 238  * Samtools is now compitable with the MinGW (win32) compiler and the
 239    PDCurses library.
 240
 241  * The calmd (or fillmd) command now calculates the NM tag and replaces
 242    MD tags if they are wrong.
 243
 244  * The view command now recognizes and optionally prints FLAG in HEXs or
 245    strings to make a SAM file more friendly to human eyes. This is a
 246    samtools-C extension, not implemented in Picard for the time
 247    being. Please type `samtools view -?' for more information.
 248
 249  * BAM files now have an end-of-file (EOF) marker to facilitate
 250    truncation detection. A warning will be given if an on-disk BAM file
 251    does not have this marker. The warning will be seen on BAM files
 252    generated by an older version of samtools. It does NO harm.
 253
 254  * New key bindings in tview: `r' to show read names and `s' to show
 255    reference skip (N operation) as deletions.
 256
 257  * Fixed a bug in `samtools merge -n'.
 258
 259  * Samtools merge now optionally copies the header of a user specified
 260    SAM file to the resultant BAM output.
 261
 262  * Samtools pileup/tview works with a CIGAR with the first or the last
 263    operation is an indel.
 264
 265  * Fixed a bug in bam_aux_get().
 266
 267
 268 Changes in other utilies:
 269
 270  * Fixed wrong FLAG in maq2sam.
 271
 272
 273 (0.1.6: 2 September 2009, r453)
 274
 275
 276
 277 Beta Release 0.1.5 (7 July, 2009)
 278 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 279
 280 Notable changes:
 281
 282  * Support opening a BAM alignment on FTP. Users can now use "tview" to
 283    view alignments at the NCBI ftp site. Please read manual for more
 284    information.
 285
 286  * In library, propagate errors rather than exit or complain assertion
 287    failure.
 288
 289  * Simplified the building system and fixed compiling errors caused by
 290    zlib<1.2.2.1.
 291
 292  * Fixed an issue about lost header information when a SAM is imported
 293    with "view -t".
 294
 295  * Implemented "samtool.pl varFilter" which filters both SNPs and short
 296    indels. This command replaces "indelFilter".
 297
 298  * Implemented "samtools.pl pileup2fq" to generate FASTQ consensus from
 299    pileup output.
 300
 301  * In pileup, cap mapping quality at 60. This helps filtering when
 302    different aligners are in use.
 303
 304  * In pileup, allow to output variant sites only.
 305
 306  * Made pileup generate correct calls in repetitive region. At the same
 307    time, I am considering to implement a simplified model in SOAPsnp,
 308    although this has not happened yet.
 309
 310  * In view, added '-u' option to output BAM without compression. This
 311    option is preferred when the output is piped to other commands.
 312
 313  * In view, added '-l' and '-r' to get the alignments for one library or
 314    read group. The "@RG" header lines are now partially parsed.
 315
 316  * Do not include command line utilities to libbam.a.
 317
 318  * Fixed memory leaks in pileup and bam_view1().
 319
 320  * Made faidx more tolerant to empty lines right before or after FASTA >
 321    lines.
 322
 323
 324 Changes in other utilities:
 325
 326  * Updated novo2sam.pl by Colin Hercus, the key developer of novoalign.
 327
 328
 329 This release involves several modifications to the key code base which
 330 may potentially introduce new bugs even though we have tried to minimize
 331 this by testing on several examples. Please let us know if you catch
 332 bugs.
 333
 334 (0.1.5: 7 July 2009, r373)
 335
 336
 337
 338 Beta Release 0.1.4 (21 May, 2009)
 339 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 340
 341 Notable changes:
 342
 343  * Added the 'rmdupse' command: removing duplicates for SE reads.
 344
 345  * Fixed a critical bug in the indel caller: clipped alignments are not
 346    processed correctly.
 347
 348  * Fixed a bug in the tview: gapped alignment may be incorrectly
 349    displayed.
 350
 351  * Unified the interface to BAM and SAM I/O. This is done by
 352    implementing a wrapper on top of the old APIs and therefore old APIs
 353    are still valid. The new I/O APIs also recognize the @SQ header
 354    lines.
 355
 356  * Generate the MD tag.
 357
 358  * Generate "=" bases. However, the indel caller will not work when "="
 359    bases are present.
 360
 361  * Enhanced support of color-read display (by Nils Homer).
 362
 363  * Implemented the GNU building system. However, currently the building
 364    system does not generate libbam.a. We will improve this later. For
 365    the time being, `make -f Makefile.generic' is preferred.
 366
 367  * Fixed a minor bug in pileup: the first read in a chromosome may be
 368    skipped.
 369
 370  * Fixed bugs in bam_aux.c. These bugs do not affect other components as
 371    they were not used previously.
 372
 373  * Output the 'SM' tag from maq2sam.
 374
 375 (0.1.4: 21 May 2009, r297)
 376
 377
 378
 379 Beta Release 0.1.3 (15 April, 2009)
 380 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 381
 382 Notable changes in SAMtools:
 383
 384  * SAMtools is more consistent with the specification: a) '*' in the
 385    QUAL field is allowed; b) the field separator is TAB only and SPACE
 386    is treated as a character in a field; c) empty header is allowed.
 387
 388  * Implemented GLFv3 support in pileup.
 389
 390  * Fixed a severe bug in fixmate: strand information is wrongly
 391    overwritten.
 392
 393  * Fixed a bug in alignment retrieval: alignments bridging n*16384bp are
 394    not correctly retrieved sometimes.
 395
 396  * Fixed a bug in rmdup: segfault if unmapped reads are present.
 397
 398  * Move indel_filter.pl to samtools.pl and improved the filtering by
 399    checking the actual number of alignments containing indels. The indel
 400    pileup line is also changed a little to make this filtration easier.
 401
 402  * Fixed a minor bug in indexing: the bin number of an unmapped read is
 403    wrongly calculated.
 404
 405  * Added `flagstat' command to show statistics on the FLAG field.
 406
 407  * Improved indel caller by setting the maximum window size in local
 408    realignment.
 409
 410 Changes in other utilities:
 411
 412  * Fixed a bug in maq2sam: a tag name is obsolete.
 413
 414  * Improvement to wgsim: a) added support for SOLiD read simulation; b)
 415    show the number of substitutions/indels/errors in read name; c)
 416    considerable code clean up.
 417
 418  * Various converters: improved functionality in general.
 419
 420  * Updated the example SAM due to the previous bug in fixmate.
 421
 422 (0.1.3: 15 April 2009, r227)
 423
 424
 425
 426 Beta Release 0.1.2 (28 January, 2008)
 427 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 428
 429 Notable changes in SAMtools:
 430
 431  * Implemented a Bayesian indel caller. The new caller generate scores
 432    and genotype and is potentially more accurate than Maq's indel
 433    caller. The pileup format is also changed accordingly.
 434
 435  * Implemented rmdup command: remove potential PCR duplicates. Note that
 436    this command ONLY works for FR orientation and requires ISIZE is
 437    correctly set.
 438
 439  * Added fixmate command: fill in mate coordinates, ISIZE and mate
 440    related flags from a name-sorted alignment.
 441
 442  * Fixed a bug in indexing: reads bridging 16x kbp were not retrieved.
 443
 444  * Allow to select reads shown in the pileup output with a mask.
 445
 446  * Generate GLFv2 from pileup.
 447
 448  * Added two more flags for flagging PCR/optical duplicates and for QC
 449    failure.
 450
 451  * Fixed a bug in sort command: name sorting for large alignment did not
 452    work.
 453
 454  * Allow to completely disable RAZF (using Makefile.lite) as some people
 455    have problem to compile it.
 456
 457  * Fixed a bug in import command when there are reads without
 458    coordinates.
 459
 460  * Fixed a bug in tview: clipping broke the alignment viewer.
 461
 462  * Fixed a compiling error when _NO_CURSES is applied.
 463
 464  * Fixed a bug in merge command.
 465
 466 Changes in other utilities:
 467
 468  * Added wgsim, a paired-end reads simulator. Wgsim was adapted from
 469    maq's reads simulator. Colin Hercus further improved it to allow
 470    longer indels.
 471
 472  * Added wgsim_eval.pl, a script that evaluates the accuracy of
 473    alignment on reads generated by wgsim.
 474
 475  * Added soap2sam.pl, a SOAP2->SAM converter. This converter does not
 476    work properly when multiple hits are output.
 477
 478  * Added bowtie2sam.pl, a Bowtie->SAM converter. Only the top hit will
 479    be retained when multiple hits are present.
 480
 481  * Fixed a bug in export2sam.pl for QC reads.
 482
 483  * Support RG tag at MAQ->SAM converter.
 484
 485  * Added novo2sam.pl, a NovoAlign->SAM converter. Multiple hits and
 486    indel are not properly handled, though.
 487
 488  * Added zoom2sam.pl, a ZOOM->SAM converter. It only works with the
 489    default Illumina output.
 490
 491 (0.1.2: 28 January 2008; r116)
 492
 493
 494
 495 Beta Release 0.1.1 (22 December, 2008)
 496 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 497
 498 The is the first public release of samtools. For more information,
 499 please check the manual page `samtools.1' and the samtools website
 500 http://samtools.sourceforge.net