]> git.donarmstrong.com Git - samtools.git/blobdiff - misc/samtools.pl
* samtools-0.1.7-6
[samtools.git] / misc / samtools.pl
index 0b0e9d2d378e4a5965c2ecea9a4c570fa6983112..e6dd8e8eac12e659ea0ec12e5bb4ca0572252ed1 100755 (executable)
@@ -6,11 +6,12 @@ use strict;
 use warnings;
 use Getopt::Std;
 
-my $version = '0.3.2 (r321)';
+my $version = '0.3.3';
 &usage if (@ARGV < 1);
 
 my $command = shift(@ARGV);
-my %func = (showALEN=>\&showALEN, pileup2fq=>\&pileup2fq, varFilter=>\&varFilter, unique=>\&unique);
+my %func = (showALEN=>\&showALEN, pileup2fq=>\&pileup2fq, varFilter=>\&varFilter,
+                       unique=>\&unique, uniqcmp=>\&uniqcmp, sra2hdr=>\&sra2hdr, sam2fq=>\&sam2fq);
 
 die("Unknown command \"$command\".\n") if (!defined($func{$command}));
 &{$func{$command}};
@@ -24,9 +25,10 @@ sub showALEN {
   die(qq/Usage: samtools.pl showALEN <in.sam>\n/) if (@ARGV == 0 && -t STDIN);
   while (<>) {
        my @t = split;
+       next if (/^\@/ || @t < 11);
        my $l = 0;
        $_ = $t[5];
-       s/(\d+)[SMI]/$l+=$1/eg;
+       s/(\d+)[MI]/$l+=$1/eg;
        print join("\t", @t[0..5]), "\t$l\t", join("\t", @t[6..$#t]), "\n";
   }
 }
@@ -35,9 +37,19 @@ sub showALEN {
 # varFilter
 #
 
+#
+# Filtration code:
+#
+# d low depth
+# D high depth
+# W too many SNPs in a window (SNP only)
+# G close to a high-quality indel (SNP only)
+# Q low RMS mapping quality (SNP only)
+# g close to another indel with higher quality (indel only)
+
 sub varFilter {
   my %opts = (d=>3, D=>100, l=>30, Q=>25, q=>10, G=>25, s=>100, w=>10, W=>10, N=>2, p=>undef);
-  getopts('pd:D:l:Q:w:W:N:G:', \%opts);
+  getopts('pq:d:D:l:Q:w:W:N:G:', \%opts);
   die(qq/
 Usage:   samtools.pl varFilter [options] <in.cns-pileup>
 
@@ -65,7 +77,7 @@ Options: -Q INT    minimum RMS mapping quality for SNPs [$opts{Q}]
   my @staging; # (indel_filtering_score, flt_tag)
   while (<>) {
        my @t = split;
-       next if ($t[2] eq $t[3] || $t[3] eq '*/*'); # skip non-var sites
+       next if (uc($t[2]) eq uc($t[3]) || $t[3] eq '*/*'); # skip non-var sites
        # clear the out-of-range elements
        while (@staging) {
          last if ($staging[0][2] eq $t[0] && $staging[0][3] + $max_dist >= $t[1]);
@@ -214,21 +226,120 @@ sub p2q_print_str {
   }
 }
 
+#
+# sam2fq
+#
+
+sub sam2fq {
+  my %opts = (n=>20, p=>'');
+  getopts('n:p:', \%opts);
+  die("Usage: samtools.pl sam2fq [-n 20] [-p <prefix>] <inp.sam>\n") if (@ARGV == 0 && -t STDIN);
+  if ($opts{p} && $opts{n} > 1) {
+       my $pre = $opts{p};
+       my @fh;
+       for (0 .. $opts{n}-1) {
+         open($fh[$_], sprintf("| gzip > $pre.%.3d.fq.gz", $_)) || die;
+       }
+       my $i = 0;
+       while (<>) {
+         next if (/^@/);
+         chomp;
+         my @t = split("\t");
+         next if ($t[9] eq '*');
+         my ($name, $seq, $qual);
+         if ($t[1] & 16) { # reverse strand
+               $seq = reverse($t[9]);
+               $qual = reverse($t[10]);
+               $seq =~ tr/ACGTacgt/TGCAtgca/;
+         } else {
+               ($seq, $qual) = @t[9,10];
+         }
+         $name = $t[0];
+         $name .= "/1" if ($t[1] & 0x40);
+         $name .= "/2" if ($t[1] & 0x80);
+         print {$fh[$i]} "\@$name\n$seq\n";
+         if ($qual ne '*') {
+               print {$fh[$i]} "+\n$qual\n";
+         }
+         $i = 0 if (++$i == $opts{n});
+       }
+       close($fh[$_]) for (0 .. $opts{n}-1);
+  } else {
+       die("To be implemented.\n");
+  }
+}
+
+#
+# sra2hdr
+#
+
+# This subroutine does not use an XML parser. It requires that the SRA
+# XML files are properly formated.
+sub sra2hdr {
+  my %opts = ();
+  getopts('', \%opts);
+  die("Usage: samtools.pl sra2hdr <SRA.prefix>\n") if (@ARGV == 0);
+  my $pre = $ARGV[0];
+  my $fh;
+  # read sample
+  my $sample = 'UNKNOWN';
+  open($fh, "$pre.sample.xml") || die;
+  while (<$fh>) {
+       $sample = $1 if (/<SAMPLE.*alias="([^"]+)"/i);
+  }
+  close($fh);
+  # read experiment
+  my (%exp2lib, $exp);
+  open($fh, "$pre.experiment.xml") || die;
+  while (<$fh>) {
+       if (/<EXPERIMENT.*accession="([^\s"]+)"/i) {
+         $exp = $1;
+       } elsif (/<LIBRARY_NAME>\s*(\S+)\s*<\/LIBRARY_NAME>/i) {
+         $exp2lib{$exp} = $1;
+       }
+  }
+  close($fh);
+  # read run
+  my ($run, @fn);
+  open($fh, "$pre.run.xml") || die;
+  while (<$fh>) {
+       if (/<RUN.*accession="([^\s"]+)"/i) {
+         $run = $1; @fn = ();
+       } elsif (/<EXPERIMENT_REF.*accession="([^\s"]+)"/i) {
+         print "\@RG\tID:$run\tSM:$sample\tLB:$exp2lib{$1}\n";
+       } elsif (/<FILE.*filename="([^\s"]+)"/i) {
+         push(@fn, $1);
+       } elsif (/<\/RUN>/i) {
+         if (@fn == 1) {
+               print STDERR "$fn[0]\t$run\n";
+         } else {
+               for (0 .. $#fn) {
+                 print STDERR "$fn[$_]\t$run", "_", $_+1, "\n";
+               }
+         }
+       }
+  }
+  close($fh);
+}
+
 #
 # unique
 #
 
 sub unique {
-  my %opts = (f=>5.0, q=>5, r=>2, a=>1, b=>3);
-  getopts('f:', \%opts);
+  my %opts = (f=>250.0, q=>5, r=>2, a=>1, b=>3);
+  getopts('Qf:q:r:a:b:m', \%opts);
   die("Usage: samtools.pl unique [-f $opts{f}] <in.sam>\n") if (@ARGV == 0 && -t STDIN);
   my $last = '';
+  my $recal_Q = !defined($opts{Q});
+  my $multi_only = defined($opts{m});
   my @a;
   while (<>) {
        my $score = -1;
        print $_ if (/^\@/);
        $score = $1 if (/AS:i:(\d+)/);
        my @t = split("\t");
+       next if (@t < 11);
        if ($score < 0) { # AS tag is unavailable
          my $cigar = $t[5];
          my ($mm, $go, $ge) = (0, 0, 0);
@@ -237,19 +348,19 @@ sub unique {
          $cigar =~ s/(\d+)M/$mm+=$1/eg;
          $score = $mm * $opts{a} - $go * $opts{q} - $ge * $opts{r}; # no mismatches...
        }
-       $score = 0 if ($score < 0);
+       $score = 1 if ($score < 1);
        if ($t[0] ne $last) {
-         &unique_aux(\@a, $opts{f}) if (@a);
+         &unique_aux(\@a, $opts{f}, $recal_Q, $multi_only) if (@a);
          $last = $t[0];
        }
        push(@a, [$score, \@t]);
   }
-  &unique_aux(\@a, $opts{f}) if (@a);
+  &unique_aux(\@a, $opts{f}, $recal_Q, $multi_only) if (@a);
 }
 
 sub unique_aux {
-  my ($a, $fac) = @_;
-  my ($max, $max2, $max_i) = (-1, -1, -1);
+  my ($a, $fac, $is_recal, $multi_only) = @_;
+  my ($max, $max2, $max_i) = (0, 0, -1);
   for (my $i = 0; $i < @$a; ++$i) {
        if ($a->[$i][0] > $max) {
          $max2 = $max; $max = $a->[$i][0]; $max_i = $i;
@@ -257,12 +368,88 @@ sub unique_aux {
          $max2 = $a->[$i][0];
        }
   }
-  my $q = int($fac * ($max - $max2) + .499);
-  $a->[$max_i][1][4] = $q < 250? $q : 250;
+  if ($is_recal) {
+       if (!$multi_only || @$a > 1) {
+         my $q = int($fac * ($max - $max2) / $max + .499);
+         $q = 250 if ($q > 250);
+         $a->[$max_i][1][4] = $q < 250? $q : 250;
+       }
+  }
   print join("\t", @{$a->[$max_i][1]});
   @$a = ();
 }
 
+#
+# uniqcmp: compare two SAM files
+#
+
+sub uniqcmp {
+  my %opts = (q=>10, s=>100);
+  getopts('pq:s:', \%opts);
+  die("Usage: samtools.pl uniqcmp <in1.sam> <in2.sam>\n") if (@ARGV < 2);
+  my ($fh, %a);
+  warn("[uniqcmp] read the first file...\n");
+  &uniqcmp_aux($ARGV[0], \%a, 0);
+  warn("[uniqcmp] read the second file...\n");
+  &uniqcmp_aux($ARGV[1], \%a, 1);
+  warn("[uniqcmp] stats...\n");
+  my @cnt;
+  $cnt[$_] = 0 for (0..9);
+  for my $x (keys %a) {
+       my $p = $a{$x};
+       my $z;
+       if (defined($p->[0]) && defined($p->[1])) {
+         $z = ($p->[0][0] == $p->[1][0] && $p->[0][1] eq $p->[1][1] && abs($p->[0][2] - $p->[1][2]) < $opts{s})? 0 : 1;
+         if ($p->[0][3] >= $opts{q} && $p->[1][3] >= $opts{q}) {
+               ++$cnt[$z*3+0];
+         } elsif ($p->[0][3] >= $opts{q}) {
+               ++$cnt[$z*3+1];
+         } elsif ($p->[1][3] >= $opts{q}) {
+               ++$cnt[$z*3+2];
+         }
+         print STDERR "$x\t$p->[0][1]:$p->[0][2]\t$p->[0][3]\t$p->[0][4]\t$p->[1][1]:$p->[1][2]\t$p->[1][3]\t$p->[1][4]\t",
+               $p->[0][5]-$p->[1][5], "\n" if ($z && defined($opts{p}) && ($p->[0][3] >= $opts{q} || $p->[1][3] >= $opts{q}));
+       } elsif (defined($p->[0])) {
+         ++$cnt[$p->[0][3]>=$opts{q}? 6 : 7];
+         print STDERR "$x\t$p->[0][1]:$p->[0][2]\t$p->[0][3]\t$p->[0][4]\t*\t0\t*\t",
+               $p->[0][5], "\n" if (defined($opts{p}) && $p->[0][3] >= $opts{q});
+       } else {
+         print STDERR "$x\t*\t0\t*\t$p->[1][1]:$p->[1][2]\t$p->[1][3]\t$p->[1][4]\t",
+               -$p->[1][5], "\n" if (defined($opts{p}) && $p->[1][3] >= $opts{q});
+         ++$cnt[$p->[1][3]>=$opts{q}? 8 : 9];
+       }
+  }
+  print "Consistent (high, high):   $cnt[0]\n";
+  print "Consistent (high, low ):   $cnt[1]\n";
+  print "Consistent (low , high):   $cnt[2]\n";
+  print "Inconsistent (high, high): $cnt[3]\n";
+  print "Inconsistent (high, low ): $cnt[4]\n";
+  print "Inconsistent (low , high): $cnt[5]\n";
+  print "Second missing (high):     $cnt[6]\n";
+  print "Second missing (low ):     $cnt[7]\n";
+  print "First  missing (high):     $cnt[8]\n";
+  print "First  missing (low ):     $cnt[9]\n";
+}
+
+sub uniqcmp_aux {
+  my ($fn, $a, $which) = @_;
+  my $fh;
+  $fn = "samtools view $fn |" if ($fn =~ /\.bam/);
+  open($fh, $fn) || die;
+  while (<$fh>) {
+       my @t = split;
+       next if (@t < 11);
+#      my $l = ($t[5] =~ /^(\d+)S/)? $1 : 0;
+       my $l = 0;
+       my ($x, $nm) = (0, 0);
+       $nm = $1 if (/NM:i:(\d+)/);
+       $_ = $t[5];
+       s/(\d+)[MI]/$x+=$1/eg;
+       @{$a->{$t[0]}[$which]} = (($t[1]&0x10)? 1 : 0, $t[2], $t[3]-$l, $t[4], "$x:$nm", $x - 4 * $nm);
+  }
+  close($fh);
+}
+
 #
 # Usage
 #