]> git.donarmstrong.com Git - samtools.git/blob - misc/samtools.pl
* samtools-0.1.7-6
[samtools.git] / misc / samtools.pl
1 #!/usr/bin/perl -w
2
3 # Author: lh3
4
5 use strict;
6 use warnings;
7 use Getopt::Std;
8
9 my $version = '0.3.3';
10 &usage if (@ARGV < 1);
11
12 my $command = shift(@ARGV);
13 my %func = (showALEN=>\&showALEN, pileup2fq=>\&pileup2fq, varFilter=>\&varFilter,
14                         unique=>\&unique, uniqcmp=>\&uniqcmp, sra2hdr=>\&sra2hdr, sam2fq=>\&sam2fq);
15
16 die("Unknown command \"$command\".\n") if (!defined($func{$command}));
17 &{$func{$command}};
18 exit(0);
19
20 #
21 # showALEN
22 #
23
24 sub showALEN {
25   die(qq/Usage: samtools.pl showALEN <in.sam>\n/) if (@ARGV == 0 && -t STDIN);
26   while (<>) {
27         my @t = split;
28         next if (/^\@/ || @t < 11);
29         my $l = 0;
30         $_ = $t[5];
31         s/(\d+)[MI]/$l+=$1/eg;
32         print join("\t", @t[0..5]), "\t$l\t", join("\t", @t[6..$#t]), "\n";
33   }
34 }
35
36 #
37 # varFilter
38 #
39
40 #
41 # Filtration code:
42 #
43 # d low depth
44 # D high depth
45 # W too many SNPs in a window (SNP only)
46 # G close to a high-quality indel (SNP only)
47 # Q low RMS mapping quality (SNP only)
48 # g close to another indel with higher quality (indel only)
49
50 sub varFilter {
51   my %opts = (d=>3, D=>100, l=>30, Q=>25, q=>10, G=>25, s=>100, w=>10, W=>10, N=>2, p=>undef);
52   getopts('pq:d:D:l:Q:w:W:N:G:', \%opts);
53   die(qq/
54 Usage:   samtools.pl varFilter [options] <in.cns-pileup>
55
56 Options: -Q INT    minimum RMS mapping quality for SNPs [$opts{Q}]
57          -q INT    minimum RMS mapping quality for gaps [$opts{q}]
58          -d INT    minimum read depth [$opts{d}]
59          -D INT    maximum read depth [$opts{D}]
60
61          -G INT    min indel score for nearby SNP filtering [$opts{G}]
62          -w INT    SNP within INT bp around a gap to be filtered [$opts{w}]
63
64          -W INT    window size for filtering dense SNPs [$opts{W}]
65          -N INT    max number of SNPs in a window [$opts{N}]
66
67          -l INT    window size for filtering adjacent gaps [$opts{l}]
68
69          -p        print filtered variants
70 \n/) if (@ARGV == 0 && -t STDIN);
71
72   # calculate the window size
73   my ($ol, $ow, $oW) = ($opts{l}, $opts{w}, $opts{W});
74   my $max_dist = $ol > $ow? $ol : $ow;
75   $max_dist = $oW if ($max_dist < $oW);
76   # the core loop
77   my @staging; # (indel_filtering_score, flt_tag)
78   while (<>) {
79         my @t = split;
80         next if (uc($t[2]) eq uc($t[3]) || $t[3] eq '*/*'); # skip non-var sites
81         # clear the out-of-range elements
82         while (@staging) {
83           last if ($staging[0][2] eq $t[0] && $staging[0][3] + $max_dist >= $t[1]);
84           varFilter_aux(shift(@staging), $opts{p}); # calling a function is a bit slower, not much
85         }
86         my ($flt, $score) = (0, -1);
87         # first a simple filter
88         if ($t[7] < $opts{d}) {
89           $flt = 2;
90         } elsif ($t[7] > $opts{D}) {
91           $flt = 3;
92         }
93         # site dependent filters
94         if ($flt == 0) {
95           if ($t[2] eq '*') { # an indel
96                 $flt = 1 if ($t[6] < $opts{q});
97                 # filtering SNPs
98                 if ($t[5] >= $opts{G}) {
99                   for my $x (@staging) {
100                         next if ($x->[0] >= 0 || $x->[3] + $ow < $t[1]);
101                         $x->[1] = 5 if ($x->[1] == 0);
102                   }
103                 }
104                 # calculate the filtering score (different from indel quality)
105                 $score = $t[5];
106                 $score += $opts{s} * $t[10] if ($t[8] ne '*');
107                 $score += $opts{s} * $t[11] if ($t[9] ne '*');
108                 # check the staging list for indel filtering
109                 for my $x (@staging) {
110                   next if ($x->[0] < 0 || $x->[3] + $ol < $t[1]);
111                   if ($x->[0] < $score) {
112                         $x->[1] = 6;
113                   } else {
114                         $flt = 6; last;
115                   }
116                 }
117           } else { # a SNP
118                 $flt = 1 if ($t[6] < $opts{Q});
119                 # check adjacent SNPs
120                 my $k = 1;
121                 for my $x (@staging) {
122                   ++$k if ($x->[0] < 0 && $x->[3] + $oW >= $t[1] && ($x->[1] == 0 || $x->[1] == 4 || $x->[1] == 5));
123                 }
124                 # filtering is necessary
125                 if ($k > $opts{N}) {
126                   $flt = 4;
127                   for my $x (@staging) {
128                          $x->[1] = 4 if ($x->[0] < 0 && $x->[3] + $oW >= $t[1] && $x->[1] == 0);
129                   }
130                 } else { # then check gap filter
131                   for my $x (@staging) {
132                         next if ($x->[0] < 0 || $x->[3] + $ow < $t[1]);
133                         if ($x->[0] >= $opts{G}) {
134                           $flt = 5; last;
135                         }
136                   }
137                 }
138           }
139         }
140         push(@staging, [$score, $flt, @t]);
141   }
142   # output the last few elements in the staging list
143   while (@staging) {
144         varFilter_aux(shift @staging, $opts{p});
145   }
146 }
147
148 sub varFilter_aux {
149   my ($first, $is_print) = @_;
150   if ($first->[1] == 0) {
151         print join("\t", @$first[2 .. @$first-1]), "\n";
152   } elsif ($is_print) {
153         print STDERR join("\t", substr("UQdDWGgX", $first->[1], 1), @$first[2 .. @$first-1]), "\n";
154   }
155 }
156
157 #
158 # pileup2fq
159 #
160
161 sub pileup2fq {
162   my %opts = (d=>3, D=>255, Q=>25, G=>25, l=>10);
163   getopts('d:D:Q:G:l:', \%opts);
164   die(qq/
165 Usage:   samtools.pl pileup2fq [options] <in.cns-pileup>
166
167 Options: -d INT    minimum depth        [$opts{d}]
168          -D INT    maximum depth        [$opts{D}]
169          -Q INT    min RMS mapQ         [$opts{Q}]
170          -G INT    minimum indel score  [$opts{G}]
171          -l INT    indel filter winsize [$opts{l}]\n
172 /) if (@ARGV == 0 && -t STDIN);
173
174   my ($last_chr, $seq, $qual, @gaps, $last_pos);
175   my $_Q = $opts{Q};
176   my $_d = $opts{d};
177   my $_D = $opts{D};
178
179   $last_chr = '';
180   while (<>) {
181         my @t = split;
182         if ($last_chr ne $t[0]) {
183           &p2q_post_process($last_chr, \$seq, \$qual, \@gaps, $opts{l}) if ($last_chr);
184           $last_chr = $t[0];
185           $last_pos = 0;
186           $seq = ''; $qual = '';
187           @gaps = ();
188         }
189         if ($t[1] - $last_pos != 1) {
190           $seq .= 'n' x ($t[1] - $last_pos - 1);
191           $qual .= '!' x ($t[1] - $last_pos - 1);
192         }
193         if ($t[2] eq '*') {
194           push(@gaps, $t[1]) if ($t[5] >= $opts{G});
195         } else {
196           $seq .= ($t[6] >= $_Q && $t[7] >= $_d && $t[7] <= $_D)? uc($t[3]) : lc($t[3]);
197           my $q = $t[4] + 33;
198           $q = 126 if ($q > 126);
199           $qual .= chr($q);
200         }
201         $last_pos = $t[1];
202   }
203   &p2q_post_process($last_chr, \$seq, \$qual, \@gaps, $opts{l});
204 }
205
206 sub p2q_post_process {
207   my ($chr, $seq, $qual, $gaps, $l) = @_;
208   &p2q_filter_gaps($seq, $gaps, $l);
209   print "\@$chr\n"; &p2q_print_str($seq);
210   print "+\n"; &p2q_print_str($qual);
211 }
212
213 sub p2q_filter_gaps {
214   my ($seq, $gaps, $l) = @_;
215   for my $g (@$gaps) {
216         my $x = $g > $l? $g - $l : 0;
217         substr($$seq, $x, $l + $l) = lc(substr($$seq, $x, $l + $l));
218   }
219 }
220
221 sub p2q_print_str {
222   my ($s) = @_;
223   my $l = length($$s);
224   for (my $i = 0; $i < $l; $i += 60) {
225         print substr($$s, $i, 60), "\n";
226   }
227 }
228
229 #
230 # sam2fq
231 #
232
233 sub sam2fq {
234   my %opts = (n=>20, p=>'');
235   getopts('n:p:', \%opts);
236   die("Usage: samtools.pl sam2fq [-n 20] [-p <prefix>] <inp.sam>\n") if (@ARGV == 0 && -t STDIN);
237   if ($opts{p} && $opts{n} > 1) {
238         my $pre = $opts{p};
239         my @fh;
240         for (0 .. $opts{n}-1) {
241           open($fh[$_], sprintf("| gzip > $pre.%.3d.fq.gz", $_)) || die;
242         }
243         my $i = 0;
244         while (<>) {
245           next if (/^@/);
246           chomp;
247           my @t = split("\t");
248           next if ($t[9] eq '*');
249           my ($name, $seq, $qual);
250           if ($t[1] & 16) { # reverse strand
251                 $seq = reverse($t[9]);
252                 $qual = reverse($t[10]);
253                 $seq =~ tr/ACGTacgt/TGCAtgca/;
254           } else {
255                 ($seq, $qual) = @t[9,10];
256           }
257           $name = $t[0];
258           $name .= "/1" if ($t[1] & 0x40);
259           $name .= "/2" if ($t[1] & 0x80);
260           print {$fh[$i]} "\@$name\n$seq\n";
261           if ($qual ne '*') {
262                 print {$fh[$i]} "+\n$qual\n";
263           }
264           $i = 0 if (++$i == $opts{n});
265         }
266         close($fh[$_]) for (0 .. $opts{n}-1);
267   } else {
268         die("To be implemented.\n");
269   }
270 }
271
272 #
273 # sra2hdr
274 #
275
276 # This subroutine does not use an XML parser. It requires that the SRA
277 # XML files are properly formated.
278 sub sra2hdr {
279   my %opts = ();
280   getopts('', \%opts);
281   die("Usage: samtools.pl sra2hdr <SRA.prefix>\n") if (@ARGV == 0);
282   my $pre = $ARGV[0];
283   my $fh;
284   # read sample
285   my $sample = 'UNKNOWN';
286   open($fh, "$pre.sample.xml") || die;
287   while (<$fh>) {
288         $sample = $1 if (/<SAMPLE.*alias="([^"]+)"/i);
289   }
290   close($fh);
291   # read experiment
292   my (%exp2lib, $exp);
293   open($fh, "$pre.experiment.xml") || die;
294   while (<$fh>) {
295         if (/<EXPERIMENT.*accession="([^\s"]+)"/i) {
296           $exp = $1;
297         } elsif (/<LIBRARY_NAME>\s*(\S+)\s*<\/LIBRARY_NAME>/i) {
298           $exp2lib{$exp} = $1;
299         }
300   }
301   close($fh);
302   # read run
303   my ($run, @fn);
304   open($fh, "$pre.run.xml") || die;
305   while (<$fh>) {
306         if (/<RUN.*accession="([^\s"]+)"/i) {
307           $run = $1; @fn = ();
308         } elsif (/<EXPERIMENT_REF.*accession="([^\s"]+)"/i) {
309           print "\@RG\tID:$run\tSM:$sample\tLB:$exp2lib{$1}\n";
310         } elsif (/<FILE.*filename="([^\s"]+)"/i) {
311           push(@fn, $1);
312         } elsif (/<\/RUN>/i) {
313           if (@fn == 1) {
314                 print STDERR "$fn[0]\t$run\n";
315           } else {
316                 for (0 .. $#fn) {
317                   print STDERR "$fn[$_]\t$run", "_", $_+1, "\n";
318                 }
319           }
320         }
321   }
322   close($fh);
323 }
324
325 #
326 # unique
327 #
328
329 sub unique {
330   my %opts = (f=>250.0, q=>5, r=>2, a=>1, b=>3);
331   getopts('Qf:q:r:a:b:m', \%opts);
332   die("Usage: samtools.pl unique [-f $opts{f}] <in.sam>\n") if (@ARGV == 0 && -t STDIN);
333   my $last = '';
334   my $recal_Q = !defined($opts{Q});
335   my $multi_only = defined($opts{m});
336   my @a;
337   while (<>) {
338         my $score = -1;
339         print $_ if (/^\@/);
340         $score = $1 if (/AS:i:(\d+)/);
341         my @t = split("\t");
342         next if (@t < 11);
343         if ($score < 0) { # AS tag is unavailable
344           my $cigar = $t[5];
345           my ($mm, $go, $ge) = (0, 0, 0);
346           $cigar =~ s/(\d+)[ID]/++$go,$ge+=$1/eg;
347           $cigar = $t[5];
348           $cigar =~ s/(\d+)M/$mm+=$1/eg;
349           $score = $mm * $opts{a} - $go * $opts{q} - $ge * $opts{r}; # no mismatches...
350         }
351         $score = 1 if ($score < 1);
352         if ($t[0] ne $last) {
353           &unique_aux(\@a, $opts{f}, $recal_Q, $multi_only) if (@a);
354           $last = $t[0];
355         }
356         push(@a, [$score, \@t]);
357   }
358   &unique_aux(\@a, $opts{f}, $recal_Q, $multi_only) if (@a);
359 }
360
361 sub unique_aux {
362   my ($a, $fac, $is_recal, $multi_only) = @_;
363   my ($max, $max2, $max_i) = (0, 0, -1);
364   for (my $i = 0; $i < @$a; ++$i) {
365         if ($a->[$i][0] > $max) {
366           $max2 = $max; $max = $a->[$i][0]; $max_i = $i;
367         } elsif ($a->[$i][0] > $max2) {
368           $max2 = $a->[$i][0];
369         }
370   }
371   if ($is_recal) {
372         if (!$multi_only || @$a > 1) {
373           my $q = int($fac * ($max - $max2) / $max + .499);
374           $q = 250 if ($q > 250);
375           $a->[$max_i][1][4] = $q < 250? $q : 250;
376         }
377   }
378   print join("\t", @{$a->[$max_i][1]});
379   @$a = ();
380 }
381
382 #
383 # uniqcmp: compare two SAM files
384 #
385
386 sub uniqcmp {
387   my %opts = (q=>10, s=>100);
388   getopts('pq:s:', \%opts);
389   die("Usage: samtools.pl uniqcmp <in1.sam> <in2.sam>\n") if (@ARGV < 2);
390   my ($fh, %a);
391   warn("[uniqcmp] read the first file...\n");
392   &uniqcmp_aux($ARGV[0], \%a, 0);
393   warn("[uniqcmp] read the second file...\n");
394   &uniqcmp_aux($ARGV[1], \%a, 1);
395   warn("[uniqcmp] stats...\n");
396   my @cnt;
397   $cnt[$_] = 0 for (0..9);
398   for my $x (keys %a) {
399         my $p = $a{$x};
400         my $z;
401         if (defined($p->[0]) && defined($p->[1])) {
402           $z = ($p->[0][0] == $p->[1][0] && $p->[0][1] eq $p->[1][1] && abs($p->[0][2] - $p->[1][2]) < $opts{s})? 0 : 1;
403           if ($p->[0][3] >= $opts{q} && $p->[1][3] >= $opts{q}) {
404                 ++$cnt[$z*3+0];
405           } elsif ($p->[0][3] >= $opts{q}) {
406                 ++$cnt[$z*3+1];
407           } elsif ($p->[1][3] >= $opts{q}) {
408                 ++$cnt[$z*3+2];
409           }
410           print STDERR "$x\t$p->[0][1]:$p->[0][2]\t$p->[0][3]\t$p->[0][4]\t$p->[1][1]:$p->[1][2]\t$p->[1][3]\t$p->[1][4]\t",
411                 $p->[0][5]-$p->[1][5], "\n" if ($z && defined($opts{p}) && ($p->[0][3] >= $opts{q} || $p->[1][3] >= $opts{q}));
412         } elsif (defined($p->[0])) {
413           ++$cnt[$p->[0][3]>=$opts{q}? 6 : 7];
414           print STDERR "$x\t$p->[0][1]:$p->[0][2]\t$p->[0][3]\t$p->[0][4]\t*\t0\t*\t",
415                 $p->[0][5], "\n" if (defined($opts{p}) && $p->[0][3] >= $opts{q});
416         } else {
417           print STDERR "$x\t*\t0\t*\t$p->[1][1]:$p->[1][2]\t$p->[1][3]\t$p->[1][4]\t",
418                 -$p->[1][5], "\n" if (defined($opts{p}) && $p->[1][3] >= $opts{q});
419           ++$cnt[$p->[1][3]>=$opts{q}? 8 : 9];
420         }
421   }
422   print "Consistent (high, high):   $cnt[0]\n";
423   print "Consistent (high, low ):   $cnt[1]\n";
424   print "Consistent (low , high):   $cnt[2]\n";
425   print "Inconsistent (high, high): $cnt[3]\n";
426   print "Inconsistent (high, low ): $cnt[4]\n";
427   print "Inconsistent (low , high): $cnt[5]\n";
428   print "Second missing (high):     $cnt[6]\n";
429   print "Second missing (low ):     $cnt[7]\n";
430   print "First  missing (high):     $cnt[8]\n";
431   print "First  missing (low ):     $cnt[9]\n";
432 }
433
434 sub uniqcmp_aux {
435   my ($fn, $a, $which) = @_;
436   my $fh;
437   $fn = "samtools view $fn |" if ($fn =~ /\.bam/);
438   open($fh, $fn) || die;
439   while (<$fh>) {
440         my @t = split;
441         next if (@t < 11);
442 #       my $l = ($t[5] =~ /^(\d+)S/)? $1 : 0;
443         my $l = 0;
444         my ($x, $nm) = (0, 0);
445         $nm = $1 if (/NM:i:(\d+)/);
446         $_ = $t[5];
447         s/(\d+)[MI]/$x+=$1/eg;
448         @{$a->{$t[0]}[$which]} = (($t[1]&0x10)? 1 : 0, $t[2], $t[3]-$l, $t[4], "$x:$nm", $x - 4 * $nm);
449   }
450   close($fh);
451 }
452
453 #
454 # Usage
455 #
456
457 sub usage {
458   die(qq/
459 Program: samtools.pl (helper script for SAMtools)
460 Version: $version
461 Contact: Heng Li <lh3\@sanger.ac.uk>\n
462 Usage:   samtools.pl <command> [<arguments>]\n
463 Command: varFilter     filtering SNPs and short indels
464          pileup2fq     generate fastq from `pileup -c'
465          showALEN      print alignment length (ALEN) following CIGAR
466 \n/);
467 }