bp_bin/count_vals

   1 #!/usr/bin/env perl -w
   2
   3 # Copyright (C) 2007-2009 Martin A. Hansen.
   4
   5 # This program is free software; you can redistribute it and/or
   6 # modify it under the terms of the GNU General Public License
   7 # as published by the Free Software Foundation; either version 2
   8 # of the License, or (at your option) any later version.
   9
  10 # This program is distributed in the hope that it will be useful,
  11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 # GNU General Public License for more details.
  14
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program; if not, write to the Free Software
  17 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
  18
  19 # http://www.gnu.org/copyleft/gpl.html
  20
  21
  22 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> DESCRIPTION <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  23
  24 # Count the number of times values of given keys exists in stream.
  25
  26 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  27
  28
  29 use strict;
  30 use Maasha::Filesys;
  31 use Maasha::Biopieces;
  32
  33
  34 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
  35
  36
  37 my ( $options, $in, $out, $num, $record, %count_hash, @records, $tmp_dir, $tmp_file, $fh_out, $fh_in, $cache );
  38
  39 $options = Maasha::Biopieces::parse_options(
  40     [
  41         { long => 'keys', short => 'k', type => 'list', mandatory => 'yes', default => undef, allowed => undef, disallowed => undef },
  42     ]
  43 );
  44
  45 $in  = Maasha::Biopieces::read_stream( $options->{ "stream_in" } );
  46 $out = Maasha::Biopieces::write_stream( $options->{ "stream_out" } );
  47
  48 $tmp_dir  = Maasha::Biopieces::get_tmpdir();
  49
  50 $tmp_file = "$tmp_dir/count_cache.tmp";
  51
  52 $fh_out   = Maasha::Filesys::file_write_open( $tmp_file );
  53
  54 $cache    = 0;
  55 $num      = 0;
  56
  57 while ( $record = Maasha::Biopieces::get_record( $in ) )
  58 {
  59     map { $count_hash{ $_ }{ $record->{ $_ } }++ if exists $record->{ $_ } } @{ $options->{ "keys" } };
  60
  61     push @records, $record;
  62
  63     if ( scalar @records > 5_000_000 )   # too many records to hold in memory - use disk cache
  64     {
  65         map { Maasha::Biopieces::put_record( $_, $fh_out ) } @records;
  66
  67         undef @records;
  68
  69         $cache = 1;
  70     }
  71
  72     print STDERR "verbose: records read $num\n" if ( $options->{ 'verbose' } and ( $num % 1_000_000 ) == 0 );
  73
  74     $num++;
  75 }
  76
  77 close $fh_out;
  78
  79 if ( $cache )
  80 {
  81     $num   = 0;
  82
  83     $fh_in = Maasha::Common::read_open( $tmp_file );
  84
  85     while ( $record = Maasha::Biopieces::get_record( $fh_in ) )
  86     {
  87         map { $record->{ $_ . "_COUNT" } = $count_hash{ $_ }{ $record->{ $_ } } if exists $record->{ $_ } } @{ $options->{ "keys" } };
  88
  89         Maasha::Biopieces::put_record( $record, $out );
  90
  91         print STDERR "verbose: cache read $num\n" if ( $options->{ 'verbose' } and ( $num % 1_000_000 ) == 0 );
  92
  93         $num++;
  94     }
  95
  96     close $fh_in;
  97 }
  98
  99 foreach $record ( @records )
 100 {
 101     map { $record->{ $_ . "_COUNT" } = $count_hash{ $_ }{ $record->{ $_ } } if exists $record->{ $_ } } @{ $options->{ "keys" } };
 102
 103     Maasha::Biopieces::put_record( $record, $out );
 104 }
 105
 106 unlink $tmp_file;
 107
 108 Maasha::Biopieces::close_stream( $in );
 109 Maasha::Biopieces::close_stream( $out );
 110
 111
 112 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
 113
 114
 115 BEGIN
 116 {
 117     Maasha::Biopieces::status_set();
 118 }
 119
 120
 121 END
 122 {
 123     Maasha::Biopieces::status_log();
 124 }
 125
 126
 127 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
 128
 129
 130 __END__