]> git.donarmstrong.com Git - biopieces.git/blob - bp_bin/BGB_upload
moving back to binned index and using JSON for storing
[biopieces.git] / bp_bin / BGB_upload
1 #!/usr/bin/env perl
2
3 # Copyright (C) 2007-2009 Martin A. Hansen.
4
5 # This program is free software; you can redistribute it and/or
6 # modify it under the terms of the GNU General Public License
7 # as published by the Free Software Foundation; either version 2
8 # of the License, or (at your option) any later version.
9
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301, USA.
18
19 # http://www.gnu.org/copyleft/gpl.html
20
21
22 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> DESCRIPTION <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
23
24 # Write Biopiece records to the Biopieces Genome browser.
25
26 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
27
28
29 use warnings;
30 use strict;
31 use Data::Dumper;
32 use Maasha::Common;
33 use Maasha::KISS;
34 use Maasha::Biopieces;
35 use Maasha::Fasta;
36 use Maasha::BGB::Common;
37 use Maasha::Filesys;
38
39 use constant {
40     SEQ_NAME => 0,
41     SEQ      => 1,
42
43     S_ID     => 0,
44 };
45
46
47 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
48
49
50 my ( $data_dir, $user, $options, $path, $in, $out, $tmp_dir, %fh_hash, $fh_out, $record, $entry, $key, $dst_dir, @nums, $num, $contig_dir );
51
52 $data_dir = Maasha::Biopieces::biopiecesrc( "BGB_DATA_DIR" );
53 $user     = Maasha::Biopieces::biopiecesrc( "BGB_USER" );
54
55 $options = Maasha::Biopieces::parse_options(
56     [
57         { long => 'user',       short => 'u', type => 'string', mandatory => 'no',  default => $user, allowed => undef, disallowed => undef },
58         { long => 'clade',      short => 'c', type => 'string', mandatory => 'yes', default => undef, allowed => undef, disallowed => undef },
59         { long => 'genome',     short => 'g', type => 'string', mandatory => 'yes', default => undef, allowed => undef, disallowed => undef },
60         { long => 'assembly',   short => 'a', type => 'string', mandatory => 'yes', default => undef, allowed => undef, disallowed => undef },
61         { long => 'track_name', short => 't', type => 'string', mandatory => 'no',  default => undef, allowed => undef, disallowed => undef },
62         { long => 'force',      short => 'f', type => 'flag',   mandatory => 'no',  default => undef, allowed => undef, disallowed => undef },
63         { long => 'no_stream',  short => 'x', type => 'flag',   mandatory => 'no',  default => undef, allowed => undef, disallowed => undef },
64     ]   
65 );
66
67 $in  = Maasha::Biopieces::read_stream( $options->{ "stream_in" } );
68 $out = Maasha::Biopieces::write_stream( $options->{ "stream_out" } );
69
70 if ( $options->{ 'track_name' } )
71 {
72     $options->{ 'track_name' } =~ tr/ /_/;
73
74     $path = join "/", $data_dir, "Users", $options->{ 'user' }, $options->{ 'clade' }, $options->{ 'genome' }, $options->{ 'assembly' };
75
76     Maasha::Common::error( qq(Path not found: "$path") ) if not -d $path;
77
78     $tmp_dir = Maasha::Biopieces::get_tmpdir();
79
80     while ( $record = Maasha::Biopieces::get_record( $in ) ) 
81     {
82         if ( $entry = Maasha::KISS::biopiece2kiss( $record ) )
83         {
84             $entry->[ S_ID ] = ( split / /, $entry->[ S_ID ] )[ 0 ];
85
86             if ( not exists $fh_hash{ $entry->[ S_ID ] } ) {
87                 $fh_hash{ $entry->[ S_ID ] } = Maasha::Filesys::file_write_open( "$tmp_dir/$entry->[ S_ID ]" );
88             }
89
90             $fh_out = $fh_hash{ $entry->[ S_ID ] };
91
92             Maasha::KISS::kiss_entry_put( $entry, $fh_out );
93         }
94
95         Maasha::Biopieces::put_record( $record, $out ) if not $options->{ "no_stream" };
96     }
97
98     $num = Maasha::BGB::Common::max_track( $options->{ 'user' }, $options->{ 'clade' }, $options->{ 'genome' }, $options->{ 'assembly' } );
99     $num = sprintf( "%04d", $num + 10 );
100
101     foreach $key ( keys %fh_hash )
102     {
103         close $fh_hash{ $key };
104
105         $dst_dir = Maasha::Filesys::dir_create_if_not_exists( "$path/$key" );
106         $dst_dir = Maasha::Filesys::dir_create_if_not_exists( "$dst_dir/Tracks" );
107
108         $dst_dir = "$dst_dir/$num" . "_$options->{ 'track_name' }";
109
110         Maasha::Filesys::dir_create( $dst_dir );
111
112         Maasha::Filesys::file_copy( "$tmp_dir/$key", "$dst_dir/track_data.kiss" );
113
114         Maasha::KISS::kiss_sort( "$dst_dir/track_data.kiss" );
115         Maasha::KISS::kiss_index( "$dst_dir/track_data.kiss" );
116
117         unlink "$tmp_dir/$key";
118     }
119 }
120 else
121 {
122     $path = join "/", $data_dir, "Users/", $options->{ 'user' }, $options->{ 'clade' };
123
124     Maasha::Common::error( qq(Path not found: "$path") ) if not -d $path;
125
126     $dst_dir = Maasha::Filesys::dir_create_if_not_exists( "$path/$options->{ 'genome' }" );
127     $dst_dir = Maasha::Filesys::dir_create( "$dst_dir/$options->{ 'assembly' }" );
128
129     while ( $record = Maasha::Biopieces::get_record( $in ) ) 
130     {
131         if ( $entry = Maasha::Fasta::biopiece2fasta( $record ) )
132         {
133             $entry->[ SEQ_NAME ] = ( split " ", $entry->[ SEQ_NAME ] )[ 0 ];
134
135             if ( $options->{ 'force' } ) {
136                 Maasha::Filesys::dir_remove( "$dst_dir/$entry->[ SEQ_NAME ]" );
137             }
138
139             $contig_dir = Maasha::Filesys::dir_create( "$dst_dir/$entry->[ SEQ_NAME ]" );
140             $contig_dir = Maasha::Filesys::dir_create( "$contig_dir/Sequence" );
141             
142             $fh_out = Maasha::Filesys::file_write_open( "$contig_dir/sequence.txt" );
143             print $fh_out $entry->[ SEQ ];
144             close $fh_out;
145         }
146     }
147 }
148
149 Maasha::Biopieces::close_stream( $in );
150 Maasha::Biopieces::close_stream( $out );
151
152
153 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
154
155
156 BEGIN
157 {
158     Maasha::Biopieces::status_set();
159 }
160
161
162 END
163 {
164     Maasha::Biopieces::status_log();
165 }
166
167
168 # >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>><<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
169
170
171 __END__