README.md

   1 README for RSEM
   2 ===============
   3
   4 [Bo Li](http://pages.cs.wisc.edu/~bli) \(bli at cs dot wisc dot edu\)
   5
   6 * * *
   7
   8 Table of Contents
   9 -----------------
  10
  11 * [Introduction](#introduction)
  12 * [Compilation & Installation](#compilation)
  13 * [Usage](#usage)
  14 * [Example](#example)
  15 * [Simulation](#simulation)
  16 * [Generate Transcript-to-Gene-Map from Trinity Output](#gen_trinity)
  17 * [Acknowledgements](#acknowledgements)
  18 * [License](#license)
  19
  20 * * *
  21
  22 ## <a name="introduction"></a> Introduction
  23
  24 RSEM is a software package for estimating gene and isoform expression
  25 levels from RNA-Seq data.  The new RSEM package (rsem-1.x) provides an
  26 user-friendly interface, supports threads for parallel computation of
  27 the EM algorithm, single-end and paired-end read data, quality scores,
  28 variable-length reads and RSPD estimation. It can also generate
  29 genomic-coordinate BAM files and UCSC wiggle files for
  30 visualization. In addition, it provides posterior mean and 95%
  31 credibility interval estimates for expression levels. For
  32 visualization, it can also generate transcript-coordinate BAM files
  33 and visualize them and also models learned.
  34
  35 ## <a name="compilation"></a> Compilation & Installation
  36
  37 To compile RSEM, simply run
  38
  39     make
  40
  41 To install, simply put the rsem directory in your environment's PATH
  42 variable.
  43
  44 ### Prerequisites
  45
  46 C++ and Perl are required to be installed.
  47
  48 To take advantage of RSEM's built-in support for the Bowtie alignment
  49 program, you must have [Bowtie](http://bowtie-bio.sourceforge.net) installed.
  50
  51 If you want to plot model learned by RSEM, you should also install R.
  52
  53 ## <a name="usage"></a> Usage
  54
  55 ### I. Preparing Reference Sequences
  56
  57 RSEM can extract reference transcripts from a genome if you provide it
  58 with gene annotations in a GTF file.  Alternatively, you can provide
  59 RSEM with transcript sequences directly.
  60
  61 Please note that GTF files generated from the UCSC Table Browser do not
  62 contain isoform-gene relationship information.  However, if you use the
  63 UCSC Genes annotation track, this information can be recovered by
  64 downloading the knownIsoforms.txt file for the appropriate genome.
  65
  66 To prepare the reference sequences, you should run the
  67 'rsem-prepare-reference' program.  Run
  68
  69     rsem-prepare-reference --help
  70
  71 to get usage information or visit the [rsem-prepare-reference
  72 documentation page](http://deweylab.biostat.wisc.edu/rsem/rsem-prepare-reference.html).
  73
  74 ### II. Calculating Expression Values
  75
  76 To calculate expression values, you should run the
  77 'rsem-calculate-expression' program.  Run
  78
  79     rsem-calculate-expression --help
  80
  81 to get usage information or visit the [rsem-calculate-expression
  82 documentation page](http://deweylab.biostat.wisc.edu/rsem/rsem-calculate-expression.html).
  83
  84 #### Calculating expression values from single-end data
  85
  86 For single-end models, users have the option of providing a fragment
  87 length distribution via the '--fragment-length-mean' and
  88 '--fragment-length-sd' options.  The specification of an accurate fragment
  89 length distribution is important for the accuracy of expression level
  90 estimates from single-end data.  If the fragment length mean and sd are
  91 not provided, RSEM will not take a fragment length distribution into
  92 consideration.
  93
  94 #### Using an alternative aligner
  95
  96 By default, RSEM automates the alignment of reads to reference
  97 transcripts using the Bowtie alignment program.  To use an alternative
  98 alignment program, align the input reads against the file
  99 'reference_name.idx.fa' generated by 'rsem-prepare-reference', and format
 100 the alignment output in SAM or BAM format.  Then, instead of providing
 101 reads to 'rsem-calculate-expression', specify the '--sam' or '--bam' option
 102 and provide the SAM or BAM file as an argument.  When using an
 103 alternative aligner, you may also want to provide the '--no-bowtie' option
 104 to 'rsem-prepare-reference' so that the Bowtie indices are not built.
 105
 106 Some aligners' (other than Bowtie) output might need to be converted
 107 so that RSEM can use. For conversion, please run
 108
 109    convert-sam-for-rsem --help
 110
 111 to get usage information or visit the [convert-sam-for-rsem
 112 documentation
 113 page](http://deweylab.biostat.wisc.edu/rsem/convert-sam-for-rsem.html).
 114
 115 However, please note that RSEM does ** not ** support gapped
 116 alignments. So make sure that your aligner does not produce alignments
 117 with intersions/deletions. Also, please make sure that you use
 118 'reference_name.idx.fa' , which is generated by RSEM, to build your
 119 aligner's indices.
 120
 121 ### III. Visualization
 122
 123 RSEM contains a version of samtools in the 'sam' subdirectory. RSEM
 124 will always produce three files:'sample_name.transcript.bam', the
 125 unsorted BAM file, 'sample_name.transcript.sorted.bam' and
 126 'sample_name.transcript.sorted.bam.bai' the sorted BAM file and
 127 indices generated by the samtools included. All three files are in
 128 transcript coordinates. When users specify the --output-genome-bam
 129 option RSEM will produce three files: 'sample_name.genome.bam', the
 130 unsorted BAM file, 'sample_name.genome.sorted.bam' and
 131 'sample_name.genome.sorted.bam.bai' the sorted BAM file and indices
 132 generated by the samtools included. All these files are in genomic
 133 coordinates.
 134
 135 #### a) Generating a UCSC Wiggle file
 136
 137 A wiggle plot representing the expected number of reads overlapping
 138 each position in the genome can be generated from the sorted genome
 139 BAM file output.  To generate the wiggle plot, run the 'rsem-bam2wig'
 140 program on the 'sample_name.genome.sorted.bam' file.
 141
 142 Usage:
 143
 144     rsem-bam2wig bam_input wig_output wiggle_name
 145
 146 bam_input: sorted bam file
 147 wig_output: output file name, e.g. output.wig
 148 wiggle_name: the name the user wants to use for this wiggle plot
 149
 150 #### b) Loading a BAM and/or Wiggle file into the UCSC Genome Browser
 151
 152 Refer to the [UCSC custom track help page](http://genome.ucsc.edu/goldenPath/help/customTrack.html).
 153
 154 #### c) Generating Transcript Wiggle Plots
 155
 156 To generate transcript wiggle plots, you should run the
 157 'rsem-plot-transcript-wiggles' program.  Run
 158
 159     rsem-plot-transcript-wiggles --help
 160
 161 to get usage information or visit the [rsem-plot-transcript-wiggles
 162 documentation page](http://deweylab.biostat.wisc.edu/rsem/rsem-plot-transcript-wiggles.html).
 163
 164 #### d) Visualize the model learned by RSEM
 165
 166 RSEM provides an R script, 'rsem-plot-model', for visulazing the model learned.
 167
 168 Usage:
 169
 170     rsem-plot-model sample_name output_plot_file
 171
 172 sample_name: the name of the sample analyzed
 173 output_plot_file: the file name for plots generated from the model. It is a pdf file
 174
 175 The plots generated depends on read type and user configuration. It
 176 may include fragment length distribution, mate length distribution,
 177 read start position distribution (RSPD), quality score vs observed
 178 quality given a reference base, position vs percentage of sequencing
 179 error given a reference base and histogram of reads with different
 180 number of alignments.
 181
 182 fragment length distribution and mate length distribution: x-axis is fragment/mate length, y axis is the probability of generating a fragment/mate with the associated length
 183
 184 RSPD: Read Start Position Distribution. x-axis is bin number, y-axis is the probability of each bin. RSPD can be used as an indicator of 3' bias
 185
 186 Quality score vs. observed quality given a reference base: x-axis is Phred quality scores associated with data, y-axis is the "observed quality", Phred quality scores learned by RSEM from the data. Q = -10log_10(P), where Q is Phred quality score and P is the probability of sequencing error for a particular base
 187
 188 Position vs. percentage sequencing error given a reference base: x-axis is position and y-axis is percentage sequencing error
 189
 190 Histogram of reads with different number of alignments: x-axis is the number of alignments a read has and y-axis is the number of such reads. The inf in x-axis means number of reads filtered due to too many alignments
 191
 192 ## <a name="example"></a> Example
 193
 194 Suppose we download the mouse genome from UCSC Genome Browser.  We
 195 will use a reference_name of 'mm9'.  We have a FASTQ-formatted file,
 196 'mmliver.fq', containing single-end reads from one sample, which we
 197 call 'mmliver_single_quals'.  We want to estimate expression values by
 198 using the single-end model with a fragment length distribution. We
 199 know that the fragment length distribution is approximated by a normal
 200 distribution with a mean of 150 and a standard deviation of 35. We
 201 wish to generate 95% credibility intervals in addition to maximum
 202 likelihood estimates.  RSEM will be allowed 1G of memory for the
 203 credibility interval calculation.  We will visualize the probabilistic
 204 read mappings generated by RSEM on UCSC genome browser. We will
 205 generate a list of genes' transcript wiggle plots in 'output.pdf'. The
 206 list is 'gene_ids.txt'. We will visualize the models learned in
 207 'mmliver_single_quals.models.pdf'
 208
 209 The commands for this scenario are as follows:
 210
 211     rsem-prepare-reference --gtf mm9.gtf --mapping knownIsoforms.txt --bowtie-path /sw/bowtie /data/mm9 /ref/mm9
 212     rsem-calculate-expression --bowtie-path /sw/bowtie --phred64-quals --fragment-length-mean 150.0 --fragment-length-sd 35.0 -p 8 --output-genome-bam --calc-ci --memory-allocate 1024 /data/mmliver.fq /ref/mm9 mmliver_single_quals
 213     rsem-bam2wig mmliver_single_quals.sorted.bam mmliver_single_quals.sorted.wig mmliver_single_quals
 214     rsem-plot-transcript-wiggles --gene-list --show-unique mmliver_single_quals gene_ids.txt output.pdf
 215     rsem-plot-model mmliver_single_quals mmliver_single_quals.models.pdf
 216
 217 ## <a name="simulation"></a> Simulation
 218
 219 ### Usage:
 220
 221     rsem-simulate-reads reference_name estimated_model_file estimated_isoform_results theta0 N output_name [-q]
 222
 223 estimated_model_file:  file containing model parameters.  Generated by
 224 rsem-calculate-expression.
 225 estimated_isoform_results: file containing isoform expression levels.
 226 Generated by rsem-calculate-expression.
 227 theta0: fraction of reads that are "noise" (not derived from a transcript).
 228 N: number of reads to simulate.
 229 output_name: prefix for all output files.
 230 [-q] : set it will stop outputting intermediate information.
 231
 232 ### Outputs:
 233
 234 output_name.fa if single-end without quality score;
 235 output_name.fq if single-end with quality score;
 236 output_name_1.fa & output_name_2.fa if paired-end without quality
 237 score;
 238 output_name_1.fq & output_name_2.fq if paired-end with quality score.
 239
 240 output_name.sim.isoforms.results, output_name.sim.genes.results : Results estimated based on sample values.
 241
 242 ## <a name="gen_trinity"></a> Generate Transcript-to-Gene-Map from Trinity Output
 243
 244 For Trinity users, RSEM provides a perl script to generate transcript-to-gene-map file from the fasta file produced by Trinity.
 245
 246 ### Usage:
 247
 248     extract-transcript-to-gene-map-from-trinity trinity_fasta_file map_file
 249
 250 trinity_fasta_file: the fasta file produced by trinity, which contains all transcripts assembled.
 251 map_file: transcript-to-gene-map file's name.
 252
 253 ## <a name="acknowledgements"></a> Acknowledgements
 254
 255 RSEM uses the [Boost C++](http://www.boost.org) and
 256 [samtools](http://samtools.sourceforge.net) libraries.
 257
 258 ## <a name="license"></a> License
 259
 260 RSEM is licensed under the [GNU General Public License v3](http://www.gnu.org/licenses/gpl-3.0.html).