README.md

   1 README for RSEM
   2 ===============
   3
   4 [Bo Li](http://pages.cs.wisc.edu/~bli) \(bli at cs dot wisc dot edu\)
   5
   6 * * *
   7
   8 Table of Contents
   9 -----------------
  10
  11 * [Introduction](#introduction)
  12 * [Compilation & Installation](#compilation)
  13 * [Usage](#usage)
  14 * [Example](#example)
  15 * [Simulation](#simulation)
  16 * [Generate Transcript-to-Gene-Map from Trinity Output](#gen_trinity)
  17 * [Acknowledgements](#acknowledgements)
  18 * [License](#license)
  19
  20 * * *
  21
  22 ## <a name="introduction"></a> Introduction
  23
  24 RSEM is a software package for estimating gene and isoform expression
  25 levels from RNA-Seq data. The RSEM package provides an user-friendly
  26 interface, supports threads for parallel computation of the EM
  27 algorithm, single-end and paired-end read data, quality scores,
  28 variable-length reads and RSPD estimation. In addition, it provides
  29 posterior mean and 95% credibility interval estimates for expression
  30 levels. For visualization, It can generate BAM and Wiggle files in
  31 both transcript-coordinate and genomic-coordinate. Genomic-coordinate
  32 files can be visualized by both UCSC Genome browser and Broad
  33 Institute's Integrative Genomics Viewer (IGV). Transcript-coordinate
  34 files can be visualized by IGV. RSEM also has its own scripts to
  35 generate transcript read depth plots in pdf format. The unique feature
  36 of RSEM is, the read depth plots can be stacked, with read depth
  37 contributed to unique reads shown in black and contributed to
  38 multi-reads shown in red. In addition, models learned from data can
  39 also be visualized. Last but not least, RSEM contains a simulator.
  40
  41 ## <a name="compilation"></a> Compilation & Installation
  42
  43 To compile RSEM, simply run
  44
  45     make
  46
  47 To install, simply put the rsem directory in your environment's PATH
  48 variable.
  49
  50 ### Prerequisites
  51
  52 C++ and Perl are required to be installed.
  53
  54 To take advantage of RSEM's built-in support for the Bowtie alignment
  55 program, you must have [Bowtie](http://bowtie-bio.sourceforge.net) installed.
  56
  57 If you want to plot model learned by RSEM, you should also install R.
  58
  59 ## <a name="usage"></a> Usage
  60
  61 ### I. Preparing Reference Sequences
  62
  63 RSEM can extract reference transcripts from a genome if you provide it
  64 with gene annotations in a GTF file.  Alternatively, you can provide
  65 RSEM with transcript sequences directly.
  66
  67 Please note that GTF files generated from the UCSC Table Browser do not
  68 contain isoform-gene relationship information.  However, if you use the
  69 UCSC Genes annotation track, this information can be recovered by
  70 downloading the knownIsoforms.txt file for the appropriate genome.
  71
  72 To prepare the reference sequences, you should run the
  73 'rsem-prepare-reference' program.  Run
  74
  75     rsem-prepare-reference --help
  76
  77 to get usage information or visit the [rsem-prepare-reference
  78 documentation page](http://deweylab.biostat.wisc.edu/rsem/rsem-prepare-reference.html).
  79
  80 ### II. Calculating Expression Values
  81
  82 To calculate expression values, you should run the
  83 'rsem-calculate-expression' program.  Run
  84
  85     rsem-calculate-expression --help
  86
  87 to get usage information or visit the [rsem-calculate-expression
  88 documentation page](http://deweylab.biostat.wisc.edu/rsem/rsem-calculate-expression.html).
  89
  90 #### Calculating expression values from single-end data
  91
  92 For single-end models, users have the option of providing a fragment
  93 length distribution via the '--fragment-length-mean' and
  94 '--fragment-length-sd' options.  The specification of an accurate fragment
  95 length distribution is important for the accuracy of expression level
  96 estimates from single-end data.  If the fragment length mean and sd are
  97 not provided, RSEM will not take a fragment length distribution into
  98 consideration.
  99
 100 #### Using an alternative aligner
 101
 102 By default, RSEM automates the alignment of reads to reference
 103 transcripts using the Bowtie alignment program.  To use an alternative
 104 alignment program, align the input reads against the file
 105 'reference_name.idx.fa' generated by 'rsem-prepare-reference', and format
 106 the alignment output in SAM or BAM format.  Then, instead of providing
 107 reads to 'rsem-calculate-expression', specify the '--sam' or '--bam' option
 108 and provide the SAM or BAM file as an argument.  When using an
 109 alternative aligner, you may also want to provide the '--no-bowtie' option
 110 to 'rsem-prepare-reference' so that the Bowtie indices are not built.
 111
 112 RSEM requires all alignments of the same read group together. For
 113 paired-end reads, RSEM also requires the two mates of any alignment be
 114 adjacent. If the alternative aligner does not satisfy the first
 115 requirement, you can use 'convert-sam-for-rsem' for conversion. Please run
 116
 117    convert-sam-for-rsem --help
 118
 119 to get usage information or visit the [convert-sam-for-rsem
 120 documentation
 121 page](http://deweylab.biostat.wisc.edu/rsem/convert-sam-for-rsem.html).
 122
 123 However, please note that RSEM does ** not ** support gapped
 124 alignments. So make sure that your aligner does not produce alignments
 125 with intersions/deletions. Also, please make sure that you use
 126 'reference_name.idx.fa' , which is generated by RSEM, to build your
 127 aligner's indices.
 128
 129 ### III. Visualization
 130
 131 RSEM contains a version of samtools in the 'sam' subdirectory. RSEM
 132 will always produce three files:'sample_name.transcript.bam', the
 133 unsorted BAM file, 'sample_name.transcript.sorted.bam' and
 134 'sample_name.transcript.sorted.bam.bai' the sorted BAM file and
 135 indices generated by the samtools included. All three files are in
 136 transcript coordinates. When users specify the --output-genome-bam
 137 option RSEM will produce three files: 'sample_name.genome.bam', the
 138 unsorted BAM file, 'sample_name.genome.sorted.bam' and
 139 'sample_name.genome.sorted.bam.bai' the sorted BAM file and indices
 140 generated by the samtools included. All these files are in genomic
 141 coordinates.
 142
 143 #### a) Generating a Wiggle file
 144
 145 A wiggle plot representing the expected number of reads overlapping
 146 each position in the genome/transcript set can be generated from the
 147 sorted genome/transcript BAM file output.  To generate the wiggle
 148 plot, run the 'rsem-bam2wig' program on the
 149 'sample_name.genome.sorted.bam'/'sample_name.transcript.sorted.bam' file.
 150
 151 Usage:
 152
 153     rsem-bam2wig sorted_bam_input wig_output wiggle_name
 154
 155 sorted_bam_input: sorted bam file
 156 wig_output: output file name, e.g. output.wig
 157 wiggle_name: the name the user wants to use for this wiggle plot
 158
 159 #### b) Loading a BAM and/or Wiggle file into the UCSC Genome Browser or Integrative Genomics Viewer(IGV)
 160
 161 For UCSC genome browser, please refer to the [UCSC custom track help page](http://genome.ucsc.edu/goldenPath/help/customTrack.html).
 162
 163 For integrative genomics viewer, please refer to the [IGV home page](http://www.broadinstitute.org/software/igv/home). Note: Although IGV can generate read depth plot from the BAM file given, it cannot recognize "ZW" tag RSEM puts. Therefore IGV counts each alignment as weight 1 instead of the expected weight for the plot it generates. So we recommend to use the wiggle file generated by RSEM for read depth visualization.
 164
 165 #### c) Generating Transcript Wiggle Plots
 166
 167 To generate transcript wiggle plots, you should run the
 168 'rsem-plot-transcript-wiggles' program.  Run
 169
 170     rsem-plot-transcript-wiggles --help
 171
 172 to get usage information or visit the [rsem-plot-transcript-wiggles
 173 documentation page](http://deweylab.biostat.wisc.edu/rsem/rsem-plot-transcript-wiggles.html).
 174
 175 #### d) Visualize the model learned by RSEM
 176
 177 RSEM provides an R script, 'rsem-plot-model', for visulazing the model learned.
 178
 179 Usage:
 180
 181     rsem-plot-model sample_name output_plot_file
 182
 183 sample_name: the name of the sample analyzed
 184 output_plot_file: the file name for plots generated from the model. It is a pdf file
 185
 186 The plots generated depends on read type and user configuration. It
 187 may include fragment length distribution, mate length distribution,
 188 read start position distribution (RSPD), quality score vs observed
 189 quality given a reference base, position vs percentage of sequencing
 190 error given a reference base and histogram of reads with different
 191 number of alignments.
 192
 193 fragment length distribution and mate length distribution: x-axis is fragment/mate length, y axis is the probability of generating a fragment/mate with the associated length
 194
 195 RSPD: Read Start Position Distribution. x-axis is bin number, y-axis is the probability of each bin. RSPD can be used as an indicator of 3' bias
 196
 197 Quality score vs. observed quality given a reference base: x-axis is Phred quality scores associated with data, y-axis is the "observed quality", Phred quality scores learned by RSEM from the data. Q = -10log_10(P), where Q is Phred quality score and P is the probability of sequencing error for a particular base
 198
 199 Position vs. percentage sequencing error given a reference base: x-axis is position and y-axis is percentage sequencing error
 200
 201 Histogram of reads with different number of alignments: x-axis is the number of alignments a read has and y-axis is the number of such reads. The inf in x-axis means number of reads filtered due to too many alignments
 202
 203 ## <a name="example"></a> Example
 204
 205 Suppose we download the mouse genome from UCSC Genome Browser.  We
 206 will use a reference_name of 'mm9'.  We have a FASTQ-formatted file,
 207 'mmliver.fq', containing single-end reads from one sample, which we
 208 call 'mmliver_single_quals'.  We want to estimate expression values by
 209 using the single-end model with a fragment length distribution. We
 210 know that the fragment length distribution is approximated by a normal
 211 distribution with a mean of 150 and a standard deviation of 35. We
 212 wish to generate 95% credibility intervals in addition to maximum
 213 likelihood estimates.  RSEM will be allowed 1G of memory for the
 214 credibility interval calculation.  We will visualize the probabilistic
 215 read mappings generated by RSEM on UCSC genome browser. We will
 216 generate a list of genes' transcript wiggle plots in 'output.pdf'. The
 217 list is 'gene_ids.txt'. We will visualize the models learned in
 218 'mmliver_single_quals.models.pdf'
 219
 220 The commands for this scenario are as follows:
 221
 222     rsem-prepare-reference --gtf mm9.gtf --mapping knownIsoforms.txt --bowtie-path /sw/bowtie /data/mm9 /ref/mm9
 223     rsem-calculate-expression --bowtie-path /sw/bowtie --phred64-quals --fragment-length-mean 150.0 --fragment-length-sd 35.0 -p 8 --output-genome-bam --calc-ci --memory-allocate 1024 /data/mmliver.fq /ref/mm9 mmliver_single_quals
 224     rsem-bam2wig mmliver_single_quals.sorted.bam mmliver_single_quals.sorted.wig mmliver_single_quals
 225     rsem-plot-transcript-wiggles --gene-list --show-unique mmliver_single_quals gene_ids.txt output.pdf
 226     rsem-plot-model mmliver_single_quals mmliver_single_quals.models.pdf
 227
 228 ## <a name="simulation"></a> Simulation
 229
 230 ### Usage:
 231
 232     rsem-simulate-reads reference_name estimated_model_file estimated_isoform_results theta0 N output_name [-q]
 233
 234 estimated_model_file:  file containing model parameters.  Generated by
 235 rsem-calculate-expression.
 236 estimated_isoform_results: file containing isoform expression levels.
 237 Generated by rsem-calculate-expression.
 238 theta0: fraction of reads that are "noise" (not derived from a transcript).
 239 N: number of reads to simulate.
 240 output_name: prefix for all output files.
 241 [-q] : set it will stop outputting intermediate information.
 242
 243 ### Outputs:
 244
 245 output_name.fa if single-end without quality score;
 246 output_name.fq if single-end with quality score;
 247 output_name_1.fa & output_name_2.fa if paired-end without quality
 248 score;
 249 output_name_1.fq & output_name_2.fq if paired-end with quality score.
 250
 251 output_name.sim.isoforms.results, output_name.sim.genes.results : Results estimated based on sample values.
 252
 253 ## <a name="gen_trinity"></a> Generate Transcript-to-Gene-Map from Trinity Output
 254
 255 For Trinity users, RSEM provides a perl script to generate transcript-to-gene-map file from the fasta file produced by Trinity.
 256
 257 ### Usage:
 258
 259     extract-transcript-to-gene-map-from-trinity trinity_fasta_file map_file
 260
 261 trinity_fasta_file: the fasta file produced by trinity, which contains all transcripts assembled.
 262 map_file: transcript-to-gene-map file's name.
 263
 264 ## <a name="acknowledgements"></a> Acknowledgements
 265
 266 RSEM uses the [Boost C++](http://www.boost.org) and
 267 [samtools](http://samtools.sourceforge.net) libraries.
 268
 269 We thank earonesty for contributing patches.
 270
 271 ## <a name="license"></a> License
 272
 273 RSEM is licensed under the [GNU General Public License v3](http://www.gnu.org/licenses/gpl-3.0.html).