EM.cpp

   1 #include<ctime>
   2 #include<cmath>
   3 #include<cstdio>
   4 #include<cstdlib>
   5 #include<cstring>
   6 #include<cassert>
   7 #include<string>
   8 #include<vector>
   9 #include<algorithm>
  10 #include<fstream>
  11 #include<iostream>
  12 #include<pthread.h>
  13
  14 #include "utils.h"
  15 #include "my_assert.h"
  16 #include "sampling.h"
  17
  18 #include "Read.h"
  19 #include "SingleRead.h"
  20 #include "SingleReadQ.h"
  21 #include "PairedEndRead.h"
  22 #include "PairedEndReadQ.h"
  23
  24 #include "SingleHit.h"
  25 #include "PairedEndHit.h"
  26
  27 #include "Model.h"
  28 #include "SingleModel.h"
  29 #include "SingleQModel.h"
  30 #include "PairedEndModel.h"
  31 #include "PairedEndQModel.h"
  32
  33 #include "Transcript.h"
  34 #include "Transcripts.h"
  35
  36 #include "Refs.h"
  37 #include "GroupInfo.h"
  38 #include "HitContainer.h"
  39 #include "ReadIndex.h"
  40 #include "ReadReader.h"
  41
  42 #include "ModelParams.h"
  43
  44 #include "HitWrapper.h"
  45 #include "BamWriter.h"
  46
  47 using namespace std;
  48
  49 const double STOP_CRITERIA = 0.001;
  50 const int MAX_ROUND = 10000;
  51 const int MIN_ROUND = 20;
  52
  53 struct Params {
  54         void *model;
  55         void *reader, *hitv, *ncpv, *mhp, *countv;
  56 };
  57
  58 int read_type;
  59 int m, M; // m genes, M isoforms
  60 READ_INT_TYPE N0, N1, N2, N_tot;
  61 int nThreads;
  62
  63
  64 bool genBamF; // If user wants to generate bam file, true; otherwise, false.
  65 bool bamSampling; // true if sampling from read posterior distribution when bam file is generated
  66 bool updateModel, calcExpectedWeights;
  67 bool genGibbsOut; // generate file for Gibbs sampler
  68
  69 char refName[STRLEN], outName[STRLEN];
  70 char imdName[STRLEN], statName[STRLEN];
  71 char refF[STRLEN], groupF[STRLEN], cntF[STRLEN], tiF[STRLEN];
  72 char mparamsF[STRLEN];
  73 char modelF[STRLEN], thetaF[STRLEN];
  74
  75 char inpSamType;
  76 char *pt_fn_list, *pt_chr_list;
  77 char inpSamF[STRLEN], outBamF[STRLEN], fn_list[STRLEN], chr_list[STRLEN];
  78
  79 char out_for_gibbs_F[STRLEN];
  80
  81 vector<double> theta, eel; // eel : expected effective length
  82
  83 double *probv, **countvs;
  84
  85 Refs refs;
  86 GroupInfo gi;
  87 Transcripts transcripts;
  88
  89 ModelParams mparams;
  90
  91 template<class ReadType, class HitType, class ModelType>
  92 void init(ReadReader<ReadType> **&readers, HitContainer<HitType> **&hitvs, double **&ncpvs, ModelType **&mhps) {
  93         READ_INT_TYPE nReads;
  94         HIT_INT_TYPE nHits;
  95         int rt; // read type
  96
  97         READ_INT_TYPE nrLeft, curnr; // nrLeft : number of reads left, curnr: current number of reads
  98         HIT_INT_TYPE nhT; // nhT : hit threshold per thread
  99         char datF[STRLEN];
 100
 101         int s;
 102         char readFs[2][STRLEN];
 103         ReadIndex *indices[2];
 104         ifstream fin;
 105
 106         readers = new ReadReader<ReadType>*[nThreads];
 107         genReadFileNames(imdName, 1, read_type, s, readFs);
 108         for (int i = 0; i < s; i++) {
 109                 indices[i] = new ReadIndex(readFs[i]);
 110         }
 111         for (int i = 0; i < nThreads; i++) {
 112                 readers[i] = new ReadReader<ReadType>(s, readFs, refs.hasPolyA(), mparams.seedLen); // allow calculation of calc_lq() function
 113                 readers[i]->setIndices(indices);
 114         }
 115
 116         hitvs = new HitContainer<HitType>*[nThreads];
 117         for (int i = 0; i < nThreads; i++) {
 118                 hitvs[i] = new HitContainer<HitType>();
 119         }
 120
 121         sprintf(datF, "%s.dat", imdName);
 122         fin.open(datF);
 123         general_assert(fin.is_open(), "Cannot open " + cstrtos(datF) + "! It may not exist.");
 124         fin>>nReads>>nHits>>rt;
 125         general_assert(nReads == N1, "Number of alignable reads does not match!");
 126         general_assert(rt == read_type, "Data file (.dat) does not have the right read type!");
 127
 128
 129         //A just so so strategy for paralleling
 130         nhT = nHits / nThreads;
 131         nrLeft = N1;
 132         curnr = 0;
 133
 134         ncpvs = new double*[nThreads];
 135         for (int i = 0; i < nThreads; i++) {
 136                 HIT_INT_TYPE ntLeft = nThreads - i - 1; // # of threads left
 137
 138                 general_assert(readers[i]->locate(curnr), "Read indices files do not match!");
 139
 140                 while (nrLeft > ntLeft && (i == nThreads - 1 || hitvs[i]->getNHits() < nhT)) {
 141                         general_assert(hitvs[i]->read(fin), "Cannot read alignments from .dat file!");
 142
 143                         --nrLeft;
 144                         if (verbose && nrLeft % 1000000 == 0) { cout<< "DAT "<< nrLeft << " reads left"<< endl; }
 145                 }
 146                 ncpvs[i] = new double[hitvs[i]->getN()];
 147                 memset(ncpvs[i], 0, sizeof(double) * hitvs[i]->getN());
 148                 curnr += hitvs[i]->getN();
 149
 150                 if (verbose) { cout<<"Thread "<< i<< " : N = "<< hitvs[i]->getN()<< ", NHit = "<< hitvs[i]->getNHits()<< endl; }
 151         }
 152
 153         fin.close();
 154
 155         mhps = new ModelType*[nThreads];
 156         for (int i = 0; i < nThreads; i++) {
 157                 mhps[i] = new ModelType(mparams, false); // just model helper
 158         }
 159
 160         probv = new double[M + 1];
 161         countvs = new double*[nThreads];
 162         for (int i = 0; i < nThreads; i++) {
 163                 countvs[i] = new double[M + 1];
 164         }
 165
 166
 167         if (verbose) { printf("EM_init finished!\n"); }
 168 }
 169
 170 template<class ReadType, class HitType, class ModelType>
 171 void* E_STEP(void* arg) {
 172         Params *params = (Params*)arg;
 173         ModelType *model = (ModelType*)(params->model);
 174         ReadReader<ReadType> *reader = (ReadReader<ReadType>*)(params->reader);
 175         HitContainer<HitType> *hitv = (HitContainer<HitType>*)(params->hitv);
 176         double *ncpv = (double*)(params->ncpv);
 177         ModelType *mhp = (ModelType*)(params->mhp);
 178         double *countv = (double*)(params->countv);
 179
 180         bool needCalcConPrb = model->getNeedCalcConPrb();
 181
 182         ReadType read;
 183
 184         READ_INT_TYPE N = hitv->getN();
 185         double sum;
 186         vector<double> fracs; //to remove this, do calculation twice
 187         HIT_INT_TYPE fr, to, id;
 188
 189         if (needCalcConPrb || updateModel) { reader->reset(); }
 190         if (updateModel) { mhp->init(); }
 191
 192         memset(countv, 0, sizeof(double) * (M + 1));
 193         for (READ_INT_TYPE i = 0; i < N; i++) {
 194                 if (needCalcConPrb || updateModel) {
 195                         general_assert(reader->next(read), "Can not load a read!");
 196                 }
 197
 198                 fr = hitv->getSAt(i);
 199                 to = hitv->getSAt(i + 1);
 200                 fracs.resize(to - fr + 1);
 201
 202                 sum = 0.0;
 203
 204                 if (needCalcConPrb) { ncpv[i] = model->getNoiseConPrb(read); }
 205                 fracs[0] = probv[0] * ncpv[i];
 206                 if (fracs[0] < EPSILON) fracs[0] = 0.0;
 207                 sum += fracs[0];
 208                 for (HIT_INT_TYPE j = fr; j < to; j++) {
 209                         HitType &hit = hitv->getHitAt(j);
 210                         if (needCalcConPrb) { hit.setConPrb(model->getConPrb(read, hit)); }
 211                         id = j - fr + 1;
 212                         fracs[id] = probv[hit.getSid()] * hit.getConPrb();
 213                         if (fracs[id] < EPSILON) fracs[id] = 0.0;
 214                         sum += fracs[id];
 215                 }
 216
 217                 if (sum >= EPSILON) {
 218                         fracs[0] /= sum;
 219                         countv[0] += fracs[0];
 220                         if (updateModel) { mhp->updateNoise(read, fracs[0]); }
 221                         if (calcExpectedWeights) { ncpv[i] = fracs[0]; }
 222                         for (HIT_INT_TYPE j = fr; j < to; j++) {
 223                                 HitType &hit = hitv->getHitAt(j);
 224                                 id = j - fr + 1;
 225                                 fracs[id] /= sum;
 226                                 countv[hit.getSid()] += fracs[id];
 227                                 if (updateModel) { mhp->update(read, hit, fracs[id]); }
 228                                 if (calcExpectedWeights) { hit.setConPrb(fracs[id]); }
 229                         }
 230                 }
 231                 else if (calcExpectedWeights) {
 232                         ncpv[i] = 0.0;
 233                         for (HIT_INT_TYPE j = fr; j < to; j++) {
 234                                 HitType &hit = hitv->getHitAt(j);
 235                                 hit.setConPrb(0.0);
 236                         }
 237                 }
 238         }
 239
 240         return NULL;
 241 }
 242
 243 template<class ReadType, class HitType, class ModelType>
 244 void* calcConProbs(void* arg) {
 245         Params *params = (Params*)arg;
 246         ModelType *model = (ModelType*)(params->model);
 247         ReadReader<ReadType> *reader = (ReadReader<ReadType>*)(params->reader);
 248         HitContainer<HitType> *hitv = (HitContainer<HitType>*)(params->hitv);
 249         double *ncpv = (double*)(params->ncpv);
 250
 251         ReadType read;
 252         READ_INT_TYPE N = hitv->getN();
 253         HIT_INT_TYPE fr, to;
 254
 255         assert(model->getNeedCalcConPrb());
 256         reader->reset();
 257
 258         for (READ_INT_TYPE i = 0; i < N; i++) {
 259                 general_assert(reader->next(read), "Can not load a read!");
 260
 261                 fr = hitv->getSAt(i);
 262                 to = hitv->getSAt(i + 1);
 263
 264                 ncpv[i] = model->getNoiseConPrb(read);
 265                 for (HIT_INT_TYPE j = fr; j < to; j++) {
 266                         HitType &hit = hitv->getHitAt(j);
 267                         hit.setConPrb(model->getConPrb(read, hit));
 268                 }
 269         }
 270
 271         return NULL;
 272 }
 273
 274 template<class ModelType>
 275 void calcExpectedEffectiveLengths(ModelType& model) {
 276         int lb, ub, span;
 277         double *pdf = NULL, *cdf = NULL, *clen = NULL; // clen[i] = sigma_{j=1}^{i}pdf[i]*(lb+i)
 278
 279         model.getGLD().copyTo(pdf, cdf, lb, ub, span);
 280         clen = new double[span + 1];
 281         clen[0] = 0.0;
 282         for (int i = 1; i <= span; i++) {
 283                 clen[i] = clen[i - 1] + pdf[i] * (lb + i);
 284         }
 285
 286         eel.assign(M + 1, 0.0);
 287         for (int i = 1; i <= M; i++) {
 288                 int totLen = refs.getRef(i).getTotLen();
 289                 int fullLen = refs.getRef(i).getFullLen();
 290                 int pos1 = max(min(totLen - fullLen + 1, ub) - lb, 0);
 291                 int pos2 = max(min(totLen, ub) - lb, 0);
 292
 293                 if (pos2 == 0) { eel[i] = 0.0; continue; }
 294
 295                 eel[i] = fullLen * cdf[pos1] + ((cdf[pos2] - cdf[pos1]) * (totLen + 1) - (clen[pos2] - clen[pos1]));
 296                 assert(eel[i] >= 0);
 297                 if (eel[i] < MINEEL) { eel[i] = 0.0; }
 298         }
 299
 300         delete[] pdf;
 301         delete[] cdf;
 302         delete[] clen;
 303 }
 304
 305 void polishTheta(vector<double>& theta, const vector<double>& eel, const double* mw) {
 306         double sum = 0.0;
 307
 308         /* The reason that for noise gene, mw value is 1 is :
 309          * currently, all masked positions are for poly(A) sites, which in theory should be filtered out.
 310          * So the theta0 does not containing reads from any masked position
 311          */
 312
 313         for (int i = 0; i <= M; i++) {
 314                 // i == 0, mw[i] == 1
 315                 if (i > 0 && (mw[i] < EPSILON || eel[i] < EPSILON)) {
 316                         theta[i] = 0.0;
 317                         continue;
 318                 }
 319                 theta[i] = theta[i] / mw[i];
 320                 sum += theta[i];
 321         }
 322         // currently is OK, since no transcript should be masked totally, only the poly(A) tail related part will be masked
 323         general_assert(sum >= EPSILON, "No effective length is no less than" + ftos(MINEEL, 6) + " !");
 324         for (int i = 0; i <= M; i++) theta[i] /= sum;
 325 }
 326
 327 void calcExpressionValues(const vector<double>& theta, const vector<double>& eel, vector<double>& tpm, vector<double>& fpkm) {
 328         double denom;
 329         vector<double> frac;
 330
 331         //calculate fraction of count over all mappabile reads
 332         denom = 0.0;
 333         frac.assign(M + 1, 0.0);
 334         for (int i = 1; i <= M; i++)
 335           if (eel[i] >= EPSILON) {
 336             frac[i] = theta[i];
 337             denom += frac[i];
 338           }
 339         general_assert(denom >= EPSILON, "No alignable reads?!");
 340         for (int i = 1; i <= M; i++) frac[i] /= denom;
 341
 342         //calculate FPKM
 343         fpkm.assign(M + 1, 0.0);
 344         for (int i = 1; i <= M; i++)
 345                 if (eel[i] >= EPSILON) fpkm[i] = frac[i] * 1e9 / eel[i];
 346
 347         //calculate TPM
 348         tpm.assign(M + 1, 0.0);
 349         denom = 0.0;
 350         for (int i = 1; i <= M; i++) denom += fpkm[i];
 351         for (int i = 1; i <= M; i++) tpm[i] = fpkm[i] / denom * 1e6;
 352 }
 353
 354 template<class ModelType>
 355 void writeResults(ModelType& model, double* counts) {
 356         char outF[STRLEN];
 357         FILE *fo;
 358
 359         sprintf(modelF, "%s.model", statName);
 360         model.write(modelF);
 361
 362         vector<int> tlens;
 363         vector<double> fpkm, tpm, isopct;
 364         vector<double> glens, gene_eels, gene_counts, gene_tpm, gene_fpkm;
 365
 366         calcExpressionValues(theta, eel, tpm, fpkm);
 367
 368         //calculate IsoPct, etc.
 369         isopct.assign(M + 1, 0.0);
 370         tlens.assign(M + 1, 0);
 371
 372         glens.assign(m, 0.0); gene_eels.assign(m, 0.0);
 373         gene_counts.assign(m, 0.0); gene_tpm.assign(m, 0.0); gene_fpkm.assign(m, 0.0);
 374
 375         for (int i = 0; i < m; i++) {
 376                 int b = gi.spAt(i), e = gi.spAt(i + 1);
 377                 for (int j = b; j < e; j++) {
 378                         const Transcript& transcript = transcripts.getTranscriptAt(j);
 379                         tlens[j] = transcript.getLength();
 380
 381                         gene_counts[i] += counts[j];
 382                         gene_tpm[i] += tpm[j];
 383                         gene_fpkm[i] += fpkm[j];
 384                 }
 385
 386                 if (gene_tpm[i] < EPSILON) {
 387                         double frac = 1.0 / (e - b);
 388                         for (int j = b; j < e; j++) {
 389                                 glens[i] += tlens[j] * frac;
 390                                 gene_eels[i] += eel[j] * frac;
 391                         }
 392                 }
 393                 else {
 394                         for (int j = b; j < e; j++) {
 395                                 isopct[j] = tpm[j] / gene_tpm[i];
 396                                 glens[i] += tlens[j] * isopct[j];
 397                                 gene_eels[i] += eel[j] * isopct[j];
 398                         }
 399                 }
 400         }
 401
 402         //isoform level results
 403         sprintf(outF, "%s.iso_res", imdName);
 404         fo = fopen(outF, "w");
 405         for (int i = 1; i <= M; i++) {
 406                 const Transcript& transcript = transcripts.getTranscriptAt(i);
 407                 fprintf(fo, "%s%c", transcript.getTranscriptID().c_str(), (i < M ? '\t' : '\n'));
 408         }
 409         for (int i = 1; i <= M; i++) {
 410                 const Transcript& transcript = transcripts.getTranscriptAt(i);
 411                 fprintf(fo, "%s%c", transcript.getGeneID().c_str(), (i < M ? '\t' : '\n'));
 412         }
 413         for (int i = 1; i <= M; i++)
 414                 fprintf(fo, "%d%c", tlens[i], (i < M ? '\t' : '\n'));
 415         for (int i = 1; i <= M; i++)
 416                 fprintf(fo, "%.2f%c", eel[i], (i < M ? '\t' : '\n'));
 417         for (int i = 1; i <= M; i++)
 418                 fprintf(fo, "%.2f%c", counts[i], (i < M ? '\t' : '\n'));
 419         for (int i = 1; i <= M; i++)
 420                 fprintf(fo, "%.2f%c", tpm[i], (i < M ? '\t' : '\n'));
 421         for (int i = 1; i <= M; i++)
 422                 fprintf(fo, "%.2f%c", fpkm[i], (i < M ? '\t' : '\n'));
 423         for (int i = 1; i <= M; i++)
 424                 fprintf(fo, "%.2f%c", isopct[i] * 1e2, (i < M ? '\t' : '\n'));
 425         fclose(fo);
 426
 427         //gene level results
 428         sprintf(outF, "%s.gene_res", imdName);
 429         fo = fopen(outF, "w");
 430         for (int i = 0; i < m; i++) {
 431                 const Transcript& transcript = transcripts.getTranscriptAt(gi.spAt(i));
 432                 fprintf(fo, "%s%c", transcript.getGeneID().c_str(), (i < m - 1 ? '\t' : '\n'));
 433         }
 434         for (int i = 0; i < m; i++) {
 435                 int b = gi.spAt(i), e = gi.spAt(i + 1);
 436                 for (int j = b; j < e; j++) {
 437                         fprintf(fo, "%s%c", transcripts.getTranscriptAt(j).getTranscriptID().c_str(), (j < e - 1 ? ',' : (i < m - 1 ? '\t' :'\n')));
 438                 }
 439         }
 440         for (int i = 0; i < m; i++)
 441                 fprintf(fo, "%.2f%c", glens[i], (i < m - 1 ? '\t' : '\n'));
 442         for (int i = 0; i < m; i++)
 443                 fprintf(fo, "%.2f%c", gene_eels[i], (i < m - 1 ? '\t' : '\n'));
 444         for (int i = 0; i < m; i++)
 445                 fprintf(fo, "%.2f%c", gene_counts[i], (i < m - 1 ? '\t' : '\n'));
 446         for (int i = 0; i < m; i++)
 447                 fprintf(fo, "%.2f%c", gene_tpm[i], (i < m - 1 ? '\t' : '\n'));
 448         for (int i = 0; i < m; i++)
 449                 fprintf(fo, "%.2f%c", gene_fpkm[i], (i < m - 1 ? '\t' : '\n'));
 450         fclose(fo);
 451
 452         if (verbose) { printf("Expression Results are written!\n"); }
 453 }
 454
 455 template<class ReadType, class HitType, class ModelType>
 456 void release(ReadReader<ReadType> **readers, HitContainer<HitType> **hitvs, double **ncpvs, ModelType **mhps) {
 457         delete[] probv;
 458         for (int i = 0; i < nThreads; i++) {
 459                 delete[] countvs[i];
 460         }
 461         delete[] countvs;
 462
 463         for (int i = 0; i < nThreads; i++) {
 464                 delete readers[i];
 465                 delete hitvs[i];
 466                 delete[] ncpvs[i];
 467                 delete mhps[i];
 468         }
 469         delete[] readers;
 470         delete[] hitvs;
 471         delete[] ncpvs;
 472         delete[] mhps;
 473 }
 474
 475 inline bool doesUpdateModel(int ROUND) {
 476   //  return ROUND <= 20 || ROUND % 100 == 0;
 477   return ROUND <= 10;
 478 }
 479
 480 //Including initialize, algorithm and results saving
 481 template<class ReadType, class HitType, class ModelType>
 482 void EM() {
 483         FILE *fo;
 484
 485         int ROUND;
 486         double sum;
 487
 488         double bChange = 0.0, change = 0.0; // bChange : biggest change
 489         int totNum = 0;
 490
 491         ModelType model(mparams); //master model
 492         ReadReader<ReadType> **readers;
 493         HitContainer<HitType> **hitvs;
 494         double **ncpvs;
 495         ModelType **mhps; //model helpers
 496
 497         Params fparams[nThreads];
 498         pthread_t threads[nThreads];
 499         pthread_attr_t attr;
 500         int rc;
 501
 502
 503         //initialize boolean variables
 504         updateModel = calcExpectedWeights = false;
 505
 506         theta.clear();
 507         theta.resize(M + 1, 0.0);
 508         init<ReadType, HitType, ModelType>(readers, hitvs, ncpvs, mhps);
 509
 510         //set initial parameters
 511         assert(N_tot > N2);
 512         theta[0] = max(N0 * 1.0 / (N_tot - N2), 1e-8);
 513         double val = (1.0 - theta[0]) / M;
 514         for (int i = 1; i <= M; i++) theta[i] = val;
 515
 516         model.estimateFromReads(imdName);
 517
 518         for (int i = 0; i < nThreads; i++) {
 519                 fparams[i].model = (void*)(&model);
 520
 521                 fparams[i].reader = (void*)readers[i];
 522                 fparams[i].hitv = (void*)hitvs[i];
 523                 fparams[i].ncpv = (void*)ncpvs[i];
 524                 fparams[i].mhp = (void*)mhps[i];
 525                 fparams[i].countv = (void*)countvs[i];
 526         }
 527
 528         /* set thread attribute to be joinable */
 529         pthread_attr_init(&attr);
 530         pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_JOINABLE);
 531
 532         ROUND = 0;
 533         do {
 534                 ++ROUND;
 535
 536                 updateModel = doesUpdateModel(ROUND);
 537
 538                 for (int i = 0; i <= M; i++) probv[i] = theta[i];
 539
 540                 //E step
 541                 for (int i = 0; i < nThreads; i++) {
 542                         rc = pthread_create(&threads[i], &attr, E_STEP<ReadType, HitType, ModelType>, (void*)(&fparams[i]));
 543                         pthread_assert(rc, "pthread_create", "Cannot create thread " + itos(i) + " (numbered from 0) at ROUND " + itos(ROUND) + "!");
 544                 }
 545
 546                 for (int i = 0; i < nThreads; i++) {
 547                         rc = pthread_join(threads[i], NULL);
 548                         pthread_assert(rc, "pthread_join", "Cannot join thread " + itos(i) + " (numbered from 0) at ROUND " + itos(ROUND) + "!");
 549                 }
 550
 551                 model.setNeedCalcConPrb(false);
 552
 553                 for (int i = 1; i < nThreads; i++) {
 554                         for (int j = 0; j <= M; j++) {
 555                                 countvs[0][j] += countvs[i][j];
 556                         }
 557                 }
 558
 559                 //add N0 noise reads
 560                 countvs[0][0] += N0;
 561
 562                 //M step;
 563                 sum = 0.0;
 564                 for (int i = 0; i <= M; i++) sum += countvs[0][i];
 565                 assert(sum >= EPSILON);
 566                 for (int i = 0; i <= M; i++) theta[i] = countvs[0][i] / sum;
 567
 568                 if (updateModel) {
 569                         model.init();
 570                         for (int i = 0; i < nThreads; i++) { model.collect(*mhps[i]); }
 571                         model.finish();
 572                 }
 573
 574                 // Relative error
 575                 bChange = 0.0; totNum = 0;
 576                 for (int i = 0; i <= M; i++)
 577                         if (probv[i] >= 1e-7) {
 578                                 change = fabs(theta[i] - probv[i]) / probv[i];
 579                                 if (change >= STOP_CRITERIA) ++totNum;
 580                                 if (bChange < change) bChange = change;
 581                         }
 582
 583                 if (verbose) { cout<< "ROUND = "<< ROUND<< ", SUM = "<< setprecision(15)<< sum<< ", bChange = " << setprecision(6)<< bChange<< ", totNum = " << totNum<< endl; }
 584         } while (ROUND < MIN_ROUND || (totNum > 0 && ROUND < MAX_ROUND));
 585 //      } while (ROUND < 1);
 586
 587         if (totNum > 0) { cout<< "Warning: RSEM reaches "<< MAX_ROUND<< " iterations before meeting the convergence criteria."<< endl; }
 588
 589         //generate output file used by Gibbs sampler
 590         if (genGibbsOut) {
 591                 if (model.getNeedCalcConPrb()) {
 592                         for (int i = 0; i < nThreads; i++) {
 593                                 rc = pthread_create(&threads[i], &attr, calcConProbs<ReadType, HitType, ModelType>, (void*)(&fparams[i]));
 594                                 pthread_assert(rc, "pthread_create", "Cannot create thread " + itos(i) + " (numbered from 0) when generating files for Gibbs sampler!");
 595                         }
 596                         for (int i = 0; i < nThreads; i++) {
 597                                 rc = pthread_join(threads[i], NULL);
 598                                 pthread_assert(rc, "pthread_join", "Cannot join thread " + itos(i) + " (numbered from 0) when generating files for Gibbs sampler!");
 599                         }
 600                 }
 601                 model.setNeedCalcConPrb(false);
 602
 603                 sprintf(out_for_gibbs_F, "%s.ofg", imdName);
 604                 ofstream fout(out_for_gibbs_F);
 605                 fout<< M<< " "<< N0<< endl;
 606                 for (int i = 0; i < nThreads; i++) {
 607                         READ_INT_TYPE numN = hitvs[i]->getN();
 608                         for (READ_INT_TYPE j = 0; j < numN; j++) {
 609                                 HIT_INT_TYPE fr = hitvs[i]->getSAt(j);
 610                                 HIT_INT_TYPE to = hitvs[i]->getSAt(j + 1);
 611                                 HIT_INT_TYPE totNum = 0;
 612
 613                                 if (ncpvs[i][j] >= EPSILON) { ++totNum; fout<< "0 "<< setprecision(15)<< ncpvs[i][j]<< " "; }
 614                                 for (HIT_INT_TYPE k = fr; k < to; k++) {
 615                                         HitType &hit = hitvs[i]->getHitAt(k);
 616                                         if (hit.getConPrb() >= EPSILON) {
 617                                                 ++totNum;
 618                                                 fout<< hit.getSid()<< " "<< setprecision(15)<< hit.getConPrb()<< " ";
 619                                         }
 620                                 }
 621
 622                                 if (totNum > 0) { fout<< endl; }
 623                         }
 624                 }
 625                 fout.close();
 626         }
 627
 628         //calculate expected weights and counts using learned parameters
 629         //just use the raw theta learned from the data, do not correct for eel or mw
 630         updateModel = false; calcExpectedWeights = true;
 631         for (int i = 0; i <= M; i++) probv[i] = theta[i];
 632         for (int i = 0; i < nThreads; i++) {
 633                 rc = pthread_create(&threads[i], &attr, E_STEP<ReadType, HitType, ModelType>, (void*)(&fparams[i]));
 634                 pthread_assert(rc, "pthread_create", "Cannot create thread " + itos(i) + " (numbered from 0) when calculating expected weights!");
 635         }
 636         for (int i = 0; i < nThreads; i++) {
 637                 rc = pthread_join(threads[i], NULL);
 638                 pthread_assert(rc, "pthread_join", "Cannot join thread " + itos(i) + " (numbered from 0) when calculating expected weights!");
 639         }
 640         model.setNeedCalcConPrb(false);
 641         for (int i = 1; i < nThreads; i++) {
 642                 for (int j = 0; j <= M; j++) {
 643                         countvs[0][j] += countvs[i][j];
 644                 }
 645         }
 646         countvs[0][0] += N0;
 647
 648         /* destroy attribute */
 649         pthread_attr_destroy(&attr);
 650
 651
 652         sprintf(thetaF, "%s.theta", statName);
 653         fo = fopen(thetaF, "w");
 654         fprintf(fo, "%d\n", M + 1);
 655
 656         // output theta'
 657         for (int i = 0; i < M; i++) fprintf(fo, "%.15g ", theta[i]);
 658         fprintf(fo, "%.15g\n", theta[M]);
 659
 660         //calculate expected effective lengths for each isoform
 661         calcExpectedEffectiveLengths<ModelType>(model);
 662         polishTheta(theta, eel, model.getMW());
 663
 664         // output theta
 665         for (int i = 0; i < M; i++) fprintf(fo, "%.15g ", theta[i]);
 666         fprintf(fo, "%.15g\n", theta[M]);
 667
 668         fclose(fo);
 669
 670         writeResults<ModelType>(model, countvs[0]);
 671
 672         if (genBamF) {
 673                 sprintf(outBamF, "%s.transcript.bam", outName);
 674
 675                 if (bamSampling) {
 676                         READ_INT_TYPE local_N;
 677                         HIT_INT_TYPE fr, to, len, id;
 678                         vector<double> arr;
 679                         uniform01 rg(engine_type(time(NULL)));
 680
 681                         if (verbose) cout<< "Begin to sample reads from their posteriors."<< endl;
 682                         for (int i = 0; i < nThreads; i++) {
 683                                 local_N = hitvs[i]->getN();
 684                                 for (READ_INT_TYPE j = 0; j < local_N; j++) {
 685                                         fr = hitvs[i]->getSAt(j);
 686                                         to = hitvs[i]->getSAt(j + 1);
 687                                         len = to - fr + 1;
 688                                         arr.assign(len, 0);
 689                                         arr[0] = ncpvs[i][j];
 690                                         for (HIT_INT_TYPE k = fr; k < to; k++) arr[k - fr + 1] = arr[k - fr] + hitvs[i]->getHitAt(k).getConPrb();
 691                                         id = (arr[len - 1] < EPSILON ? -1 : sample(rg, arr, len)); // if all entries in arr are 0, let id be -1
 692                                         for (HIT_INT_TYPE k = fr; k < to; k++) hitvs[i]->getHitAt(k).setConPrb(k - fr + 1 == id ? 1.0 : 0.0);
 693                                 }
 694                         }
 695
 696                         if (verbose) cout<< "Sampling is finished."<< endl;
 697                 }
 698
 699                 BamWriter writer(inpSamType, inpSamF, pt_fn_list, outBamF, transcripts);
 700                 HitWrapper<HitType> wrapper(nThreads, hitvs);
 701                 writer.work(wrapper);
 702         }
 703
 704         release<ReadType, HitType, ModelType>(readers, hitvs, ncpvs, mhps);
 705 }
 706
 707 int main(int argc, char* argv[]) {
 708         ifstream fin;
 709         bool quiet = false;
 710
 711         if (argc < 6) {
 712                 printf("Usage : rsem-run-em refName read_type sampleName imdName statName [-p #Threads] [-b samInpType samInpF has_fn_list_? [fn_list]] [-q] [--gibbs-out] [--sampling]\n\n");
 713                 printf("  refName: reference name\n");
 714                 printf("  read_type: 0 single read without quality score; 1 single read with quality score; 2 paired-end read without quality score; 3 paired-end read with quality score.\n");
 715                 printf("  sampleName: sample's name, including the path\n");
 716                 printf("  sampleToken: sampleName excludes the path\n");
 717                 printf("  -p: number of threads which user wants to use. (default: 1)\n");
 718                 printf("  -b: produce bam format output file. (default: off)\n");
 719                 printf("  -q: set it quiet\n");
 720                 printf("  --gibbs-out: generate output file used by Gibbs sampler. (default: off)\n");
 721                 printf("  --sampling: sample each read from its posterior distribution when bam file is generated. (default: off)\n");
 722                 printf("// model parameters should be in imdName.mparams.\n");
 723                 exit(-1);
 724         }
 725
 726         time_t a = time(NULL);
 727
 728         strcpy(refName, argv[1]);
 729         read_type = atoi(argv[2]);
 730         strcpy(outName, argv[3]);
 731         strcpy(imdName, argv[4]);
 732         strcpy(statName, argv[5]);
 733
 734         nThreads = 1;
 735
 736         genBamF = false;
 737         bamSampling = false;
 738         genGibbsOut = false;
 739         pt_fn_list = pt_chr_list = NULL;
 740
 741         for (int i = 6; i < argc; i++) {
 742                 if (!strcmp(argv[i], "-p")) { nThreads = atoi(argv[i + 1]); }
 743                 if (!strcmp(argv[i], "-b")) {
 744                         genBamF = true;
 745                         inpSamType = argv[i + 1][0];
 746                         strcpy(inpSamF, argv[i + 2]);
 747                         if (atoi(argv[i + 3]) == 1) {
 748                                 strcpy(fn_list, argv[i + 4]);
 749                                 pt_fn_list = (char*)(&fn_list);
 750                         }
 751                 }
 752                 if (!strcmp(argv[i], "-q")) { quiet = true; }
 753                 if (!strcmp(argv[i], "--gibbs-out")) { genGibbsOut = true; }
 754                 if (!strcmp(argv[i], "--sampling")) { bamSampling = true; }
 755         }
 756
 757         general_assert(nThreads > 0, "Number of threads should be bigger than 0!");
 758
 759         verbose = !quiet;
 760
 761         //basic info loading
 762         sprintf(refF, "%s.seq", refName);
 763         refs.loadRefs(refF);
 764         M = refs.getM();
 765         sprintf(groupF, "%s.grp", refName);
 766         gi.load(groupF);
 767         m = gi.getm();
 768
 769         sprintf(tiF, "%s.ti", refName);
 770         transcripts.readFrom(tiF);
 771
 772         sprintf(cntF, "%s.cnt", statName);
 773         fin.open(cntF);
 774
 775         general_assert(fin.is_open(), "Cannot open " + cstrtos(cntF) + "! It may not exist.");
 776
 777         fin>>N0>>N1>>N2>>N_tot;
 778         fin.close();
 779
 780         general_assert(N1 > 0, "There are no alignable reads!");
 781
 782         if ((READ_INT_TYPE)nThreads > N1) nThreads = N1;
 783
 784         //set model parameters
 785         mparams.M = M;
 786         mparams.N[0] = N0; mparams.N[1] = N1; mparams.N[2] = N2;
 787         mparams.refs = &refs;
 788
 789         sprintf(mparamsF, "%s.mparams", imdName);
 790         fin.open(mparamsF);
 791
 792         general_assert(fin.is_open(), "Cannot open " + cstrtos(mparamsF) + "It may not exist.");
 793
 794         fin>> mparams.minL>> mparams.maxL>> mparams.probF;
 795         int val; // 0 or 1 , for estRSPD
 796         fin>>val;
 797         mparams.estRSPD = (val != 0);
 798         fin>> mparams.B>> mparams.mate_minL>> mparams.mate_maxL>> mparams.mean>> mparams.sd;
 799         fin>> mparams.seedLen;
 800         fin.close();
 801
 802         //run EM
 803         switch(read_type) {
 804         case 0 : EM<SingleRead, SingleHit, SingleModel>(); break;
 805         case 1 : EM<SingleReadQ, SingleHit, SingleQModel>(); break;
 806         case 2 : EM<PairedEndRead, PairedEndHit, PairedEndModel>(); break;
 807         case 3 : EM<PairedEndReadQ, PairedEndHit, PairedEndQModel>(); break;
 808         default : fprintf(stderr, "Unknown Read Type!\n"); exit(-1);
 809         }
 810
 811         time_t b = time(NULL);
 812
 813         printTimeUsed(a, b, "EM.cpp");
 814
 815         return 0;
 816 }