bam_mcns.c

   1 #include <math.h>
   2 #include <stdlib.h>
   3 #include <stdio.h>
   4 #include "bam_mcns.h"
   5
   6 #define MC_MIN_QUAL 13
   7 #define MC_AVG_ERR 0.007
   8 #define MC_MAX_SUMQ 3000
   9 #define MC_MAX_SUMQP 1e-300
  10 #define MC_MAX_EM_ITER 16
  11 #define MC_EM_EPS 1e-4
  12
  13 struct __mc_aux_t {
  14         int n, M;
  15         int ref, alt, alt2;
  16         double *q2p, *pdg; // pdg -> P(D|g)
  17         double *alpha, *beta;
  18         double *z, *zswap; // aux for afs
  19         double *afs, *afs1; // afs: accumulative AFS; afs1: site posterior distribution
  20         int *qsum, *bcnt;
  21 };
  22
  23 void mc_init_prior(mc_aux_t *ma, int type, double theta)
  24 {
  25         int i;
  26         if (type == MC_PTYPE_COND2) {
  27                 for (i = 0; i <= 2 * ma->n; ++i)
  28                         ma->alpha[i] = 2. * (i + 1) / (2 * ma->n + 1) / (2 * ma->n + 2);
  29         } else if (type == MC_PTYPE_FLAT) {
  30                 for (i = 0; i <= ma->M; ++i)
  31                         ma->alpha[i] = 1. / (ma->M + 1);
  32         } else {
  33                 double sum;
  34                 for (i = 0, sum = 0.; i < 2 * ma->n; ++i)
  35                         sum += (ma->alpha[i] = theta / (2 * ma->n - i));
  36                 ma->alpha[2 * ma->n] = 1. - sum;
  37         }
  38 }
  39
  40 mc_aux_t *mc_init(int n) // FIXME: assuming diploid
  41 {
  42         mc_aux_t *ma;
  43         int i;
  44         ma = calloc(1, sizeof(mc_aux_t));
  45         ma->n = n; ma->M = 2 * n;
  46         ma->q2p = calloc(MC_MAX_SUMQ + 1, sizeof(double));
  47         ma->qsum = calloc(4 * ma->n, sizeof(int));
  48         ma->bcnt = calloc(4 * ma->n, sizeof(int));
  49         ma->pdg = calloc(3 * ma->n, sizeof(double));
  50         ma->alpha = calloc(2 * ma->n + 1, sizeof(double));
  51         ma->beta = calloc((2 * ma->n + 1) * 3, sizeof(double));
  52         ma->z = calloc(2 * ma->n + 1, sizeof(double));
  53         ma->zswap = calloc(2 * ma->n + 1, sizeof(double));
  54         ma->afs = calloc(2 * ma->n + 1, sizeof(double));
  55         ma->afs1 = calloc(2 * ma->n + 1, sizeof(double));
  56         for (i = 0; i <= MC_MAX_SUMQ; ++i)
  57                 ma->q2p[i] = pow(10., -i / 10.);
  58         for (i = 0; i <= ma->M; ++i) { // beta[k][g]=P(g|k/M)
  59                 double *bi = ma->beta + 3 * i;
  60                 double f = (double)i / ma->M;
  61                 bi[0] = (1. - f) * (1. - f);
  62                 bi[1] = 2 * f * (1. - f);
  63                 bi[2] = f * f;
  64         }
  65         mc_init_prior(ma, MC_PTYPE_FULL, 1e-3); // the simplest prior
  66         return ma;
  67 }
  68
  69 void mc_destroy(mc_aux_t *ma)
  70 {
  71         if (ma) {
  72                 free(ma->qsum); free(ma->bcnt);
  73                 free(ma->q2p); free(ma->pdg);
  74                 free(ma->alpha); free(ma->beta);
  75                 free(ma->z); free(ma->zswap);
  76                 free(ma->afs); free(ma->afs1);
  77                 free(ma);
  78         }
  79 }
  80
  81 static int sum_err(int *n, const bam_pileup1_t **plp, mc_aux_t *ma)
  82 {
  83         int i, j, tot = 0;
  84         memset(ma->qsum, 0, sizeof(int) * 4 * ma->n);
  85         memset(ma->bcnt, 0, sizeof(int) * 4 * ma->n);
  86         for (j = 0; j < ma->n; ++j) {
  87                 int *qsum = ma->qsum + j * 4;
  88                 int *bcnt = ma->bcnt + j * 4;
  89                 for (i = 0; i < n[j]; ++i) {
  90                         const bam_pileup1_t *p = plp[j] + i;
  91                         int q, b;
  92                         if (p->is_del || (p->b->core.flag&BAM_FUNMAP)) continue;
  93                         q = bam1_qual(p->b)[p->qpos];
  94                         if (p->b->core.qual < q) q = p->b->core.qual;
  95                         if (q < MC_MIN_QUAL) continue; // small qual
  96                         b = bam_nt16_nt4_table[(int)bam1_seqi(bam1_seq(p->b), p->qpos)];
  97                         if (b > 3) continue; // N
  98                         qsum[b] += q;
  99                         ++bcnt[b];
 100                         ++tot;
 101                 }
 102         }
 103         return tot;
 104 }
 105
 106 static void set_allele(int ref, mc_aux_t *ma)
 107 {
 108         int i, j, sum[4], tmp;
 109         sum[0] = sum[1] = sum[2] = sum[3] = 0;
 110         for (i = 0; i < ma->n; ++i)
 111                 for (j = 0; j < 4; ++j)
 112                         sum[j] += ma->qsum[i * 4 + j];
 113         for (j = 0; j < 4; ++j) sum[j] = sum[j]<<2 | j;
 114         for (i = 1; i < 4; ++i) // insertion sort
 115                 for (j = i; j > 0 && sum[j] < sum[j-1]; --j)
 116                         tmp = sum[j], sum[j] = sum[j-1], sum[j-1] = tmp;
 117         ma->ref = sum[3]&3; ma->alt = sum[2]&3; ma->alt2 = -1;
 118         if (ma->ref != ref) { // the best base is not ref
 119                 if (ref >= 0 && ref <= 3) { // ref is not N
 120                         if (ma->alt == ref) tmp = ma->ref, ma->ref = ma->alt, ma->alt = tmp; // then switch alt and ref
 121                         else ma->alt2 = ma->alt, ma->alt = ma->ref, ma->ref = ref; // then set ref as ref
 122                 } else ma->alt2 = ma->alt, ma->alt = ma->ref, ma->ref = sum[0]&3; // then set the weakest as ref
 123         }
 124 }
 125
 126 static void cal_pdg(mc_aux_t *ma)
 127 {
 128         int i, j;
 129         for (j = 0; j < ma->n; ++j) {
 130                 int pi[3], *qsum, *bcnt;
 131                 double *pdg = ma->pdg + j * 3;
 132                 qsum = ma->qsum + j * 4;
 133                 bcnt = ma->bcnt + j * 4;
 134                 pi[1] = 3 * (bcnt[ma->ref] + bcnt[ma->alt]);
 135                 pi[0] = qsum[ma->ref];
 136                 pi[2] = qsum[ma->alt];
 137                 for (i = 0; i < 3; ++i)
 138                         pdg[i] = pi[i] > MC_MAX_SUMQ? MC_MAX_SUMQP : ma->q2p[pi[i]];
 139         }
 140 }
 141 // this calculates the naive allele frequency and Nielsen's frequency
 142 static double mc_freq0(const mc_aux_t *ma, double *_f)
 143 {
 144         int i, cnt;
 145         double f, f_nielsen, w_sum;
 146         *_f = -1.;
 147         for (i = cnt = 0, f = f_nielsen = w_sum = 0.; i < ma->n; ++i) {
 148                 int *bcnt = ma->bcnt + i * 4;
 149                 int x = bcnt[ma->ref] + bcnt[ma->alt];
 150                 if (x) {
 151                         double w, p;
 152                         ++cnt;
 153                         f += (double)bcnt[ma->ref] / x;
 154                         p = (bcnt[ma->ref] - MC_AVG_ERR * x) / (1. - 2. * MC_AVG_ERR) / x;
 155                         w = 2. * x / (1. + x);
 156                         w_sum += w;
 157                         f_nielsen += p * w;
 158                 }
 159         }
 160         if (cnt) {
 161                 f_nielsen /= w_sum;
 162                 if (f_nielsen < 0.) f_nielsen = 0.;
 163                 if (f_nielsen > 1.) f_nielsen = 1.;
 164                 *_f = f_nielsen;
 165                 return f / cnt;
 166         } else return -1.;
 167 }
 168 // f0 is the reference allele frequency
 169 static double mc_freq_iter(double f0, const mc_aux_t *ma)
 170 {
 171         double f, f3[3];
 172         int i;
 173         f3[0] = (1.-f0)*(1.-f0); f3[1] = 2.*f0*(1.-f0); f3[2] = f0*f0;
 174         for (i = 0, f = 0.; i < ma->n; ++i) {
 175                 double *pdg;
 176                 pdg = ma->pdg + i * 3;
 177                 f += (pdg[1] * f3[1] + 2. * pdg[2] * f3[2])
 178                         / (pdg[0] * f3[0] + pdg[1] * f3[1] + pdg[2] * f3[2]);
 179         }
 180         f /= ma->n * 2.;
 181         return f;
 182 }
 183
 184 static double mc_ref_prob(const mc_aux_t *ma, double *_PD, double *f_exp)
 185 {
 186         int k, i;
 187         long double PD = 0., Pref = 0., Ef = 0.;
 188         for (k = 0; k <= ma->M; ++k) {
 189                 long double x = 1., y = 0.;
 190                 double *bk = ma->beta + k * 3;
 191                 for (i = 0; i < ma->n; ++i) {
 192                         double *pdg = ma->pdg + i * 3;
 193                         double z = pdg[0] * bk[0] + pdg[1] * bk[1] + pdg[2] * bk[2];
 194                         x *= z;
 195                         y += (pdg[1] * bk[1] + 2. * pdg[2] * bk[2]) / z;
 196                 }
 197                 PD += x * ma->alpha[k];
 198                 Ef += x * y * ma->alpha[k];
 199         }
 200         for (k = 0; k <= ma->n * 2; ++k) {
 201                 long double x = 1.0;
 202                 for (i = 0; i < ma->n; ++i)
 203                         x *= ma->pdg[i * 3 + 2] * ma->beta[k * 3 + 2];
 204                 Pref += x * ma->alpha[k];
 205         }
 206         *f_exp = (double)(Ef / PD / ma->M);
 207         *_PD = PD;
 208         return Pref / PD;
 209 }
 210
 211 int mc_call_gt(const mc_aux_t *ma, double f0, int k)
 212 {
 213         double sum, g[3];
 214         double max, f3[3], *pdg = ma->pdg + k * 3;
 215         int q, i, max_i;
 216         f3[0] = (1.-f0)*(1.-f0); f3[1] = 2.*f0*(1.-f0); f3[2] = f0*f0;
 217         for (i = 0, sum = 0.; i < 3; ++i)
 218                 sum += (g[i] = pdg[i] * f3[i]);
 219         for (i = 0, max = -1., max_i = 0; i < 3; ++i) {
 220                 g[i] /= sum;
 221                 if (g[i] > max) max = g[i], max_i = i;
 222         }
 223         max = 1. - max;
 224         if (max < 1e-308) max = 1e-308;
 225         q = (int)(-3.434 * log(max) + .499);
 226         if (q > 99) q = 99;
 227         return q<<2|max_i;
 228 }
 229 // calculate z_{nr}^{(k)}
 230 static void mc_cal_z(mc_aux_t *ma, int k)
 231 {
 232         double *z[2], *tmp, *bk, *pdg;
 233         int i, j;
 234         z[0] = ma->z;
 235         z[1] = ma->zswap;
 236         bk = ma->beta + k * 3; pdg = ma->pdg;
 237         z[0][0] = 1.; z[0][1] = z[0][2] = 0.;
 238         for (j = 0; j < ma->n; ++j) {
 239                 int max = (j + 1) * 2;
 240                 double p[3];
 241                 pdg = ma->pdg + j * 3;
 242                 p[0] = bk[0] * pdg[0]; p[1] = bk[1] * pdg[1]; p[2] = bk[2] * pdg[2];
 243                 z[1][0] = p[0] * z[0][0];
 244                 z[1][1] = p[0] * z[0][1] + p[1] * z[0][0];
 245                 for (i = 2; i <= max; ++i)
 246                         z[1][i] = p[0] * z[0][i] + p[1] * z[0][i-1] + p[2] * z[0][i-2];
 247                 if (j < ma->n - 1) z[1][max+1] = z[1][max+2] = 0.;
 248                 tmp = z[0]; z[0] = z[1]; z[1] = tmp;
 249         }
 250         if (z[0] != ma->z) memcpy(ma->z, z[0], sizeof(double) * (2 * ma->n + 1));
 251 }
 252 // Warning: this is cubic in ma->n, very sloooooow
 253 static void mc_add_afs(mc_aux_t *ma, double PD, double *f_map, double *p_map)
 254 {
 255         int k, l;
 256         double sum = 0.;
 257         memset(ma->afs1, 0, sizeof(double) * (2 * ma->n + 1));
 258         *f_map = *p_map = -1.;
 259         for (k = 0; k <= 2 * ma->n; ++k) {
 260                 mc_cal_z(ma, k);
 261                 for (l = 0; l <= 2 * ma->n; ++l)
 262                         ma->afs1[l] += ma->alpha[k] * ma->z[l] / PD;
 263         }
 264         for (k = 0; k <= ma->M; ++k)
 265                 if (isnan(ma->afs1[k]) || isinf(ma->afs1[k])) return;
 266         for (k = 0; k <= 2 * ma->n; ++k) {
 267                 ma->afs[k] += ma->afs1[k];
 268                 sum += ma->afs1[k];
 269         }
 270         {
 271                 int max_k = 0;
 272                 double max = -1., e = 0.;
 273                 for (k = 0; k <= 2 * ma->n; ++k) {
 274                         if (ma->afs1[k] > max) max = ma->afs1[k], max_k = k;
 275                         e += k * ma->afs1[k];
 276                 }
 277                 *f_map = .5 * max_k / ma->n; *p_map = max; // e should equal mc_rst_t::f_exp
 278 //              printf(" * %.3lg:%.3lg:%.3lg:%.3lg * ", sum, 1.-.5*max_k/ma->n, max, 1.-.5*e/ma->n);
 279         }
 280 }
 281
 282 int mc_cal(int ref, int *n, const bam_pileup1_t **plp, mc_aux_t *ma, mc_rst_t *rst, int level)
 283 {
 284         int i, tot;
 285         memset(rst, 0, sizeof(mc_rst_t));
 286         rst->f_em = rst->f_exp = -1.; rst->ref = rst->alt = -1;
 287         // precalculation
 288         tot = sum_err(n, plp, ma);
 289         if (tot == 0) return 0; // no good bases
 290         set_allele(ref, ma);
 291         cal_pdg(ma);
 292         // set ref/major allele
 293         rst->ref = ma->ref; rst->alt = ma->alt; rst->alt2 = ma->alt2;
 294         // calculate naive and Nielsen's freq
 295         rst->f_naive = mc_freq0(ma, &rst->f_nielsen);
 296         { // calculate f_em
 297                 double flast = rst->f_naive;
 298                 for (i = 0; i < MC_MAX_EM_ITER; ++i) {
 299                         rst->f_em = mc_freq_iter(flast, ma);
 300                         if (fabs(rst->f_em - flast) < MC_EM_EPS) break;
 301                         flast = rst->f_em;
 302                 }
 303         }
 304         if (level >= 2) // quadratic-time calculations; necessary for genotyping
 305                 rst->p_ref = mc_ref_prob(ma, &rst->PD, &rst->f_exp);
 306         if (level >= 3)
 307                 mc_add_afs(ma, rst->PD, &rst->f_map, &rst->p_map);
 308         return tot;
 309 }
 310
 311 void mc_dump_afs(mc_aux_t *ma)
 312 {
 313         int k;
 314         fprintf(stderr, "[afs]");
 315         for (k = 0; k <= ma->M; ++k)
 316                 fprintf(stderr, " %d:%.3lf", k, ma->afs[ma->M - k]);
 317         fprintf(stderr, "\n");
 318         memset(ma->afs, 0, sizeof(double) * (ma->M + 1));
 319 }