bam_mcns.c

   1 #include <math.h>
   2 #include <stdlib.h>
   3 #include <stdio.h>
   4 #include "bam_mcns.h"
   5
   6 #define MC_MIN_QUAL 13
   7 #define MC_AVG_ERR 0.007
   8 #define MC_MAX_SUMQ 3000
   9 #define MC_MAX_SUMQP 1e-300
  10 #define MC_MAX_EM_ITER 16
  11 #define MC_EM_EPS 1e-4
  12
  13 struct __mc_aux_t {
  14         int n, M;
  15         int ref, alt, alt2;
  16         double *q2p, *pdg; // pdg -> P(D|g)
  17         double *phi, *alpha, *CMk; // CMk=\binom{M}{k}
  18         double *z, *zswap; // aux for afs
  19         double *afs, *afs1; // afs: accumulative AFS; afs1: site posterior distribution
  20         int *qsum, *bcnt;
  21 };
  22
  23 static void precal_alpha(mc_aux_t *ma) // \alpha[k]=\binom{M}{k}\sum_l\phi_l(l/M)^k(1-l/M)^{M-k}
  24 {
  25         int k, l;
  26         memset(ma->alpha, 0, sizeof(double) * (ma->M + 1));
  27         for (l = 0; l <= ma->M; ++l)
  28                 ma->alpha[0] += ma->phi[l] * pow(1. - (double)l / ma->M, ma->M);
  29         for (k = 1; k < ma->M; ++k) {
  30                 for (l = 1; l < ma->M; ++l) { // for k!=0 and k!=ma->M, l=0 and l=ma->M leads to zero
  31                         double x = exp((lgamma(ma->M + 1) - lgamma(k + 1) - lgamma(ma->M - k + 1))
  32                                                    + k * log((double)l / ma->M)
  33                                                    + (ma->M - k) * log(1. - (double)l / ma->M));
  34                         ma->alpha[k] += x * ma->phi[l];
  35                 }
  36         }
  37         for (l = 0; l <= ma->M; ++l)
  38                 ma->alpha[ma->M] += ma->phi[l] * pow((double)l / ma->M, ma->M);
  39         fflush(stdout);
  40 }
  41
  42 void mc_init_prior(mc_aux_t *ma, int type, double theta)
  43 {
  44         int i;
  45         if (type == MC_PTYPE_COND2) {
  46                 for (i = 0; i <= 2 * ma->n; ++i)
  47                         ma->phi[i] = 2. * (i + 1) / (2 * ma->n + 1) / (2 * ma->n + 2);
  48         } else if (type == MC_PTYPE_FLAT) {
  49                 for (i = 0; i <= ma->M; ++i)
  50                         ma->phi[i] = 1. / (ma->M + 1);
  51         } else {
  52                 double sum;
  53                 for (i = 0, sum = 0.; i < 2 * ma->n; ++i)
  54                         sum += (ma->phi[i] = theta / (2 * ma->n - i));
  55                 ma->phi[2 * ma->n] = 1. - sum;
  56         }
  57         precal_alpha(ma);
  58 }
  59
  60 mc_aux_t *mc_init(int n) // FIXME: assuming diploid
  61 {
  62         mc_aux_t *ma;
  63         int i;
  64         ma = calloc(1, sizeof(mc_aux_t));
  65         ma->n = n; ma->M = 2 * n;
  66         ma->q2p = calloc(MC_MAX_SUMQ + 1, sizeof(double));
  67         ma->qsum = calloc(4 * ma->n, sizeof(int));
  68         ma->bcnt = calloc(4 * ma->n, sizeof(int));
  69         ma->pdg = calloc(3 * ma->n, sizeof(double));
  70         ma->phi = calloc(ma->M + 1, sizeof(double));
  71         ma->alpha = calloc(ma->M + 1, sizeof(double));
  72         ma->CMk = calloc(ma->M + 1, sizeof(double));
  73         ma->z = calloc(2 * ma->n + 1, sizeof(double));
  74         ma->zswap = calloc(2 * ma->n + 1, sizeof(double));
  75         ma->afs = calloc(2 * ma->n + 1, sizeof(double));
  76         ma->afs1 = calloc(2 * ma->n + 1, sizeof(double));
  77         for (i = 0; i <= MC_MAX_SUMQ; ++i)
  78                 ma->q2p[i] = pow(10., -i / 10.);
  79         for (i = 0; i <= ma->M; ++i)
  80                 ma->CMk[i] = exp(lgamma(ma->M + 1) - lgamma(i + 1) - lgamma(ma->M - i + 1));
  81         mc_init_prior(ma, MC_PTYPE_FULL, 1e-3); // the simplest prior
  82         return ma;
  83 }
  84
  85 void mc_destroy(mc_aux_t *ma)
  86 {
  87         if (ma) {
  88                 free(ma->qsum); free(ma->bcnt);
  89                 free(ma->q2p); free(ma->pdg);
  90                 free(ma->phi); free(ma->alpha); free(ma->CMk);
  91                 free(ma->z); free(ma->zswap);
  92                 free(ma->afs); free(ma->afs1);
  93                 free(ma);
  94         }
  95 }
  96
  97 static int sum_err(int *n, const bam_pileup1_t **plp, mc_aux_t *ma)
  98 {
  99         int i, j, tot = 0;
 100         memset(ma->qsum, 0, sizeof(int) * 4 * ma->n);
 101         memset(ma->bcnt, 0, sizeof(int) * 4 * ma->n);
 102         for (j = 0; j < ma->n; ++j) {
 103                 int *qsum = ma->qsum + j * 4;
 104                 int *bcnt = ma->bcnt + j * 4;
 105                 for (i = 0; i < n[j]; ++i) {
 106                         const bam_pileup1_t *p = plp[j] + i;
 107                         int q, b;
 108                         if (p->is_del || (p->b->core.flag&BAM_FUNMAP)) continue;
 109                         q = bam1_qual(p->b)[p->qpos];
 110                         if (p->b->core.qual < q) q = p->b->core.qual;
 111                         if (q < MC_MIN_QUAL) continue; // small qual
 112                         b = bam_nt16_nt4_table[(int)bam1_seqi(bam1_seq(p->b), p->qpos)];
 113                         if (b > 3) continue; // N
 114                         qsum[b] += q;
 115                         ++bcnt[b];
 116                         ++tot;
 117                 }
 118         }
 119         return tot;
 120 }
 121
 122 static void set_allele(int ref, mc_aux_t *ma)
 123 {
 124         int i, j, sum[4], tmp;
 125         sum[0] = sum[1] = sum[2] = sum[3] = 0;
 126         for (i = 0; i < ma->n; ++i)
 127                 for (j = 0; j < 4; ++j)
 128                         sum[j] += ma->qsum[i * 4 + j];
 129         for (j = 0; j < 4; ++j) sum[j] = sum[j]<<2 | j;
 130         for (i = 1; i < 4; ++i) // insertion sort
 131                 for (j = i; j > 0 && sum[j] < sum[j-1]; --j)
 132                         tmp = sum[j], sum[j] = sum[j-1], sum[j-1] = tmp;
 133         ma->ref = sum[3]&3; ma->alt = sum[2]&3; ma->alt2 = -1;
 134         if (ma->ref != ref) { // the best base is not ref
 135                 if (ref >= 0 && ref <= 3) { // ref is not N
 136                         if (ma->alt == ref) tmp = ma->ref, ma->ref = ma->alt, ma->alt = tmp; // then switch alt and ref
 137                         else ma->alt2 = ma->alt, ma->alt = ma->ref, ma->ref = ref; // then set ref as ref
 138                 } else ma->alt2 = ma->alt, ma->alt = ma->ref, ma->ref = sum[0]&3; // then set the weakest as ref
 139         }
 140 }
 141
 142 static void cal_pdg(mc_aux_t *ma)
 143 {
 144         int i, j;
 145         for (j = 0; j < ma->n; ++j) {
 146                 int pi[3], *qsum, *bcnt;
 147                 double *pdg = ma->pdg + j * 3;
 148                 qsum = ma->qsum + j * 4;
 149                 bcnt = ma->bcnt + j * 4;
 150                 pi[1] = 3 * (bcnt[ma->ref] + bcnt[ma->alt]);
 151                 pi[0] = qsum[ma->ref];
 152                 pi[2] = qsum[ma->alt];
 153                 for (i = 0; i < 3; ++i)
 154                         pdg[i] = pi[i] > MC_MAX_SUMQ? MC_MAX_SUMQP : ma->q2p[pi[i]];
 155         }
 156 }
 157 // this calculates the naive allele frequency and Nielsen's frequency
 158 static double mc_freq0(const mc_aux_t *ma, double *_f)
 159 {
 160         int i, cnt;
 161         double f, f_nielsen, w_sum;
 162         *_f = -1.;
 163         for (i = cnt = 0, f = f_nielsen = w_sum = 0.; i < ma->n; ++i) {
 164                 int *bcnt = ma->bcnt + i * 4;
 165                 int x = bcnt[ma->ref] + bcnt[ma->alt];
 166                 if (x) {
 167                         double w, p;
 168                         ++cnt;
 169                         f += (double)bcnt[ma->ref] / x;
 170                         p = (bcnt[ma->ref] - MC_AVG_ERR * x) / (1. - 2. * MC_AVG_ERR) / x;
 171                         w = 2. * x / (1. + x);
 172                         w_sum += w;
 173                         f_nielsen += p * w;
 174                 }
 175         }
 176         if (cnt) {
 177                 f_nielsen /= w_sum;
 178                 if (f_nielsen < 0.) f_nielsen = 0.;
 179                 if (f_nielsen > 1.) f_nielsen = 1.;
 180                 *_f = f_nielsen;
 181                 return f / cnt;
 182         } else return -1.;
 183 }
 184 // f0 is the reference allele frequency
 185 static double mc_freq_iter(double f0, const mc_aux_t *ma)
 186 {
 187         double f, f3[3];
 188         int i;
 189         f3[0] = (1.-f0)*(1.-f0); f3[1] = 2.*f0*(1.-f0); f3[2] = f0*f0;
 190         for (i = 0, f = 0.; i < ma->n; ++i) {
 191                 double *pdg;
 192                 pdg = ma->pdg + i * 3;
 193                 f += (pdg[1] * f3[1] + 2. * pdg[2] * f3[2])
 194                         / (pdg[0] * f3[0] + pdg[1] * f3[1] + pdg[2] * f3[2]);
 195         }
 196         f /= ma->n * 2.;
 197         return f;
 198 }
 199
 200 int mc_call_gt(const mc_aux_t *ma, double f0, int k)
 201 {
 202         double sum, g[3];
 203         double max, f3[3], *pdg = ma->pdg + k * 3;
 204         int q, i, max_i;
 205         f3[0] = (1.-f0)*(1.-f0); f3[1] = 2.*f0*(1.-f0); f3[2] = f0*f0;
 206         for (i = 0, sum = 0.; i < 3; ++i)
 207                 sum += (g[i] = pdg[i] * f3[i]);
 208         for (i = 0, max = -1., max_i = 0; i < 3; ++i) {
 209                 g[i] /= sum;
 210                 if (g[i] > max) max = g[i], max_i = i;
 211         }
 212         max = 1. - max;
 213         if (max < 1e-308) max = 1e-308;
 214         q = (int)(-3.434 * log(max) + .499);
 215         if (q > 99) q = 99;
 216         return q<<2|max_i;
 217 }
 218
 219 static void mc_cal_z(mc_aux_t *ma)
 220 {
 221         double *z[2], *tmp, *pdg;
 222         int i, j;
 223         z[0] = ma->z;
 224         z[1] = ma->zswap;
 225         pdg = ma->pdg;
 226         z[0][0] = 1.; z[0][1] = z[0][2] = 0.;
 227         for (j = 0; j < ma->n; ++j) {
 228                 int max = (j + 1) * 2;
 229                 double p[3];
 230                 pdg = ma->pdg + j * 3;
 231                 p[0] = pdg[0]; p[1] = 2. * pdg[1]; p[2] = pdg[2];
 232                 z[1][0] = p[0] * z[0][0];
 233                 z[1][1] = p[0] * z[0][1] + p[1] * z[0][0];
 234                 for (i = 2; i <= max; ++i)
 235                         z[1][i] = p[0] * z[0][i] + p[1] * z[0][i-1] + p[2] * z[0][i-2];
 236                 if (j < ma->n - 1) z[1][max+1] = z[1][max+2] = 0.;
 237 //              int k; for (k = 0; k <= max; ++k) printf("%d:%.3lg ", k, z[1][k]); putchar('\n');
 238                 tmp = z[0]; z[0] = z[1]; z[1] = tmp;
 239         }
 240         if (z[0] != ma->z) memcpy(ma->z, z[0], sizeof(double) * (2 * ma->n + 1));
 241 }
 242
 243 static double mc_add_afs(mc_aux_t *ma)
 244 {
 245         int k;
 246         long double sum = 0.;
 247         memset(ma->afs1, 0, sizeof(double) * (ma->M + 1));
 248         mc_cal_z(ma);
 249         for (k = 0, sum = 0.; k <= ma->M; ++k)
 250                 sum += (long double)ma->alpha[k] * ma->z[k] / ma->CMk[k];
 251         for (k = 0; k <= ma->M; ++k) {
 252                 ma->afs1[k] = ma->alpha[k] * ma->z[k] / ma->CMk[k] / sum;
 253                 if (isnan(ma->afs1[k]) || isinf(ma->afs1[k])) return -1.;
 254         }
 255         for (k = 0, sum = 0.; k <= ma->M; ++k) {
 256                 ma->afs[k] += ma->afs1[k];
 257                 sum += k * ma->afs1[k];
 258         }
 259         return sum / ma->M;
 260 }
 261
 262 int mc_cal(int ref, int *n, const bam_pileup1_t **plp, mc_aux_t *ma, mc_rst_t *rst, int level)
 263 {
 264         int i, tot;
 265         memset(rst, 0, sizeof(mc_rst_t));
 266         rst->f_em = rst->f_exp = -1.; rst->ref = rst->alt = -1;
 267         // precalculation
 268         tot = sum_err(n, plp, ma);
 269         if (tot == 0) return 0; // no good bases
 270         set_allele(ref, ma);
 271         cal_pdg(ma);
 272         // set ref/major allele
 273         rst->ref = ma->ref; rst->alt = ma->alt; rst->alt2 = ma->alt2;
 274         // calculate naive and Nielsen's freq
 275         rst->f_naive = mc_freq0(ma, &rst->f_nielsen);
 276         { // calculate f_em
 277                 double flast = rst->f_naive;
 278                 for (i = 0; i < MC_MAX_EM_ITER; ++i) {
 279                         rst->f_em = mc_freq_iter(flast, ma);
 280                         if (fabs(rst->f_em - flast) < MC_EM_EPS) break;
 281                         flast = rst->f_em;
 282                 }
 283         }
 284         if (level >= 2) {
 285                 rst->f_exp = mc_add_afs(ma);
 286                 rst->p_ref = ma->afs1[ma->M];
 287         }
 288         return tot;
 289 }
 290
 291 void mc_dump_afs(mc_aux_t *ma)
 292 {
 293         int k;
 294         fprintf(stderr, "[afs]");
 295         for (k = 0; k <= ma->M; ++k)
 296                 fprintf(stderr, " %d:%.3lf", k, ma->afs[ma->M - k]);
 297         fprintf(stderr, "\n");
 298         memset(ma->afs, 0, sizeof(double) * (ma->M + 1));
 299 }