ベイズ推論の基礎：条件付き確率からディリクレ分布の自然共役性まで

背景

臨床試験や疫学研究では、複数の転帰（カテゴリ）を同時に扱う場面が多い。たとえば治療後の患者状態を「改善・不変・悪化」の3値で評価する場合、各カテゴリに落ちる確率パラメータ $(p_1,p_2,p_3)$ は ${\sum }_i{p}_i=1$ という制約を持つ。このような多カテゴリのカウントデータは多項分布でモデル化され、その自然共役事前分布としてディリクレ分布が現れる。

本ノートでは、確率論の基礎（条件付き確率・ベイズの定理）から出発し、多項分布のパラメータに対する最尤推定とベイズ事後分布の導出を行い、ディリクレ分布がなぜ「自然共役事前分布」と呼ばれるのかを確認する。

1. 条件付き確率とベイズの定理

1.1 同時確率・周辺確率・条件付き確率

確率の基本操作として、同時確率 $P(A,B)$、周辺確率 $P(A)$、条件付き確率 $P(B\mid A)$ の関係を確認する。A と B の 2×2分割表を具体例として考える。

	B: あたり	B: はずれ	計
A: あたり	8	14	22
A: はずれ	10	28	38
計	18	42	60

A と B がどちらもはずれる同時確率は

$$P(A=\text{はずれ},B=\text{はずれ})=\frac{28}{60}=\frac{7}{15}.$$

A があたる周辺確率は、B の結果を周辺化して

$$P(A=\text{あたり})=\frac{22}{60}=\frac{11}{30}.$$

A がはずれであるとわかったときの B の条件付き確率は

$$P(B=\text{あたり}\mid A=\text{はずれ})=\frac{P(B=\text{あたり},A=\text{はずれ})}{P(A=\text{はずれ})}=\frac{10}{38}=\frac{5}{19},$$ $$P(B=\text{はずれ}\mid A=\text{はずれ})=\frac{28}{38}=\frac{14}{19}.$$

1.2 ベイズの定理

条件付き確率の定義から直接導かれるベイズの定理は、観測データ $B$ を得た後に原因 $A$ の確からしさを更新する枠組みを与える。

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}$$

次の具体例で確認する。ある地域では 4 日に 1 日は雨が降る。雨の日に猫が顔を洗う確率は $8/10$、雨以外の日に洗う確率は $1/10$ である。今朝、猫が顔を洗っているのを見たとき、今日が雨である確率はいくらか。

$A=\{\text{今日が雨}\}$、$B=\{\text{猫が顔を洗う}\}$ とおく。

$$P(A)=\frac{1}{4},P(B\mid A)=\frac{8}{10}=\frac{4}{5},P(B\mid A^c)=\frac{1}{10}.$$

全確率の定理より

$$P(B)=P(B\mid A)P(A)+P(B\mid A^c)P(A^c)=\frac{4}{5}\cdot \frac{1}{4}+\frac{1}{10}\cdot \frac{3}{4}=\frac{11}{40}.$$

ベイズの定理より

$$P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}=\frac{\frac{4}{5}\cdot \frac{1}{4}}{\frac{11}{40}}=\frac{8}{11}\approx \mathrm{0.727.}$$

事前確率 $P(A)=1/4=0.25$ だった「今日が雨である」という信念が、猫の行動というデータによって事後確率 $0.727$ へと更新された。この「事前分布 → データによる更新 → 事後分布」の流れが、次節以降で扱うベイズパラメータ推定の本質である。

2. 多項分布と最尤推定

2.1 多項分布

$d$ 個のカテゴリがあり、各試行がいずれか 1 つのカテゴリに属する。カテゴリ $i$ の生起確率を $p_i$（${\sum }_{i=1}^d{p}_i=1$）、$n$ 回の独立試行での各カテゴリの出現回数を $X_1,\dots ,X_d$ とすると、確率質量関数は

$$P(X_1,\dots ,X_d;p_1,\dots ,p_d)=\frac{n!}{{\prod }_{i=1}^d{X}_i!}\prod _{i=1}^d{p}_i^{X_i},\sum _{i=1}^d{p}_i=1.$$

2.2 ラグランジュ未定乗数法による最尤推定

ある三面ダイスを独立に 100 回振ったところ、出目 $(1,2,3)$ の頻度がそれぞれ $(15,40,45)$ であった。このデータから各出目の確率 $\mathbf{p}=(p_1,p_2,p_3)$ を推定する。

尤度関数から $\mathbf{p}$ に依存しない係数を除くと

$$L(\mathbf{p})\propto p_1^{x_1}{p}_2^{x_2}{p}_3^{x_3},p_1+p_2+p_3=1.$$

対数尤度をとり、制約条件 ${\sum }_i{p}_i=1$ の下での最大化をラグランジュ未定乗数法で解く。

$$\ell =x_1\log p_1+x_2\log p_2+x_3\log p_3+\lambda (1-p_1-p_2-p_3).$$

$p_i$ で偏微分して $0$ とおくと

$$\frac{\partial \ell }{\partial p_i}=\frac{x_i}{p_i}-\lambda =0\Rightarrow p_i=\frac{x_i}{\lambda }.$$

制約条件 ${\sum }_i{p}_i=1$ より $\lambda ={\sum }_i{x}_i=n$、したがって

$${\hat{p}}_i^{\text{MLE}}=\frac{x_i}{n}.$$

データ $(x_1,x_2,x_3)=(15,40,45)$ を代入して

$$({\hat{p}}_1,{\hat{p}}_2,{\hat{p}}_3)=(0.15,0.40,0.45).$$

これは標本割合に一致しており、直感的にも自然な推定結果である。

3. ディリクレ分布と自然共役性

3.1 自然共役事前分布とは

ベイズ推論では、尤度と事前分布の積から事後分布を求める。このとき、事後分布が事前分布と同じ分布族に属するなら、その事前分布を尤度関数に対する自然共役事前分布と呼ぶ。共役性により、データが追加されるたびにハイパーパラメータを更新するだけで事後分布が求まるため、逐次的な推論が容易になる。

3.2 多項分布に対するディリクレ分布の共役性

多項分布の尤度は（$\mathbf{p}$ に依存しない係数を除き）

$$p(\mathbf{x}\mid \mathbf{p})\propto \prod _{i=1}^K{p}_i^{x_i}$$

である。ここで事前分布として

$$p(\mathbf{p})\propto \prod _{i=1}^K{p}_i^{{\alpha }_i-1}$$

を仮定する。これはディリクレ分布 $\mathrm{Dir}({\alpha }_1,\dots ,{\alpha }_K)$ の核である。ベイズの定理より事後分布は

$$p(\mathbf{p}\mid \mathbf{x})\propto p(\mathbf{x}\mid \mathbf{p})p(\mathbf{p})\propto \prod _{i=1}^K{p}_i^{x_i}\cdot \prod _{i=1}^K{p}_i^{{\alpha }_i-1}=\prod _{i=1}^K{p}_i^{x_i+{\alpha }_i-1}.$$

これは再びディリクレ分布 $\mathrm{Dir}(x_1+{\alpha }_1,\dots ,x_K+{\alpha }_K)$ の核である。したがって、ディリクレ分布は多項分布の自然共役事前分布であることが確認された。

特に $K=2$ のとき、多項分布は二項分布に、ディリクレ分布はベータ分布に帰着する。すなわち、ベータ分布が二項分布の自然共役事前分布であることは、この結果の特殊ケースとして導かれる。

3.3 三面ダイスデータでの具体例

先ほどの三面ダイスのデータ $(x_1,x_2,x_3)=(15,40,45)$ に対し、ハイパーパラメータをすべて $1$ としたディリクレ事前分布 $\mathrm{Dir}(1,1,1)$ を仮定する。この事前分布は

$$p(\mathbf{p})=\mathrm{Dir}(1,1,1)\propto \prod _{i=1}^3{p}_i^0=1$$

となり、単体上の一様分布に相当する。ベイズの定理により事後分布は

$$p(\mathbf{p}\mid \mathbf{x})\propto \prod _{i=1}^3{p}_i^{x_i}\cdot \prod _{i=1}^3{p}_i^0=\prod _{i=1}^3{p}_i^{x_i},$$

したがって

$$p(\mathbf{p}\mid \mathbf{x})=\mathrm{Dir}(16,41,46).$$

MLE が点推定値 $(0.15,0.40,0.45)$ を与えるのに対し、ベイズ事後分布はパラメータ空間全体にわたる確率分布として推定の不確実性を保持している。$\mathrm{Dir}(1,1,1)$（一様事前分布）の下では事後分布の最頻値（MAP推定値）は MLE と一致するが、データ数が少ない場合には事後分布の広がり（分散）が小さくならないため、推定の不確実性が明示的に表現される。

4. 生物統計学との接続

多項分布とディリクレ分布の組み合わせは、臨床研究における多カテゴリアウトカムの解析に直接応用される。

疾患の重症度を「軽症・中等症・重症」の 3 段階で評価する臨床試験では、各群の転帰分布を多項分布でモデル化し、ディリクレ事前分布を用いたベイズ推論が可能である。また、メタアナリシスにおける異質性のモデル化、ノンパラメトリックベイズにおけるディリクレ過程の基礎としても、この分布の理解は重要である。

本ノートではシミュレーションや実データ解析には踏み込んでいないが、理論的基礎としてのディリクレ-多項共役モデルの理解は、より高度な階層ベイズモデルや混合モデルへ進むための前提となる。

実装コード

本ノートの内容は導出が中心であり、実装コードは含まれていない。R でディリクレ分布の確率密度を確認する最小限のコード例を以下に示す。

# Dirichlet 分布の確率密度関数
library(MCMCpack)
alpha <- c(16, 41, 46)
x <- c(0.15, 0.40, 0.45)
ddirichlet(x, alpha)