ベイズの定理

定義

ある事象$A$に対して、その事象の原因として排反な$n$個の事象$H_1, H_2,…,,H_n$が考えられ、それ以外に原因はないとすると、条件付き確率に関する式$P(B\mid{A})=\frac{P(A\cap{B})}{P(A)}$において$B$を$H_I$と表すと、

$$ P(H_i\mid{A})=\frac{P(H_i\cap{A})}{P(A)} $$

となり、右辺の分子の積事象の確率を乗法定理$P(A\cap{B})=P(A)P(B|A)$により分解すると、

$$ P(H_i\mid{A})=\frac{P(H_i)P(A\cap{H_i})}{P(A)} $$

が成り立つ。

各原因の出現確率$P(A|H_i)$が過去のデータから推定できるとき、$P(A)=P(A\cap\Omega)$であり、$\Omega=H_1\cup{H_2}\cup…\cup{H_n}$かつ、$H_i\cap{H_j}, i\neq{j}$であることを利用して、

$$ \begin{aligned}P(A)&=P(A\cap{H_1})+P(A\cap{H_2})+\dots+P(A\cap{H_n})\\&=P(H_1)P(A\mid{H_i})+P(H_2)P(A\mid{H_2})+\dots+P(H_n)P(A\mid{H_n}) \end{aligned} $$

これにより、ベイズの定理が得られる

$$ \begin{aligned}P(H_i|A)&=\frac{P(H_i)P(A\mid{H_i})}{\sum^n_{i=1}P(H_j)P(A\mid{H_j})}\end{aligned} $$

$P(H_i)$は事前確率、$P(H_i|A)$は事後確率と呼ばれる。

要するに、ベイズの定理とは、新しい情報$A$を得たときに、ある事象$H_i$が起こる確率を更新するための方法です。これにより、既存の知識（事前確率）を新しいデータによって修正し、より正確な確率（事後確率）を得ることができる。