ベイズの定理の導出

更新日

ベイズ統計学は、ベイズの定理から発展した統計学です。ここでは、ベイズの定理とその式から得られる重要な考え方について、初学者にもわかりやすく説明していきます。

事象の準備

ベイズの定理を考える舞台として、まず全事象Ωを考えます。
これは目的の変数が取りうる全ての離散値(整数・自然数などの飛び飛びの値)の集合となります。

さらに、全事象いくつかの既知情報A1,...,AnA_1,...,A_nに分割します。(ここではn=5とします)
A1,...,A5A_1,...,A_5は互いに交わらず、かつ全て足し合わせると全事象Ωになるように構成します。

これらの事象が成り立つ確率P(A1),...,P(An)P(A_1),...,P(A_n)事前確率と呼びます。
事前確率は予め分かっているものとします。

次に、新規情報BBが発生したとします。
すると、BBは必ずA1,...,A5A_1,...,A_5のどれかと交わります。

このとき、「新規情報BBが発生した状況で、それまで既知情報だったAiA_iが発生する確率」を求めたい場合がしばしばあります。

この確率P(AiB)P(A_i|B)事後確率と呼ばれるもので、事後確率を求めるための定理が「ベイズの定理」です。

ベイズの定理(離散型)

離散型のベイズの定理は以下のように定義されます。

P(AiB)=P(BAi)P(Ai)i=1nP(BAi)P(Ai)P(A_i|B)=\frac{P(B|A_i)P(A_i)}{\sum_{i=1}^{n}P(B|A_i)P(A_i)}

事前確率

P(Ai)P(A_i)

事後確率

P(AiB)P(A_i|B)

尤度

P(BAi)P(B|A_i)

周辺尤度

i=1nP(BAi)P(Ai)\sum_{i=1}^{n}P(B|A_i)P(A_i)

ベイズの定理を使うと、新しい情報(BB)が得られたときに、既存の事象(AiA_i)の確率を更新することができます。

ベイズの定理(連続型)

ベイズの定理を連続型に拡張すると以下のような定義式になります。

π(θx)=f(xθ)π(θ)θf(xθ)π(θ)dθ\pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{\int_{\theta}f(x|\theta)\pi(\theta)d\theta}

事前分布

π(θ)\pi(\theta)

事後分布

π(θx)\pi(\theta|x)

尤度

f(xθ)f(x|\theta)

周辺尤度

θf(xθ)π(θ)dθ\int_{\theta}f(x|\theta)\pi(\theta)d\theta

連続型のベイズの定理は「新しいデータxxが与えられた状況で、それまで既知だったパラメータθ\thetaが取り得る値の分布を求めていることになります。

ベイズの定理の導出

離散型のベイズの定理の導出を以下に示します。

条件付き確率の定義式

P(AB)=P(AB)P(B)P(A|B)=\frac{P(A\cap B)}{P(B)}
P(BA)=P(AB)P(A)P(B|A)=\frac{P(A\cap B)}{P(A)}

この2つの定義式より、

P(AB)=P(AB)P(B)=P(BA)P(A)P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)

であるから、以下が得られる。

P(AB)=P(BA)P(A)P(B)(1)P(A|B)=\frac{P(B|A)P(A)}{P(B)}…(1)

次に、AAの取りうる値が複数あるとすると、Ai(i=1,2,...,n)A_i(i=1,2,...,n)互いに独立であるという条件の下では、

P(B)=i=1nP(AiB)=i=1nP(BAi)P(Ai)...(2)P(B)=\sum_{i=1}^{n}P(A_i \cap B)=\sum_{i=1}^{n}P(B|A_i)P(A_i)...(2)

(1)に(2)を代入して、離散型のベイズの定理が得られる。

P(AiB)=P(BAi)P(Ai)P(B)=P(BAi)P(Ai)i=1nP(Ai)P(BAi)P(A_i|B)=\frac{P(B|A_i)P(A_i)}{P(B)}=\frac{P(B|A_i)P(A_i)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}

連続型のベイズの定理についても、上記の手順で求めることができます。

カテゴリ: ベイズ統計

関連サービス

講座一覧ページ

記事一覧はこちら

無料で統計学を学ぶ