ベルヌーイ分布の事後分布の平均と分散

更新日

ベルヌーイ分布の事後分布

ベルヌーイ分布からデータを取得する場合、共役事前分布がベータ分布、その事後分布もベータ分となります。

よって、ベルヌーイ分布の事後分布の平均・分散について、以下のようなことが言えます。

成功確率ppの試行を11回行い、xx回成功したとする(xxBi(1,p)Bi(1,p)に従う)。この試行をnn回行った。

パラメータppの事前分布としてBeta(α,β)Beta(\alpha,\beta)のベータ分布をとるとき、ppの事後分布は、

平均:α+γα+β+n\frac{\alpha+\gamma}{\alpha+\beta+n}

分散:(α+γ)(β+nγ)(α+β+n)2(α+β+n+1)\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}

のベータ分布Beta(α+γ,β+(nγ))Beta(\alpha+\gamma,\beta+(n-\gamma))に従う。

ただし、γ\gammaは成功回数である。

ベルヌーイ分布の事後分布の平均・分散の導出

事後分布の密度関数は以下となります。

π(p)=Γ(α+β)Γ(α)Γ(β)pα1(1p)β1\pi(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}

0p1,α>0,β>00\le p\le 1,\alpha\gt0,\beta\gt0

次にベルヌーイ分布の確率密度関数は以下です。

f(x)=px(1p)1xf(x)=p^x(1-p)^{1-x}

データx={x1,x2,...,xn}x=\{x_1,x_2,...,x_n\}を得たとき、データがi.i.dである下では、尤度は以下となります。

f(xp)=f(x1p)f(x2p)...f(xnp)f(x|p)=f(x_1|p)f(x_2|p)...f(x_n|p)

=px1(1p)1x1px2(1p)1x2...pxn(1p)1xn=p^{x_1}(1-p)^{1-x_1}p^{x_2}(1-p)^{1-x_2}...p^{x_n}(1-p)^{1-x_n}

=i=1npxi(1p)1xi=\prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i}

=pi=1nxi(1p)ni=1nxi=p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}

事後分布は比例の記号\proptoを使って、

π(px)π(p)f(xp)\pi(p|x)\propto\pi(p)f(x|p)

Γ(α+β)Γ(α)Γ(β)\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}ppに対して定数とみなせるので、

pα1(1p)β1pi=1nxi(1p)ni=1nxi\propto p^{\alpha-1}(1-p)^{\beta-1}p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}

pα+i=1nxi1(1p)β+ni=1nxi1\propto p^{\alpha+\sum_{i=1}^{n}x_i-1}(1-p)^{\beta+n-\sum_{i=1}^{n}x_i-1}

pα+γ1(1p)β+(nγ)1\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}

成功回数:γ\gamma, 失敗回数:(nγ)n-\gamma)

この式は、ベータ分布Beta(α+γ,β+(nγ))Beta(\alpha+\gamma,\beta+(n-\gamma))に従っていることがわかります。

ベータ分布Beta(α,β)Beta(\alpha,\beta)の平均、分散

平均:αα+β\frac{\alpha}{\alpha+\beta}

分散:αβ(α+β)2(α+β+1)\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}

α\alphaα+γ\alpha+\gammaβ\betaβ+(nγ)\beta+(n-\gamma)をそれぞれ代入すると、以下のようになります。

平均:α+γα+β+n平均:\frac{\alpha+\gamma}{\alpha+\beta+n}

分散:(α+γ)(β+nγ)(α+β+n)2(α+β+n+1)分散:\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}

二項分布との関係

データの母集団の分布がベルヌーイ分布ではなく、二項分布の場合はどうなるでしょう。

二項分布Bi(n,p)Bi(n,p)に従う確率分布は、

f(x)=nCxpx(1p)nxf(x)={}_nC_xp^x(1-p)^{n-x}

であるから、データxxを得たとき、尤度は以下となります。

f(xp)=nCxpx(1p)nxf(x|p)={}_nC_{x}p^{x}(1-p)^{n-x}

ここで、nCx{}_nC_{x}ppに対しては定数となります。

さらに、xxが成功回数であることを考えると、xxは上記のγ\gammaと等しいので、事後分布は上記と同様の手順で、

π(px)π(p)f(xp)\pi(p|x)\propto\pi(p)f(x|p)

pα+γ1(1p)β+(nγ)1\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}

よって、事前分布がベータ分布で、取ってくるデータの母集団分布が二項分布のとき、事後分布はベルヌーイ分布と一致します。

ベルヌーイ分布の事後分布の平均の性質

ベルヌーイ分布の事後分布の平均は

α+γα+β+n=αα+β+nγα+β+n=α+βα+β+nαα+β+nα+β+nγn\frac{\alpha+\gamma}{\alpha+\beta+n}=\frac{\alpha}{\alpha+\beta+n}\frac{\gamma}{\alpha+\beta+n}=\frac{\alpha+\beta}{\alpha+\beta+n}\frac{\alpha}{\alpha+\beta}+\frac{n}{\alpha+\beta+n}\frac{\gamma}{n}

と表すことができます。

ここで、事前分布の期待値は、

E(p)=αα+βE(p)=\frac{\alpha}{\alpha+\beta}

であり、観測値の平均(ppの最尤推定量)は、

であるので、

α+βα+β+nE(p)+nα+β+nx\frac{\alpha+\beta}{\alpha+\beta+n}E(p)+\frac{n}{\alpha+\beta+n}\overline{x}

と表せられます。

ここで、α+βα+β+n\frac{\alpha+\beta}{\alpha+\beta+n}wwとおくと、nα+β+n\frac{n}{\alpha+\beta+n}1w1-wとなるので、

wE(p)+(1w)xwE(p)+(1-w)\overline{x}と書き換えることができます。

これは、事前平均と標本平均の重みづけをしていると解釈できます。

この性質は、正規分布の事後分布の平均についても同様です。

事後分布の平均・分散の導出の例題

箱の中にたくさんの赤球と黒球が入っている。これをランダムに1個取り出し、箱の中に戻す。この操作を5回行ったところ、赤が4回、黒が1回であった。

赤球が取り出される確率をpとし、pの事前分布π(p)\pi(p)はベータ分布Be(12,12)Be(\frac{1}{2},\frac{1}{2})に従うものとする。

このときの事後分布の従う分布と、平均、分散を求めよ。

この試行の赤球を取り出す回数をxxとすると、xxは二項分布に従います。

事前分布がBeta(α,β)Beta(\alpha,\beta)に従うとき、事後分布はBeta(α+γ,β+(nγ))Beta(\alpha+\gamma,\beta+(n-\gamma))に従うので、

α\alphaβ\beta12\frac{1}{2}γ\gammaに4をそれぞれ代入すると、以下の事後分布が得られます。

Be(92,32)Be(\frac{9}{2},\frac{3}{2})

事後分布の平均、分散はそれぞれ

α+γα+β+n\frac{\alpha+\gamma}{\alpha+\beta+n}(α+γ)(β+nγ)(α+β+n)2(α+β+n+1)\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}であるから、

同様に代入して、

平均:34\frac{3}{4}

分散:0.0060.006

関連記事

ベルヌーイ分布の分かりやすいまとめ

共役事前分布を分かりやすく解説

正規分布の事後分布の平均と分散

カテゴリ: ベイズ統計

関連サービス

講座一覧ページ

記事一覧はこちら

無料で統計学を学ぶ