正規分布の事後分布の平均と分散

更新日

正規分布の事後分布の性質

正規分布に従う母集団からデータを取ってくるとき、共役事前分布は正規分布となります。よって、事前分布を正規分布としたとき、事後分布は次のようなことが言えます。

母平均μ\mu、母分散σ2\sigma^2に従う正規母集団から大きさnnの標本を抽出し、標本平均x\overline{x}を得たとする。母平均μ\muの事前分布として平均η\eta、分散τ2\tau^2の正規分布をとるとき、μ\muの事後分布は

平均:nτ2x+σ2ηnτ2+σ2=nσ2x+1τ2ηnσ2+1τ2\frac{n\tau^2\overline{x}+\sigma^2\eta}{n\tau^2+\sigma^2}=\frac{\frac{n}{\sigma^2}\overline{x}+\frac{1}{\tau^2}\eta}{\frac{n}{\sigma^2}+\frac{1}{\tau^2}}

分散:τ2σ2nτ2+σ2=σ2τ2nσ2n+τ2\frac{\tau^2\sigma^2}{n\tau^2+\sigma^2}=\frac{\frac{\sigma^2\tau^2}{n}}{\frac{\sigma^2}{n}+\tau^2}

の正規分布に従う

事後分布の平均、分散の導出

正規分布の事後分布を証明します。

事前分布はμN(η,τ2)\mu〜N(\eta,\tau^2)であるから、密度関数は、

π(μ)=12πτexp[(μη)22τ2]\pi(\mu)=\frac{1}{\sqrt{2\pi}\tau}exp[-\frac{(\mu-\eta)^2}{2\tau^2}]

となります。次に、正規母集団の密度関数は

f(x)=12πσexp[(xμ)22σ2]f(x)=\frac{1}{\sqrt{2\pi}\sigma}exp[-\frac{(x-\mu)^2}{2\sigma^2}]

であるので、データx={x1,x2,...,xn}x=\{x_1,x_2,...,x_n\}を得たとき、データがi.i.dである下では、尤度は

f(xμ)=f(x1μ)f(x2μ)...f(xnμ)f(x|\mu)=f(x_1|\mu)f(x_2|\mu)...f(x_n|\mu)

=i=1n12πσexp[(xiμ)22σ2]=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}exp[-\frac{(x_i-\mu)^2}{2\sigma^2}]

=(12πσ)nexp[(x1μ)22σ2(x2μ)22σ2...(xnμ)22σ2]=(\frac{1}{\sqrt{2\pi}\sigma})^nexp[-\frac{(x_1-\mu)^2}{2\sigma^2}-\frac{(x_2-\mu)^2}{2\sigma^2}...-\frac{(x_n-\mu)^2}{2\sigma^2}]

となります。ここで、指数部分のみを取り出すと

(x1μ)22σ2(x2μ)22σ2...(xnμ)22σ2=12σ2{(x1μ)2+(x2μ)2+...+(xnμ)2}-\frac{(x_1-\mu)^2}{2\sigma^2}-\frac{(x_2-\mu)^2}{2\sigma^2}...-\frac{(x_n-\mu)^2}{2\sigma^2}=-\frac{1}{2\sigma^2}\{(x_1-\mu)^2+(x_2-\mu)^2+...+(x_n-\mu)^2\}

=12σ2{nμ22(x1+x2+...+xn)μ+(x12+x22+...+xn2)}=-\frac{1}{2\sigma^2}\{n\mu^2-2(x_1+x_2+...+x_n)\mu+(x_1^2+x_2^2+...+x_n^2)\}

=12σ2[n{μ221n(x1+x2+...+xn)μ}+(x12+x22+...+xn2)]=-\frac{1}{2\sigma^2}[n\{\mu^2-2\frac{1}{n}(x_1+x_2+...+x_n)\mu\}+(x_1^2+x_2^2+...+x_n^2)]

1n(x1+x2+...+xn)=x\frac{1}{n}(x_1+x_2+...+x_n)=\overline{x}であることを利用する

=12σ2[n(μ22xμ)+(x12+x22+...+xn2)]=-\frac{1}{2\sigma^2}[n(\mu^2-2\overline{x}\mu)+(x_1^2+x_2^2+...+x_n^2)]

μ\muに関して平方完成する

=12σ2[n(μx)2nx2(x12+x22+...+xn2)]=-\frac{1}{2\sigma^2}[n(\mu-\overline{x})^2-n\overline{x}^2-(x_1^2+x_2^2+...+x_n^2)]

標本分散S2=x2x2S^2=\overline{x^2}-\overline{x}^2を利用する

=12σ2[n(μx)2+nS2]=-\frac{1}{2\sigma^2}[n(\mu-\overline{x})^2+nS^2]

となります。これを先ほどの尤度に戻してあげれば、

f(xμ)=(12πσ)nexp[12σ2{n(μx)2+nS2}]f(x|\mu)=(\frac{1}{\sqrt{2\pi}\sigma})^nexp[-\frac{1}{2\sigma^2}\{n(\mu-\overline{x})^2+nS^2\}]

が得られます。

よって、事後分布は、

π(μx)(12πσ)nexp[12σ2{n(μx)2+nS2)}]12πτexp[(μη)22τ2]\pi(\mu|x)\propto(\frac{1}{\sqrt{2\pi}\sigma})^nexp[-\frac{1}{2\sigma^2}\{n(\mu-\overline{x})^2+nS^2)\}]\frac{1}{\sqrt{2\pi}\tau}exp[-\frac{(\mu-\eta)^2}{2\tau^2}]

と計算できます。

さらに、μ\muに関して定数とみなせるものは比例式から取り除けるので、

exp[12σ2{n(μx)2+nS2}]=exp[12σ2n(μx)2]exp[12σ2nS2]exp[-\frac{1}{2\sigma^2}\{n(\mu-\overline{x})^2+nS^2\}]=exp[-\frac{1}{2\sigma^2}n(\mu-\overline{x})^2]exp[-\frac{1}{2\sigma^2}nS^2]となり、exp[12σ2nS2]exp[-\frac{1}{2\sigma^2}nS^2]は定数とみなせる

π(μx)exp[12σ2{n(μx)2}]exp[(μη)22τ2]\pi(\mu|x)\propto exp[-\frac{1}{2\sigma^2}\{n(\mu-\overline{x})^2\}]exp[-\frac{(\mu-\eta)^2}{2\tau^2}]

 exp[n(μx)22σ2(μη)22τ2]\propto exp[-\frac{n(\mu-\overline{x})^2}{2\sigma^2}-\frac{(\mu-\eta)^2}{2\tau^2}]

とかけます。ここで指数部分を取り出すと、

n(μx)22σ2(μη)22τ2-\frac{n(\mu-\overline{x})^2}{2\sigma^2}-\frac{(\mu-\eta)^2}{2\tau^2}

=nτ2(μx)2+σ2(μη)22σ2τ2=-\frac{n\tau^2(\mu-\overline{x})^2+\sigma^2(\mu-\eta)^2}{2\sigma^2\tau^2}

μ\muの降べきで並べる

=(nτ2+σ2)μ22(nτ2x+σ2η)μ+(nτ2x2+σ2η2)2σ2τ2=-\frac{(n\tau^2+\sigma^2)\mu^2-2(n\tau^2\overline{x}+\sigma^2\eta)\mu+(n\tau^2\overline{x^2}+\sigma^2\eta^2)}{2\sigma^2\tau^2}

μ\muに関して平方完成する

=nτ2+σ22σ2τ2(μnτ2x+σ2ηnτ2+σ2)2n(ηx)22(nτ2+σ2)=-\frac{n\tau^2+\sigma^2}{2\sigma^2\tau^2}(\mu-\frac{n\tau^2\overline{x}+\sigma^2\eta}{n\tau^2+\sigma^2})^2-\frac{n(\eta-\overline{x})^2}{2(n\tau^2+\sigma^2)}

となるため、この式の第二項は元の式に戻すと定数となります。

よって事後分布は、

π(μx) exp[nτ2+σ22σ2τ2(μnτ2x+σ2ηnτ2+σ2)2]\pi(\mu|x)\propto exp[-\frac{n\tau^2+\sigma^2}{2\sigma^2\tau^2}(\mu-\frac{n\tau^2\overline{x}+\sigma^2\eta}{n\tau^2+\sigma^2})^2]

となります。

これは、平均nτ2x+σ2ηnτ2+σ2\frac{n\tau^2\overline{x}+\sigma^2\eta}{n\tau^2+\sigma^2}、分散τ2σ2nτ2+σ2\frac{\tau^2\sigma^2}{n\tau^2+\sigma^2}の正規分布に従うことが確認できます。

正規分布の事後分布の平均、分散の性質

事後分布は

平均:nτ2x+σ2ηnτ2+σ2=nσ2x+1τ2ηnσ2+1τ2\frac{n\tau^2\overline{x}+\sigma^2\eta}{n\tau^2+\sigma^2}=\frac{\frac{n}{\sigma^2}\overline{x}+\frac{1}{\tau^2}\eta}{\frac{n}{\sigma^2}+\frac{1}{\tau^2}}

分散:τ2σ2nτ2+σ2=σ2τ2nσ2n+τ2\frac{\tau^2\sigma^2}{n\tau^2+\sigma^2}=\frac{\frac{\sigma^2\tau^2}{n}}{\frac{\sigma^2}{n}+\tau^2}

と書き換えることができます。この書き換えたあとの式を見ると、重要な性質が見えてきます。

まずは平均について見てみましょう。

nσ2\frac{n}{\sigma^2}w1w_11τ2\frac{1}{\tau^2}w2w_2とおくと、この式は

w1x+w2ηw1+w2\frac{w_1\overline{x}+w_2\eta}{w_1+w_2}

となります。これは標本平均と事前平均の重み付けをしています。

次に分散を見てみましょう。

σ2n\frac{\sigma^2}{n}Var(x)Var(\overline{x})であるから、

Var(x)τ2Var(x)+τ2\frac{Var(\overline{x})\tau^2}{Var(\overline{x})+\tau^2}

という式が得られます。

分散という統計量は、精度を表すことができます。つまり、分散の値が大きければ大きいほど、その情報の信頼性は薄いといえます。

ここで、τ2\tau^2を無限大に近づけてみましょう。これはつまり、事前情報の信頼性がほぼない状態を示しています。すると、事後分布の平均は標本平均に近づくことがわかります。
逆にτ2\tau^200に近づけてみましょう。これはつまり、事前情報に絶対的な信頼があることを示しています。すると、事後分布の平均は事前平均に近づくことがわかります。

計算例

実データで事後分布の平均と分散を導出してみましょう。

男子バスケットボールの選手の平均身長μ\muを調べたい。事前情報として、身長の事前分布μN(180,152)\mu〜N(180,15^2)を持っている。

いま、バスケット選手5人を無作為に抽出したとき、平均身長195を得た。バスケット選手の身長の分布は正規分布に従っているものとするとき、μ\muの事後分布の平均、分散を求めよ。

ただし、バスケット選手の身長の分布の分散は10210^2であるとわかっている。

事前分布がμN(η,τ2)\mu〜N(\eta,\tau^2)であり、取ってくるデータの母集団分布がN(μ,σ2)N(\mu,\sigma^2)であるとき、事後分布はμN(nτ2x+σ2ηnτ2+σ2,τ2σ2nτ2+σ2)\mu〜N(\frac{n\tau^2\overline{x}+\sigma^2\eta}{n\tau^2+\sigma^2},\frac{\tau^2\sigma^2}{n\tau^2+\sigma^2})に従います。

ここに、対応する値を代入しましょう。

つまり、η\eta=180、τ2=152\tau^2=15^2σ2=102\sigma^2=10^2nn=5、x\overline{x}=195をそれぞれ代入すれば、

平均:193.8平均:193.8

分散:18.4分散:18.4

が得られます。

関連記事

共役事前分布を分かりやすく解説

カテゴリ: ベイズ統計