不偏推定量とは?平均と分散を例に分かりやすく解説

更新日

不偏推定量とは

統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数θθの推定量をθ^\hat{θ}と表すと、

E(θ^)=θE(\hat{θ}) = θ

を満たすようなものです。また、この時の推定量θ^\hat{θ}不偏推定量と言います。これは点推定の一種です。

 平均と分散の不偏推定量

例として、無作為標本x1,x2,...,xnx_1,x_2,...,x_nから推定できる、母集団の平均μμと分散σ2σ^2の不偏推定量を考えてみます。

平均の不偏推定量

標本平均をxˉ\bar{x}とすると、

E(xˉ)=E(1ni=1n xi)=1ni=1n E(xi)=1n×nμ=μE(\bar{x}) = E(\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } x_i) = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } E(x_i) = \frac{1}{n}×nμ = μ

より、E(xˉ)=μE(\bar{x}) = μとなるので、

母平均の不偏推定量μ^\hat{μ}は標本平均のxˉ\bar{x}です。

また、

V(xˉ)=(1n)2i=1nV(xi)=σ2nV(\bar{x}) =\displaystyle(\frac{1}{n})^2 \sum_{ i = 1 }^{ n } V(x_i) = \frac{σ^2}{n}

という性質も成り立ちます。

分散の不偏推定量(標本不偏分散)

平均の不偏推定量が標本平均だったので、分散の不偏推定量も標本平均から求めた分散s2=1ni=1n(xix)2s^2 = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2で表せそうですが、実際にはそうはなりません。

このことを確かめるために、E(s2)E(s^2)を計算してみることにします。

E(s2)=E[1ni=1n(xix)2]= 1nE(i=1n(xix)2)=1nE(i=1n[(xiμ)(xˉμ)]2)=1nE(i=1n(xiμ)22i=1n(xiμ)(xˉμ)+i=1n(xˉμ)2)=1nE(i=1n(xiμ)22n(xˉμ)2+n(xˉμ)2)=1nE(i=1n(xiμ)2n(xˉμ)2)=1ni=1nE[(xiμ)2]E[(xˉμ)2]=1ni=1nV(xi)V(xˉ)=σ2σ2n=n1nσ2\begin{equation*}\begin{split} E(s^2) &= E[\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2] \\ &=  \frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2) \\ &=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } [(x_i-μ)-(\bar{x} - μ)]^2)\\&=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2\displaystyle \sum_{ i = 1 }^{ n }(x_i-μ)(\bar{x} - μ)+\displaystyle \sum_{ i = 1 }^{ n }(\bar{x} - μ)^2)\\&=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2n(\bar{x} - μ)^2+n(\bar{x} - μ)^2)\\&=\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-n(\bar{x} - μ)^2)\\ &=\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }E[(x_i-μ)^2]-E[(\bar{x} - μ)^2]\\ &=\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }V(x_i)-V(\bar{x}) \\ &= σ^2 - \frac{σ^2}{n} \\&= \frac{n-1}{n}σ^2\end{split}\end{equation*}

つまり、E(s2)σ2E(s^2) ≠σ^2であるので、標本平均から求めた分散は、母分散σ2σ^2の不偏推定量ではないということが分かります

では、母分散の不偏推定量σ^2\hat{σ}^2とは、どうなるのでしょうか。それは以下の式になります。

σ^2=1n1i=1n(xix)2\hat{σ}^2 = \frac{1}{n-1}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2

そして、この式を満たすσ^2\hat{σ}^2を、標本不偏分散(または不偏分散)と言い、S2S^2で表します

母分散が未知の場合の解析に使われる母分散の推定値が、この標本不偏分散なので非常に重要な概念として覚えておきましょう。

カテゴリ: 統計的推定