最尤推定量とは?初めての人にも分かりやすく解説

更新日

最尤推定量は点推定の一種で、重要な役割を果たしています。また、ベイズ推定との関係性においても議論されます。

事前の知識として、統計的推定の点推定という考え方を知っていると、理解しやすくなります。

最尤推定量とは?

最尤推定量とは、文字の如く、最も尤もらしい推定量のことです。

最尤推定量の定義

最尤推定量の定義は以下のようになります。

パラメータθ\thetaに従う分布の密度関数をf(x;θ)f(x;\theta)とする。尤度関数L(θ;x)=f(x;θ)L(\theta;x)=f(x;\theta)とすると、L(θ;x)L(\theta;x)を最大にするような推定量θ=θ^\theta=\hat{\theta}θ\theta最尤推定量という。

コイン投げの例で最尤推定量を考える

では「尤もらしい」というのはどういう意味なのでしょうか?例に沿って考えてみましょう。

【例題】

コインが1枚ある。このコインは"イカサマコイン"らしく、表の出る確率が12\frac{1}{2}ではないらしい。ここで表の出る確率を調べるために、このコインを10回投げたところ、8回表が出た。さて、このコインの表が出る確率はいくつだろうか?

コインの表が出る真の確率は分からないので、この値を推定しなければなりません。

10回中8回表が出ているという結果から、なんとなく810=45\frac{8}{10}=\frac{4}{5}と推定することが可能です。まさにこの値が最尤推定量になります。

しかし「なんとなく」では数学的、統計的に好ましくありません。統計学的には、45\frac{4}{5}とした根拠を提示する必要があります。

最尤推定量とは、手元のデータが、どの母パラメータに従う分布から得られる確率が最も高いかに基づいて考えられる推定量です。上の例の場合ですと、「10回中8回出た」というデータが、表が出る(真の)確率がいくつのときに最も得られる確率が高いか、ということです。

具体的に、表が出る確率を変えていきながら今回のように10回中8回表が出る確率を確率を考えてみましょう。

(ⅰ) コインの表が出る真の確率が12\frac{1}{2}のとき、10回中8回表が出る確率

10C8(12)8(12)20.0439=4.39%{}_{10}C_8(\frac{1}{2})^8(\frac{1}{2})^2\approx 0.0439=4.39\%

(ⅱ) コインの表が出る真の確率が23\frac{2}{3}のとき、10回中8回表が出る確率

10C8(23)8(13)20.195=19.5%{}_{10}C_8(\frac{2}{3})^8(\frac{1}{3})^2\approx 0.195=19.5\%

(ⅲ) コインの表が出る真の確率が34\frac{3}{4}のとき、10回中8回表が出る確率

10C8(34)8(14)20.282=28.2%{}_{10}C_8(\frac{3}{4})^8(\frac{1}{4})^2\approx 0.282=28.2\%

(ⅳ)コインの表が出る真の確率が45\frac{4}{5}のとき、10回中8回表が出る確率

10C8(45)8(15)20.302=30.2%{}_{10}C_8(\frac{4}{5})^8(\frac{1}{5})^2\approx 0.302=30.2\%

(ⅴ) コインの表が出る真の確率が56\frac{5}{6}のとき、10回中8回表が出る確率

10C8(56)8(16)20.291=29.1%{}_{10}C_8(\frac{5}{6})^8(\frac{1}{6})^2\approx 0.291=29.1\%

このように、母パラメータの取りうる範囲で全て計算を行ったとき、「10回中8回表が出る」というデータが得られる確率が最も高くなるのが45\frac{4}{5}のときなのです。

こういった意味で、「尤もらしい=いかにも道理にかなっている」推定である45\frac{4}{5}が最尤推定量になります

しかし、母パラメータの取りうる範囲で全て計算を行うのは事実上不可能です。そこで最尤推定量を計算で導出していくことにしましょう。

最尤推定量の導出

例題の数字の部分を文字式に置き換えて考えて見ましょう。これによって、二項分布の最尤推定量を一般化して導出できます。

【例題 - 文字式バージョン】

コインが1枚ある。このコインの表の出る真の確率をp(未知)とする。このコインをn回投げたところ、x回表が出た。このとき、pの最尤推定量を求めよ。

さて、このxは二項分布Bi(n,p)Bi(n,p)に従います。

二項分布の密度関数は

f(x;θ)=nCxθx(1θ)nxf(x;\theta)={}_nC_x\theta^x(1-\theta)^{n-x}

であるから、尤度関数は

L(θ;x)=nCxθx(1θ)nxL(\theta;x)={}_nC_x\theta^x(1-\theta)^{n-x}

となり、このL(θ;x)L(\theta;x)が最大になるようなθ\thetaを考えます。

通常、最大値(極大値)を求めるときには微分します。

しかし、この関数を微分するのは少々面倒なので、対数尤度関数l(θ)=logL(θ;x)l(\theta)=logL(\theta;x)を微分し、最大値を考えます。

これは、対数関数が(0,)(0,\infty)の範囲で単調に増加するため、L(θ;x)L(\theta;x)が最大になるようなθ\thetal(θ)l(\theta)が最大になるようなθ\thetaが一致することを利用しています。また、尤度関数ではなく対数尤度関数を微分する理由は、logをとることで積の形から和の形にできるため、微分計算が楽になるからです。

対数尤度関数は

l(θ)=logL(θ;x)=log[nCxθx(1θ)nx]l(\theta)=logL(\theta;x)=log[{}_nC_x\theta^x(1-\theta)^{n-x}]

=log[n!x!(nx)!θx(1θ)nx]=log[\frac{n!}{x!(n-x)!}\theta^x(1-\theta)^{n-x}]

=log(n!)log(x!)log(nx)!+logθx+log(1θ)nx=log(n!)-log(x!)-log(n-x)!+log\theta^x+log(1-\theta)^{n-x}

=log(n!)log(x!)log(nx)!+xlogθ+(nx)log(1θ)=log(n!)-log(x!)-log(n-x)!+xlog\theta+(n-x)log(1-\theta)

となるので、θ\thetaで微分すると、

l(θ)=xθnx1θl'(\theta)=\frac{x}{\theta}-\frac{n-x}{1-\theta}

=x(1θ)(nx)θθ(1θ)=\frac{x(1-\theta)-(n-x)\theta}{\theta(1-\theta)}

=xnθθ(1θ)=\frac{x-n\theta}{\theta(1-\theta)}

が得られます。これが0となるとき最大になるので、

xnθθ(1θ)=0\frac{x-n\theta}{\theta(1-\theta)}=0

xnθ=0\Leftrightarrow x-n\theta=0

x=nθ\Leftrightarrow x=n\theta

θ=xn\Leftrightarrow \theta=\frac{x}{n}

となります。

以上より、二項分布の場合、θ^=xn\hat{\theta}=\frac{x}{n}θ\thetaの最尤推定量となります。

これで、「10回中8回表が出る」という例でいうならば、n=10、x=8となるため、最尤推定量が45\frac{4}{5}であるという根拠が示せました。

カテゴリ: 統計的推定