ベイズ推定と最尤推定を比較して解説

更新日

このページでは、最尤推定とベイズ推定の共通点と違いに着目して、その考え方を解説します。

最尤推定とベイズ論の考え方

最尤推定とベイズ推定はよく比較されます。

最尤推定頻度論に基づいた推定であるのに対し、ベイズ推定ベイズ論に基づいた推定です。

ベイズ論と頻度論の違いについては「ベイズ統計学の考え方〜ベイズ論と頻度論の違い〜」で解説しているので、あわせてご確認ください。

最尤推定とベイズ推定の共通点

ベイズ論と頻度論は一見全く違う考え方のように思えますが、非常に重要な関連があります。

これは、ベイズ推定と最尤推定の考え方の基礎部分である「データを固定してパラメータを動かす」という点が一致しているからです。

まず、最尤推定量の定義を確認しましょう。

パラメータθ\thetaに従う分布の密度関数をf(x;θ)f(x;\theta)とする。尤度関数L(θ;x)=f(x;θ)L(\theta;x)=f(x;\theta)とすると、L(θ;x)L(\theta;x)を最大にするような推定量θ=θ^\theta=\hat{\theta}θ\theta最尤推定量という。

ここでのポイントは、「L(θ;x)=f(x;θ)L(\theta;x)=f(x;\theta)」が、同じように見えて実は違う式だということです。

例えば、次のような関数を考えます。

f(x;a)=ax2f(x;a)=ax^2

ここでf(x;a)f(x;a)というのは、aaを固定したときのxx の関数であるということです。つまりこの関数は放物線(二次関数)になります。

次に、このような関数を考えます。

g(a;x)=ax2g(a;x)=ax^2

上のf(x;a)f(x;a)と同じ式ですが、これはxxを固定したときのaa の関数になっています。よってこの関数は直線(一次関数)になります。

この考え方を利用したのが最尤推定量です。

統計的に表現すると、通常は、パラメータを固定してデータを動かすことを考えますが、最尤推定量はデータを固定してパラメータを動かすことを考えます。

最尤推定量について知りたい方は、「最尤推定量とは?初めての人にも分かりやすく解説」を確認すると理解が深まります。

この、「データを固定してパラメータを動かす」という考え方が、ベイズ推定の考え方と一致しています。

最尤推定とベイズ推定の違い

次に、最尤推定とベイズ推定の違いについて考えます。

最尤推定とベイズ推定の違いは、推定量の算出に事前情報を使うか使わないか、です。

最尤推定が推定量の算出に事前情報を使わないのに対し、ベイズ推定は推定量の算出に事前情報を使います。

事前情報(事前確率)については、「ベイズ統計学とは?初心者にもわかりやすく解説」で簡単に触れていますのでご確認ください。

また、「ベイズ推定量の性質と導出を例題を用いて解説」で、ベイズ推定量と最尤推定量を比較して解説しています。

最尤推定とベイズ推定の長所・短所

最尤推定とベイズ推定にはそれぞれ長所と短所があります。これらを踏まえて適切に推定法を選択する必要があります。

最尤推定量の長所・短所

  • 長所
    • データをその場で取るので、信頼性がある
  • 短所
    • 少ない試行回数だと、極端な値をとることがある
    • 試行回数を確保するために100回、200回と試行するのは時間がかかる

ベイズ推定量の長所・短所

  • 長所
    • 少ない試行回数でも、ある程度適切な推定できる随時確率を更新できる
  • 短所
    • 事前情報が信頼できないデータかもしれない

関連記事

ベイズ統計学の考え方〜ベイズ論と頻度論の違い〜

ベイズ統計学とは?初心者にもわかりやすく解説

最尤推定量とは?初めての人にも分かりやすく解説

ベイズ推定量の性質と導出を例題を用いて解説

カテゴリ: ベイズ統計