尤度関数、スコア関数、フィッシャー情報量とは?

[公開日]2017/07/07[更新日]2017/07/17 [カテゴリー]統計的推定 Written by  masa

このページでは、尤度関数、対数尤度関数、スコア関数、フィッシャー情報量について解説します。それぞれ繋がりがありますので、一つの記事にまとめました。

 
 

尤度関数、対数尤度関数、スコア関数とは?

尤度関数、対数尤度関数、スコア関数の定義は次のようになります。

尤度関数、対数尤度関数、スコア関数

パラメータが\(\theta\)である母集団の従う分布の確率密度関数を\(f(x;\theta)\)としたとき、

・尤度関数

$$L(\theta)=f(x;\theta)$$

・対数尤度関数

$$l(\theta)=logL(\theta)$$

・スコア関数

$$V(\theta)=\frac{\partial}{\partial\theta}l(\theta)=\frac{\partial}{\partial\theta}logL(\theta)$$

となる。

尤度関数は密度関数と形は同じですが、密度関数は\(\theta\)を固定した上でのxの関数であるのに対し、尤度関数はxを固定した上での\(\theta\)の関数として見ています。
対数尤度関数は尤度関数に対数をとったもの、スコア関数は対数尤度関数を微分したものです。

スコア関数の性質

スコア関数は、期待値をとると

\(E[V(X,\theta)]=\int f(x;\theta)\frac{\partial}{\partial\theta}logf(x;\theta)dx\)

\(=\int f(x;\theta)\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}dx\)

\(=\int\frac{\partial}{\partial\theta}f(x;\theta)dx\)

info
 
微分と積分の順序を入れ替えられるという正則条件のもとでは

\(=\frac{\partial}{\partial\theta}\int f(x;\theta)dx\)

info
 
\(\int f(x;\theta)dx\)は密度関数の積分値となるため1となる。1は定数であるため、微分すると0になる。

\(=0\)

が得られます。つまり、スコア関数の期待値は0になります。

フィッシャー情報量とは?

フィッシャー情報量の定義は以下のようになります。

フィッシャー情報量

スコア関数を\(V(\theta)\)とすると、

$$J_n(\theta)=Var[V(\theta)]$$

となる\(J_n(\theta)\)をフィッシャー情報量という

つまりフィッシャー情報量はスコア関数の分散です。
また、スコア関数の期待値が0になるという性質から、

\(J_n(\theta)=Var[V(\theta)]=E[V(\theta)^2]-E[V(\theta)]^2=E[V(\theta)^2]\)

となります。こちらもよく使われるのでまとめておきます。

フィッシャー情報量'

フィッシャー情報量\(J_n(\theta)\)は

$$J_n(\theta)=E[V(\theta)^2]=E[(\frac{\partial}{\partial\theta}logf(x;\theta))^2]$$

となる

  • スポンサーリンク

  • コメントを残す

    メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

    CAPTCHA