尤度関数、スコア関数、フィッシャー情報量とは?

更新日

このページでは、尤度関数、対数尤度関数、スコア関数、フィッシャー情報量について解説します。

尤度関数、対数尤度関数、スコア関数とは

尤度関数、対数尤度関数、スコア関数の定義は次のようになります。

パラメータがθ\thetaである母集団の従う分布の確率密度関数をf(x;θ)f(x;\theta)としたとき、それぞれ以下のようになる。

尤度関数

L(θ)=f(x;θ)L(\theta)=f(x;\theta)

対数尤度関数

l(θ)=logL(θ)l(\theta)=logL(\theta)

スコア関数

V(θ)=θl(θ)=θlogL(θ)V(\theta)=\frac{\partial}{\partial\theta}l(\theta)=\frac{\partial}{\partial\theta}logL(\theta)

尤度関数は確率密度関数と形は同じですが、確率密度関数は𝜃𝜃を固定した上でのxxの関数であるのに対し、尤度関数はxxを固定した上での𝜃𝜃の関数として見ています。

対数尤度関数は尤度関数に対数をとったもの、スコア関数は対数尤度関数を微分したものです。

スコア関数の性質

スコア関数は、期待値をとると

E[V(X,θ)]=f(x;θ)θlogf(x;θ)dxE[V(X,\theta)]=\int f(x;\theta)\frac{\partial}{\partial\theta}logf(x;\theta)dx

=f(x;θ)θf(x;θ)f(x;θ)dx=\int f(x;\theta)\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}dx

=θf(x;θ)dx=\int\frac{\partial}{\partial\theta}f(x;\theta)dx

微分と積分の順序を入れ替えられるという正則条件のもとでは

=θf(x;θ)dx=\frac{\partial}{\partial\theta}\int f(x;\theta)dx

f(x;θ)dx\int f(x;\theta)dxは密度関数の積分値となるため1となり、1は定数であるため微分すると0になるので、

=0=0

つまり、スコア関数の期待値は0になります。

フィッシャー情報量とは

フィッシャー情報量の定義は以下のようになります。

スコア関数をV(θ)V(\theta)とすると、

Jn(θ)=Var[V(θ)]J_n(\theta)=Var[V(\theta)]

となるJn(θ)J_n(\theta)をフィッシャー情報量という

つまりフィッシャー情報量はスコア関数の分散です。

また、スコア関数の期待値が0になるという性質から、

Jn(θ)=Var[V(θ)]=E[V(θ)2]E[V(θ)]2=E[V(θ)2]J_n(\theta)=Var[V(\theta)]=E[V(\theta)^2]-E[V(\theta)]^2=E[V(\theta)^2]

となります。

カテゴリ: 統計的推定