尤度関数、スコア関数、フィッシャー情報量とは?
このページでは、尤度関数、対数尤度関数、スコア関数、フィッシャー情報量について解説します。
尤度関数、対数尤度関数、スコア関数とは
尤度関数、対数尤度関数、スコア関数の定義は次のようになります。
パラメータがである母集団の従う分布の確率密度関数をとしたとき、それぞれ以下のようになる。
尤度関数
対数尤度関数
スコア関数
尤度関数は確率密度関数と形は同じですが、確率密度関数はを固定した上でのの関数であるのに対し、尤度関数はを固定した上でのの関数として見ています。
対数尤度関数は尤度関数に対数をとったもの、スコア関数は対数尤度関数を微分したものです。
スコア関数の性質
スコア関数は、期待値をとると
微分と積分の順序を入れ替えられるという正則条件のもとでは
は密度関数の積分値となるため1となり、1は定数であるため微分すると0になるので、
つまり、スコア関数の期待値は0になります。
フィッシャー情報量とは
フィッシャー情報量の定義は以下のようになります。
スコア関数をとすると、
となるをフィッシャー情報量という
つまりフィッシャー情報量はスコア関数の分散です。
また、スコア関数の期待値が0になるという性質から、
となります。
カテゴリ: 統計的推定
関連するサービス
記事の筆者
株式会社AVILEN マーケター
東北大学法学部卒業。ITインフラ業界で、モバイル・クラウドソリューションの法人セールス、プロダクト企画、マーケティング、カスタマーサクセスなどを経験。 2021年8月にAVILENに参画。AVILENでは人材育成事業部に所属し、BtoC、BtoB領域のマーケティング業務全般を担当する。