クラメール-ラオの下限とは?解説と証明

[公開日]2017/07/07[更新日]2017/07/17 [カテゴリー]統計的推定 Written by  masa

このページではクラメール-ラオの下限の解説と証明をしていきます。クラメール-ラオの下限は、推定の有効性に関して重要です(参考:有効推定量とは?わかりやすく解説)。

 
 

クラメール-ラオの下限とは?

クラメール-ラオの下限は次のようになります。

クラメール-ラオの下限
 
  不偏推定量\(\hat{\theta}\)に対して、以下を満たす。

$$V[\hat{\theta}]\geq J_n(\theta)^{-1}$$

ただし、\(J_n(\theta)\)はフィッシャー情報量である。

(フィッシャー情報量に関してはこちら

クラメール-ラオの下限の証明

\(\hat{\theta}\)を不偏推定量とすると

\(E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]\)

\(=Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]\)

info

ここで、相関係数の性質より

\((-1\leq)\frac{Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]}{\sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}}\leq 1\)

である

\(\leq \sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)

\(=\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)

となります。ここで左辺は

\(E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]\)

\(=E[\hat{\theta}\frac{\partial}{\partial\theta}logf(X;\theta)]-\theta E[\frac{\partial}{\partial\theta}logf(X;\theta)]\)

info

スコア関数の期待値は0である(参考:尤度関数、スコア関数、フィッシャー情報量とは?

\(=\frac{\partial}{\partial\theta}E[\hat\theta]\)

\(=\frac{\partial}{\partial\theta}\theta\)

\(=1\)

となります。よって両辺を比較すると

\(1\leq\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)

info

両辺2乗

\(\Leftrightarrow 1\leq V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]\)

\(\Leftrightarrow \frac{1}{V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\leq V[\hat{\theta}]\)

info

\(V[\frac{\partial}{\partial\theta}logf(X;\theta)]=J_n(\theta)\)である(参考:尤度関数、スコア関数、フィッシャー情報量とは?

\(\Leftrightarrow J_n(\theta)^{-1}\leq V[\hat{\theta}]\)

より証明されました。

  • スポンサーリンク

  • コメントを残す

    メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

    CAPTCHA