ベイズ推定の定義や考え方を解説

更新日

このページでは、ベイズ推定法を理解するための事前知識として、リスクやベイス推定量などの用語の解説を中心に、ベイズ推定の考え方を説明します。

ベイズ推定とは

ベイズ推定とは、ベイズ推定量を算出してリスクの平均を最小にする考え方です。

ベイズ推定を理解するには、ある程度の前提知識が必要です。それらの前提知識を簡単に補いつつ、ベイズ推定の考え方を解説していきます。

ベイズ推定の理解に必要な前提知識

ベイズ推定を学習する前に、決定理論の概念を理解しておく必要があります。

決定理論とは、得られた情報(データ)からどのような行動をとるかを、統計学的に決定するための理論です。

また、行動を決定するために用いる関数として、損失関数、決定関数、危険関数(リスク関数)があります。

これらの関数を説明するために、以下の空間を定義します。

・標本空間XX:確率変数の観測値からなる集まり

・行動空間AA:行動の全体

・決定空間DD:決定関数の全体

・母数空間Θ\Theta:パラメータが取りうる値の全体

損失関数

損失関数L(θ,a)L(\theta,a)はどのような行動を取るかによって決まるため、行動aaの関数になります。

行動a0a_0のとき、L(θ,a=a0)L(\theta,a=a_0)は、a0Aa_0\in Aという行動をとったときのパラメータθΘ\theta\in \Thetaとの間に発生した損失といいます。

損失関数の置き方には以下のようなものがあります。

絶対損失:L(θ,a)=θaL(\theta,a)=|\theta-a|
平方損失:L(θ,a)=(θa)2L(\theta,a)=(\theta-a)^2

決定関数

δ(x):XA\delta(x):X→A決定関数といいます。

δ(x)=a\delta(x)=aと表す場合、これはxXx\in Xというデータが与えられたときにaAa\in Aという行動を選ぶということを意味します。

危険関数(リスク関数)

リスク関数R(θ,δ)=E[L(θ,δ(x))]R(\theta,\delta)=E[L(\theta,\delta(x))]は、損失関数の期待値を意味します。

危険関数に実際に決定手法δ0\delta_0が入ったとき、R(θ,δ0)R(\theta,\delta_0)リスクと呼びます。

損失や危険関数については、「危険関数(リスク関数)とは」で例題を交えて分かりやすく解説をしています。併せてご確認ください。

ベイズ推定の考え方

改めて、ベイズ推定とは、ベイズ推定量を算出してリスクの平均(平均リスク)を最小にする考え方です。

平均リスクは事前分布におけるリスクの期待値を意味します。平均リスクは以下のように定義されます。

π(θ)\pi(\theta)を、θ\thetaを確率変数とみなした事前分布とする。

リスクをR(θ,δ)R(\theta,\delta)とすると、平均リスクは以下となる。

r(π,δ)=E[R(θ,δ)]r(\pi,\delta)=E[R(\theta,\delta)]

連続型確率変数の場合

r(π,δ)=E[R(θ,δ)]=ΘR(θ,δ)π(θ)dθr(\pi,\delta)=E[R(\theta,\delta)]=\int_{\Theta}R(\theta,\delta)\pi(\theta)d\theta

離散型確率変数の場合

r(π,δ)=E[R(θ,δ)]=θΘR(θ,δ)π(θ)r(\pi,\delta)=E[R(\theta,\delta)]=\sum_{\theta\in\Theta}R(\theta,\delta)\pi(\theta)

平均リスクを最小にするような推定量ベイズ推定量このときのリスクベイズリスクといいます。

平均リスクr(π,δ)r(\pi,\delta)を最小にするようなθ\thetaの推定量T=δ(x1,x2,...,xn)T=\delta(x_1,x_2,...,x_n)があるとき、このTTを事前分布π(θ)\pi(\theta)に対するベイズ推定量という。

またTTがベイス推定量であるとき、このときのリスクr(π,T)r(\pi,T)ベイズリスクという。

関連記事

決定理論を分かりやすく説明

危険関数(リスク関数)とは

ベイズ推定量の性質と導出を例題を用いて解説

カテゴリ: ベイズ統計

関連サービス

講座一覧ページ

記事一覧はこちら

無料で統計学を学ぶ