research_mle

research_mle

KL情報量とモデル推定: KL情報量 確率分布pとパラメタθによって記述されるモデルqがどの位違っているか...概要を表示 KL情報量とモデル推定: KL情報量 確率分布pとパラメタθによって記述されるモデルqがどの位違っているかを表すための尺度としてKL (Kullback-Leibler) 情報量がしばしば用いられます．ここである分布pが与えられた状況でθを動かすことを考えると，上の式よりKL情報量は「定数項」-「対数尤度に対応する項」という形で解釈することができます．つまりこの場合KL情報量を最小化にするθを探すということは一般的な「最尤推定」を行うのと等価になります． ここである具体的な分布が空間上の一点に対応するような確率分布空間を考えます．例えば実際に観測されたデータの分布p~が次のような空間上の一点に対応すると考えます．すると，例えばθを連続的に動かすことで表現されるモデルは，図中の黄色で表されるような空間の部分集合（モデル多様体）として解釈できます．前述の説明と対応させると，モデル多様体の中でK

• KL情報量