多変量正規分布とは? わかりやすく解説

Weblio 辞書 > 辞書・百科事典 > ウィキペディア小見出し辞書 > 多変量正規分布の意味・解説 

多変量正規分布

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/12/07 06:29 UTC 版)

多変量正規分布
確率密度関数

2変量正規分布の同時分布

非退化の場合

多変量正規分布が非退化であるとは、共分散行列 が正定値であることである。この場合、分布は次の形の確率密度関数を持つ[5]

ここで は実 k 次元列ベクトルで、行列式である。 行列(つまり単一の実数)である場合、この式は1変量正規分布の確率密度関数に帰着する。

複素正規分布英語版の場合はこれとはわずかに違った形のものになる。

k+1 次元空間内の任意の「等高線」、つまり確率密度関数の値が等しくなるような点の集合は、楕円またはその高次元対応物となる。よって多変量正規分布は楕円分布英語版の特別な場合である。

記述統計量 マハラノビス距離として知られ、試験ベクトル と平均ベクトル との一種の距離を表す。 の場合、これは標準得点の絶対値に帰着する。

2変量の場合

2次元で非退化の場合(k = rank(Σ) = 2)、ベクトル [X Y]′(右肩のダッシュは転置を表す)の確率密度関数は、

となる。ここで ρXY相関係数であり、 かつ である。このとき、

2次元のときは、多変量正規分布であるための同値な条件として挙げた最初の方は、やや緩められる:

可算無限通りの X と Y の線型結合がどれも正規分布に従うならば、ベクトル [X Y]′ は2変量正規分布に従う[6]

2変数の場合の等高線を x,y-平面にプロットすると楕円になる。相関係数 ρ が大きくなっていくとき、楕円は次の直線:

の方向に向かって押しつぶされていく。この背景として、この式の sgn(ρ) ("sgn" は符号関数)を ρ に取り換えたものは、X の値が与えられたときの Y最良線形不偏予測量英語版(best linear unbiased prediction)になっているという性質がある[7]

結合分布の正規性

正規分布と独立性

確率変数 が正規分布に従い、独立であるならば、これらの結合分布は結合正規分布である。つまり、対 は2変量正規分布に従う。しかしながら、多変量正規分布に従う確率変数ベクトルの相異なる2成分は独立であるとは限らない。それらが独立であるのは無相関()の場合に限られる。

正規分布に従う確率変数の対は、必ずしも2変量正規分布には従わない

2個の確率変数 がいずれも正規分布に従っているとしても、それらの対 は必ずしも2変量正規分布には従わない。次のように簡単な例(反例)が構成できる。

  • X は標準正規分布(平均 0、分散 1)に従う。
  • ある定数 があって、 ならば ならば

3変数以上の場合も同様に反例が構成できる。一般に、こうした確率変数の和によって混合分布モデル英語版が作られる。

相関と独立性

一般に、2個の確率変数が無相関であっても独立であるとは限らない。しかし、確率変数ベクトルが多変量正規分布に従っている場合、その2個以上の成分が互いに無相関であれば、それらは独立である。特に、これらが組ごとに独立英語版であれば、独立である。

しかしながら、すぐ上で指摘した例からわかるように、2個の確率変数が正規分布に従い、かつ無相関であるからといって、それらが独立であるとは限らない(XY の相関係数が 0 となるよう定数 c を選べばよい)。

周辺分布

多変量正規分布に従う確率変数ベクトルから、その中のいくつかの成分を抜き出した確率変数の組が従う周辺分布を得るには、単に平均ベクトル、分散共分散行列から無関係な成分を除けばよい。これが成り立つことは、多変量正規分布の定義と線形代数によって証明できる[8]

X = [X1, X2, X3] が多変量正規分布に従うとし、平均ベクトルを μ = [μ1, μ2, μ3]、分散共分散行列を Σ とする。 このとき X′ = [X1, X3] の周辺分布は再び多変量正規分布であり、その平均ベクトルは μ′ = [μ1, μ3]、分散共分散行列は

である。

アフィン変換

Y = c + BX がそのアフィン変換であるとき(c 定ベクトル、B 定行列)、Y も多変量正規分布に従い、平均ベクトルは c + 、分散共分散行列は BΣBT である(つまり )。

特に、成分 Xi たちの任意の部分集合が従う周辺分布は再び多変量正規分布になる。例えば、部分集合 (X1, X2, X4)T を直接抜き出してくるには、行列

を使えばよい。

別の系として、多変量正規分布に従う X と定ベクトル bドット積をとった Z = b · X は、1変量正規分布に従う()。

と考えればよい。Σ の正定値性(半正定値性)から、ドット積をとった確率変数の分散は正(非負)になる。

X のアフィン変換 2X は、X と同一の分布に従う2個の独立な確率変数の和とは別物である。

母数の推定

確率密度関数が

である多変量正規分布に従う大きさ n の標本から、共分散行列を推定することを考える。この場合の最尤推定量

であり、これは単純に標本共分散行列を計算したものである。ただし不偏推定量ではなく、期待値は

となる。よって

とすれば不偏推定量になる。多変量正規分布の母数の推定において、フィッシャー情報行列は閉じた式で書け、例えばクラメール・ラオの限界の算出に用いられる。詳細はフィッシャー情報量を参照。

多変量正規分布からのサンプリング

平均ベクトル μ、分散共分散行列 ΣN 次元正規分布に従う乱数ベクトルを生成する方法として、以下に述べるような手法が広く用いられている[9]

  1. AAT = Σ となるような実行列 A をどれか1つ見つける。Σ が正定値の場合はコレスキー分解が典型的に用いられるが、(平方根演算を避けた)拡張法は Σ が半正定値であれば必ず通用し、いずれの方法でも適当な行列 A が得られる。別の方法として、Σスペクトル分解 Σ = UΛU−1 を用いて A = ½ としてもよい。前者は計算論的に率直な手法だが、分布の基となる確率変数の並べ替え(Σ の行・列交換)によって行列 A は異なったものに変化する。一方後者は、このような変換をしても A の成分が並べ直されるだけである。理論上はどちらの手法を使っても行列が同程度に良く求まるが、計算時間には違いが出る。
  2. z = (z1, …, zN)T を、標準正規分布に従う N 個の独立な確率変数から成るベクトルとする(このような乱数は例えばボックス=ミュラー法によって得られる)。
  3. xμ + Az とする。アフィン変換の性質より、このベクトルは所望の分布に従っている。

関連項目

脚注

  1. ^ a b c Lapidoth, Amos (2009). A Foundation in Digital Communication. Cambridge University Press. ISBN 978-0-521-19395-5 
  2. ^ Gut, Allan (2009). An Intermediate Course in Probability. Springer. ISBN 978-1-441-90161-3 
  3. ^ Kac, M. (1939). “On a characterization of the normal distribution”. American Journal of Mathematics 61 (3): 726–728. doi:10.2307/2371328. JSTOR 2371328. 
  4. ^ Sinz, Fabian; Gerwinn, Sebastian; Bethge, Matthias (2009). “Characterization of the p-generalized normal distribution”. Journal of Multivariate Analysis 100 (5): 817–820. doi:10.1016/j.jmva.2008.07.006. 
  5. ^ UIUC, Lecture 21. The Multivariate Normal Distribution, 21.5:"Finding the Density".
  6. ^ Hamedani, G. G.; Tata, M. N. (1975). “On the determination of the bivariate normal distribution from distributions of linear combinations of the variables”. The American Mathematical Monthly 82 (9): 913–915. doi:10.2307/2318494. JSTOR 2318494. 
  7. ^ Wyatt, John. “Linear least mean-squared error estimation”. Lecture notes course on applied probability. 2012年1月23日閲覧。
  8. ^ 周辺分布についての正式な証明は http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html 参照。
  9. ^ Gentle, J.E. (2009). Computational Statistics. Statistics and Computing. New York: Springer. pp. 315–316. doi:10.1007/978-0-387-98144-4. ISBN 978-0-387-98143-7. http://cds.cern.ch/record/1639470 

参考文献

  • Rencher, A.C. (1995). Methods of Multivariate Analysis. New York: Wiley 
  • Tong, Y. L. (1990). The multivariate normal distribution. Springer Series in Statistics. New York: Springer-Verlag. doi:10.1007/978-1-4613-9655-0. ISBN 978-1-4613-9657-4 

多変量正規分布

出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/01/01 00:44 UTC 版)

クラメール・ラオの限界」の記事における「多変量正規分布」の解説

平均値ベクトル μ ( θ ) {\displaystyle {\boldsymbol {\mu }}({\boldsymbol {\theta }})} 、分散共分散行列 C ( θ ) {\displaystyle {\boldsymbol {C}}({\boldsymbol {\theta }})} が未知母数ベクトル θ {\displaystyle {\boldsymbol {\theta }}} で定まるような、一般的な d 次元正規分布 N d ( μ ( θ ) , C ( θ ) ) {\displaystyle N_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)} の場合フィッシャー情報行列成分は、 I m , k = ∂ μ T ∂ θ m C − 1 ∂ μ ∂ θ k + 1 2 tr ⁡ ( C − 1 ∂ C ∂ θ m C − 1 ∂ C ∂ θ k ) {\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)} ここで "tr" は行列のトレースを表す。 より簡単な例として、平均 θ {\displaystyle \theta } が未知分散 σ 2 {\displaystyle \sigma ^{2}} が既知正規分布から、独立に d {\displaystyle d} 回抽出してえられる標本ベクトルW d {\displaystyle \mathbf {W} _{d}} とする。 W dN d ( θ 1 , σ 2 I ) {\displaystyle \mathbf {W} _{d}\sim N_{d}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right)} ここで 1 {\displaystyle {\boldsymbol {1}}} は 1 を d 個並べたベクトル、 I {\displaystyle {\boldsymbol {I}}} は d 次単位行列である。未知母数1つなのでフィッシャー情報量は I ( θ ) = ( ∂ μ ( θ ) ∂ θ ) T C − 1 ( ∂ μ ( θ ) ∂ θ ) = ∑ i = 1 d 1 σ 2 = d σ 2 {\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{d}{\frac {1}{\sigma ^{2}}}={\frac {d}{\sigma ^{2}}}} とスカラー与えられ、クラメール・ラオの下限Var ⁡ ( θ ^ ) ≥ σ 2 d {\displaystyle \operatorname {Var} ({\hat {\theta }})\geq {\frac {\sigma ^{2}}{d}}}

※この「多変量正規分布」の解説は、「クラメール・ラオの限界」の解説の一部です。
「多変量正規分布」を含む「クラメール・ラオの限界」の記事については、「クラメール・ラオの限界」の概要を参照ください。

ウィキペディア小見出し辞書の「多変量正規分布」の項目はプログラムで機械的に意味や本文を生成しているため、不適切な項目が含まれていることもあります。ご了承くださいませ。 お問い合わせ


英和和英テキスト翻訳>> Weblio翻訳
英語⇒日本語日本語⇒英語
  

辞書ショートカット

','','','','','','','','','','','','','','','','','',''];function getDictCodeItems(a){return dictCodeList[a]};

すべての辞書の索引

11~20位21~30位 
 Uber
 天台本覚思想
 殿堂入り
 全ア
 度し難い
 フジテレビのアナウンサー一覧
 アンダーグラウンドサマディ
 《貸与》の正しい読み方
 ライブドア事件
 椿事件
';function getSideRankTable(){return sideRankTable};

   

英語⇒日本語
日本語⇒英語
   



多変量正規分布のページの著作権
Weblio 辞書 情報提供元は 参加元一覧 にて確認できます。

   
ウィキペディアウィキペディア
All text is available under the terms of the GNU Free Documentation License.
この記事は、ウィキペディアの多変量正規分布 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。 Weblio辞書に掲載されているウィキペディアの記事も、全てGNU Free Documentation Licenseの元に提供されております。
ウィキペディアウィキペディア
Text is available under GNU Free Documentation License (GFDL).
Weblio辞書に掲載されている「ウィキペディア小見出し辞書」の記事は、Wikipediaのクラメール・ラオの限界 (改訂履歴)、フィッシャー情報量 (改訂履歴)の記事を複製、再配布したものにあたり、GNU Free Documentation Licenseというライセンスの下で提供されています。

©2025 GRAS Group, Inc.RSS