Bayes Independence Test - HSIC と性能を比較する-
12 likes10,058 views
人工知能学会基本問題研究会(宮古島) 2014 年3 月3 日
![問題
離散の場合
連続の場合
HSIC
実験
まとめ
ユニバーサル性: 離散
任意の PX について、
m
1
n
= − log QX (x n ) → H(X )
n
n
i.i.d. であることと、大数の強法則から、任意の PX について、
1
1∑
n
− log PX (x n ) = −
log PX (xi ) → E [− log PX (X )] = H(X )
n
n
n
i=1
したがって、任意の PX について、
P n (x n )
1
log X n → 0
n
n
QX (x )
Bayes Independence Test - HSIC と性能を比較する 8 / 19](https://image.slidesharecdn.com/2014-3-3-140307201645-phpapp02/85/Bayes-Independence-Test-HSIC-8-320.jpg)
![問題
離散の場合
連続の場合
HSIC
実験
まとめ
Jn (x , y ) → I (X , Y ) (n → ∞)
n
n
証明: x n , y n が i.i.d.、大数の強法則から、任意の fX について、
n
n
fXY (x n , y n )
fXY (x n , y n )
1
1∑
log n n n n =
log n n n n
n
fX (x )fY (x )
n
fX (x )fY (x )
n
i=1
fXY (XY )
→ E [log
] = I (X , Y )
fX (X )fY (Y )
Jn (x n , y n ) − I (X , Y )
f n (x n , y n )
f n (x n )
f n (y n )
1
1
1
= − log XY n n + log X n + log Y n
n
n
n
n
gXY (x , y ) n
gX (x ) n
gY (y )
n
fXY (x n , y n )
1
1
1−p
+ log n n n n − I (X , Y ) + log
n
fX (x )fY (x )
n
p
→ 0
Bayes Independence Test - HSIC と性能を比較する 12 / 19](https://image.slidesharecdn.com/2014-3-3-140307201645-phpapp02/85/Bayes-Independence-Test-HSIC-12-320.jpg)
![問題
離散の場合
連続の場合
HSIC
実験
まとめ
実験
X
1
.
Y
1
E
r1 2
B
¨0
0 r
¨
2 r¨¨
r
¨ r
p
rE 1
1 ¨¨
j
r
1−p
[
2
(X , Y ) ∼ N(0, Σ), Σ =
1
ρ
ρ
1
]
I (X , Y ) = HSIC (X , Y ) = 0
1
⇐⇒ p = ⇐⇒ X ⊥ Y
⊥
2
, −1 < ρ < 1
I (X , Y ) = HSIC (X , Y ) = 0 ⇐⇒ ρ = 0 ⇐⇒ X ⊥ Y
⊥
.
3
P(X = 0) = P(X = 1) = 1 , Y ∼ N(aX , 1), a ≥ 0
2
I (X , Y ) = HSIC (X , Y ) = 0 ⇐⇒ a = 0 ⇐⇒ X ⊥ Y
⊥
Bayes Independence Test - HSIC と性能を比較する 15 / 19](https://image.slidesharecdn.com/2014-3-3-140307201645-phpapp02/85/Bayes-Independence-Test-HSIC-15-320.jpg)
![[DL輪読会]相互情報量最大化による表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/20190913iwasawa-190913002312-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Understanding Black-box Predictions via Influence Functions](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacksinffunc-170822055634-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
What's hot (20)
Similar to Bayes Independence Test - HSIC と性能を比較する- (20)
Ad
More from Joe Suzuki (20)
Ad
Bayes Independence Test - HSIC と性能を比較する-
- 1. 問題 離散の場合 連続の場合 HSIC 実験 まとめ Bayes Independence Test - HSIC と性能を比較する - 鈴木 譲 大阪大学 人工知能学会 基本問題研究会 (宮古島) 2014 年 3 月 3 日 Bayes Independence Test - HSIC と性能を比較する 1 / 19
- 2. 問題 離散の場合 連続の場合 HSIC 実験 まとめ ロードマップ 1 問題 2 離散の場合 3 連続の場合 4 HSIC 5 実験 6 まとめ Bayes Independence Test - HSIC と性能を比較する 2 / 19
- 3. 問題 離散の場合 連続の場合 実験 HSIC まとめ 問題: (x1 , y1 ), · · · , (xn , yn ) から、X ⊥ Y か否かを検定 ⊥ 相互情報量: I (X , Y ) := ∑∑ x PXY (x, y ) log y PXY (x, y ) PX (x)PY (y ) I (X , Y ) = 0 ⇐⇒ X ⊥ Y ⊥ Hilbert Schmidt independent criterion: 相関係数の非線型化 相関係数 (X , Y ) = 0 ⇐= X ⊥ Y ⊥ ̸=⇒ HSIC (X , Y ) = 0 ⇐⇒ X ⊥ Y ⊥ 独立性検定 (X ⊥ Y か否か) ⊥ (x1 , y1 ), · · · , (xn , yn ) から、I (X , Y ), HSIC (X , Y ) を推定 Bayes Independence Test - HSIC と性能を比較する 3 / 19
- 4. 問題 離散の場合 連続の場合 HSIC 実験 まとめ 相互情報量の推定 (最尤推定) X , Y : 離散 In (x n , y n ) := ∑∑ x y ˆ Pn (x, y ) log ˆ Pn (x, y ) ˆ ˆ Pn (x)Pn (y ) ˆ Pn (x, y ): (x1 , y1 ), · · · , (xn , yn ) での (X , Y ) = (x, y ) の相対頻度 ˆ Pn (x): x1 , · · · , xn での X = x の相対頻度 ˆ Pn (y ): y1 , · · · , yn での Y = y の相対頻度 In (x, y ) → I (X , Y ) (n → ∞) X ⊥ Y であっても、確率 1 で、In (x n , y n ) > 0 が無限回生じる ⊥ 独立性検定をどのように構成するか ({ϵn } の設定) が不明 In (x n , y n ) < ϵn ⇐⇒ X ⊥ Y ⊥ X , Y が連続のときに、どのように一般化されるのかが不明 Bayes Independence Test - HSIC と性能を比較する 4 / 19
- 5. 問題 離散の場合 連続の場合 HSIC 実験 まとめ 相互情報量の Bayes 推定の提案: 離散 Lempel-Ziv アルゴリズム (lzh, gzip など) x n = (x1 , · · · , xn ) を圧縮して、z m = (z1 , · · · , zm ) ∈ {0, 1}m 1 . 2 m PX によらず、圧縮率 がエントロピー H(X ) に収束 n ∑ . 2−m ≤ 1 (Kraft の不等式) n n QX (x n ) := 2−m とおくと、m = − log QX (x n ) は圧縮後の長さ . n n QY (y n ), QXY (x n , y n ) も定義し、X ⊥ Y の事前確率を p として ⊥ Jn (x n , y n ) := n (1 − p)QXY (x n , y n ) . 1 log n (x n )Q n (y n ) n pQX Y Bayes Independence Test - HSIC と性能を比較する 5 / 19
- 6. 問題 離散の場合 連続の場合 HSIC 実験 まとめ MDL(minimum description length) 原理 例から、各モデルについて、 モデルの記述 モデルを仮定したときの例の記述 の長さの合計を最小とするモデルを選択 する情報量基準 (Rissanen, 1976) 1 1 n n log QX (x n ) − log QY (y n ) n n 1 n MDL(X ̸⊥ Y ) := − log(1 − p) − log QXY (x n , y n ) ⊥ n MDL(X ⊥ Y ) := − log p − ⊥ 一致性 n → ∞ で、MDL 最小のモデルが真のモデルと確率 1 で一致 Bayes Independence Test - HSIC と性能を比較する 6 / 19
- 7. 問題 離散の場合 連続の場合 HSIC 実験 まとめ 相互情報量の Bayes 推定の提案: 離散 (続) MDL の一致性から、独立性検定の一致性が証明される Jn (x n , y n ) ≤ 0 ⇐⇒ MDL(X ⊥ Y ) ≤ MDL(X ̸⊥ Y ) ⊥ ⊥ α := |X |, β := |Y | として、 Jn (x n , y n ) ≈ In (x n .y n ) − (α − 1)(β − 1) log n 2n Jn (x n , y n ) ≤ 0 ⇐⇒ In (x n , y n ) ≤ ϵn := (α − 1)(β − 1) log n 2n Jn (x n , y n ) → I (X , Y ) (n → ∞) O(n) の計算量 Suzuki 2012 では、p = 1 を仮定していた 2 Bayes Independence Test - HSIC と性能を比較する 7 / 19
- 8. 問題 離散の場合 連続の場合 HSIC 実験 まとめ ユニバーサル性: 離散 任意の PX について、 m 1 n = − log QX (x n ) → H(X ) n n i.i.d. であることと、大数の強法則から、任意の PX について、 1 1∑ n − log PX (x n ) = − log PX (xi ) → E [− log PX (X )] = H(X ) n n n i=1 したがって、任意の PX について、 P n (x n ) 1 log X n → 0 n n QX (x ) Bayes Independence Test - HSIC と性能を比較する 8 / 19
- 9. 問題 離散の場合 連続の場合 HSIC 実験 まとめ ユニバーサル性: 連続 正則条件のもとで、 任意の密度関数 fX について、 f n (x n ) 1 log X n → 0 n n gX (x ) ∫ ∞ g n (x n )dx ≤ 1 −∞ なる n gX が存在する (Ryabko 2009) 正則条件の仮定の除去 2 変数以上でも成立 離散でも連続でもない確率変数についても成立 (Suzuki 2013) Bayes Independence Test - HSIC と性能を比較する 9 / 19
- 10. 問題 離散の場合 連続の場合 n gX 実験 HSIC まとめ の構成 (k) (k) (1) (1) レベル k での量子化: x n = (x1 , · · · , xn ) → (a1 , · · · , an ) レベル 1 E レベル 2 E . . . n Q1 (a1 , · · · , an ) (1) (1) (2) (2) λ(a1 ) · · · λ(an ) (2) n (2) Q2 (a1 , · · · , an ) λ(a1 ) · · · λ(an ) . . . (k) レベル k . . . (1) n gX (x n ) = w1 × . . . (1) λ(a1 ) · · · λ(an ) (k) n Qk (a1 , · · · , an ) (k) (k) λ(a1 ) · · · λ(an ) (k) (1) n Q1 (a1 , · · · , an ) (1) E +· · ·+wk × (k) n Qk (a1 , · · · , an ) (k) (k) λ(a1 ) · · · λ(an ) +· · · Bayes Independence Test - HSIC と性能を比較する 10 / 19
- 11. 離散の場合 連続の場合 HSIC 実験 まとめ 相互情報量の Bayes 推定の提案: 一般の場合 相互情報量の Bayes 推定量 Jn (x n , y n ) := n (1 − p)gXY (x n , y n ) 1 log n n n pgX (x n )gY (y n ) . (通常の密度関数ではなく、離散の場合を含めることができる) . MDL 原理の一般化と思える MDL(X ⊥ Y ) := − log p − ⊥ . 問題 1 1 n n log gX (x n ) − log gY (y n ) n n MDL(X ̸⊥ Y ) := − log(1 − p) − ⊥ 1 n log gXY (x n , y n ) n 予想: 一致性 n → ∞ で、MDL 最小のモデルが真のモデルと確率 1 で一致 Bayes Independence Test - HSIC と性能を比較する 11 / 19
- 12. 問題 離散の場合 連続の場合 HSIC 実験 まとめ Jn (x , y ) → I (X , Y ) (n → ∞) n n 証明: x n , y n が i.i.d.、大数の強法則から、任意の fX について、 n n fXY (x n , y n ) fXY (x n , y n ) 1 1∑ log n n n n = log n n n n n fX (x )fY (x ) n fX (x )fY (x ) n i=1 fXY (XY ) → E [log ] = I (X , Y ) fX (X )fY (Y ) Jn (x n , y n ) − I (X , Y ) f n (x n , y n ) f n (x n ) f n (y n ) 1 1 1 = − log XY n n + log X n + log Y n n n n n gXY (x , y ) n gX (x ) n gY (y ) n fXY (x n , y n ) 1 1 1−p + log n n n n − I (X , Y ) + log n fX (x )fY (x ) n p → 0 Bayes Independence Test - HSIC と性能を比較する 12 / 19
- 13. 問題 離散の場合 連続の場合 HSIC 実験 まとめ HSIC 相関係数 cov (X , Y ) の非線形化 確率変数 値域 RKHS kernel X X F: 基底 {fi } k :X ×X →R HSIC (PXY , F, G) = ∑ Y Y G: 基底 {gj } l :Y ×Y →R cov (fi (X ), gj (Y ))2 i,j k が universal のとき、HSIC (PXY , F, G) = 0 ⇐⇒ X ⊥ Y ⊥ 例: Gaussian kernel は、universal k(x, y ) = exp{−(x − y )2 /2} Bayes Independence Test - HSIC と性能を比較する 13 / 19
- 14. 問題 離散の場合 連続の場合 HSIC 実験 まとめ HSIC 適用の問題点 HSIC (PXY , F, G) の推定量 1 K = (k(xi , xj )), L = (k(yi , yj )), H = (δi,j − n ) として、 HSIC (x n , y n , F, G) = . 1 tr (KHLH) (n − 1)2 n → ∞ で、確率 1 で、 HSIC (PXY , F, G) → HSIC (PXY , F, G) となる証明がない . H0 : X ⊥ Y の危険率 α を設定した検 ⊥ 定で、採択域 {ϵn } の設定が難しい {x n , y n |HSIC (x n , y n , F, G) ≤ ϵn } O(n3 ) の計算量 (不完全 Cholesky 分解 で近似しても O(n2 )) Bayes Independence Test - HSIC と性能を比較する 14 / 19
- 15. 問題 離散の場合 連続の場合 HSIC 実験 まとめ 実験 X 1 . Y 1 E r1 2 B ¨0 0 r ¨ 2 r¨¨ r ¨ r p rE 1 1 ¨¨ j r 1−p [ 2 (X , Y ) ∼ N(0, Σ), Σ = 1 ρ ρ 1 ] I (X , Y ) = HSIC (X , Y ) = 0 1 ⇐⇒ p = ⇐⇒ X ⊥ Y ⊥ 2 , −1 < ρ < 1 I (X , Y ) = HSIC (X , Y ) = 0 ⇐⇒ ρ = 0 ⇐⇒ X ⊥ Y ⊥ . 3 P(X = 0) = P(X = 1) = 1 , Y ∼ N(aX , 1), a ≥ 0 2 I (X , Y ) = HSIC (X , Y ) = 0 ⇐⇒ a = 0 ⇐⇒ X ⊥ Y ⊥ Bayes Independence Test - HSIC と性能を比較する 15 / 19
- 16. 問題 離散の場合 連続の場合 HSIC 実験 まとめ 実験 1 n = 100 のときの誤り率 真の p → 推定した p 提案 = 0.5 → p = 0.4 → p = 0.3 → p = 0.2 → p = 0.1 → p 0.084 0.758 0.333 0.048 0.001 p p p p p ̸= 0.5 = 0.5 = 0.5 = 0.5 = 0.5 4 0.306 0.507 0.139 0.018 0.000 HSIC しきい値 (×10−4 ) 8 12 16 0.135 0.077 0.043 0.694 0.787 0.860 0.251 0.396 0.505 0.035 0.083 0.135 0.001 0.005 0.010 ↑ 20 0.022 0.908 0.610 0.201 0.021 Bayes Independence Test - HSIC と性能を比較する 16 / 19
- 17. 問題 離散の場合 連続の場合 HSIC 実験 まとめ 実験 2 n = 100 のときの誤り率 ρ 提案 0.0 0.2 0.4 0.6 0.8 0.095 0.628 0.168 0.008 0.000 HSIC しきい値 (×10−3 ) 2 4 6 8 0.338 0.036 0.006 0.00 0.298 0.676 0.884 0.97 0.008 0.088 0.300 0.512 0.000 0.000 0.002 0.006 0.000 0.000 0.000 0.000 ↑ Gaussian kernel で、Gauss 分布の場合、HSIC はかなり良い性能を 示している。 Bayes Independence Test - HSIC と性能を比較する 17 / 19
- 18. 問題 離散の場合 連続の場合 実験 HSIC まとめ 実行時間 n 提案 HSIC 実行時間 (秒) 100 500 1000 0.30 0.33 0.62 0.50 9.51 40.28 2000 1.05 185.53 Bayes Independence Test - HSIC と性能を比較する 18 / 19
- 19. 問題 離散の場合 連続の場合 HSIC 実験 まとめ まとめ 成果 . 原理 強い問題 しきい値 事前確率 計算時間 強一致性 提案 Bayes(事後確率最大) 離散 不要 必要 O(n) 証明されている HSIC 危険率一定で、検定力最大 連続 必要 不要 O(n3 ) 証明されていない . 離散や連続によらない MDL の一般化による独立性の検定 . 課題 実験による提案方法の実現の最適化 一般化 MDL の一致性 (予想) の証明 Bayes Independence Test - HSIC と性能を比較する 19 / 19