Semi-supervised Active Learning Survey

Semi-Supervised Active Learning
Survey

Presenter: Yo Ehara
@niam
http://yoehara.com/

1

Semi-supervised active learning
半教師あり能動学習
能動学習：
学習器の性能（精度）が良くなるようなデータ点
（ラベルなし）をある基準に従って選ぶ
– 例：SVMの識別平面に近い方（基準）から…
• 半教師あり能動学習 surveyed in [Wang+, TIST 2011]
– 2タイプに分けられる（たぶん）
1. 学習器が半教師あり学習器の場合．
– （ラベル伝搬＋能動学習）
2. 「基準」に（学習器とデータ点の関係に加えて）
データ点間の関係が含まれている場合．
– （Experimental Design）
2

1. 学習器が半教師あり学習器の場合
ラベル伝搬＋能動学習
• GRF+active learning [Xiaojin Zhu+, ICML workshop 2003]
– ラベル伝搬法GRF(Gaussian random fields) [Zhu+, ICML2003]の拡張
– 基準：期待汎化誤差
– 応用：[Hoi+, CVPR2005], 類似手法：[Bao+, MM2009]
• [江原+,NLP2012]もラベル伝搬＋能動学習の１つ
と見なせる（本会議初日，3月14日(水) 9:00～，F1-1)
– ただ，主旨は「他の方法（ブートストラッピング
法）に対する能動学習のフレームワークの提案」
で，その結果がラベル伝搬＋能動学習と見なせる
手法に帰着したという話なので，直接の比較は
していない． 3

2.「基準」にデータ点間の関係が
含まれている場合．下線はジャーナル
• TED(transductive experiment design) [Kai Yu+, ICML 2006]
– 統計のExperimental Designを機械学習に持ち込む
– 基準：重みベクトルの共分散行列
• （結果的に）ラベルを見ない手法になっている
– NP-hard．
• non-convexだがsuboptimalな解は早く求まる連続緩和
• convexな連続緩和：[Yu+, SIGIR 2008]
– 改良：Active subspace learning [He+, ICCV2009]
• → Locally Linear Reconstruction [Zhang+, PAMI 2011]
– ラベルを見る形に改良：SED [Zhen+, SIGIR2010]
• →ハッシュに応用：Active hashing [Zhen+, DMKD 2012]
このスライドの話． 4

Experimental Design

Active Learning = 統計ではExperimental Design
y：ラベル
V=
サンプル全データ

共分散行列：
ラベルｙの情報が消えてる！
5

Experimental Designの基準

• A-experimental Design トレースを見る
これはSDP
[Boyd+, 2004]
• mj:全データV中でvjが選ばれる回数
• D-experimental Design
行列Aの2-norm:
– minimizes log (det Cw)
• E-experimental Design
– minimizes ||Cw||2＝ Cwの最大固有値
6

TED (transductive experiment
design) [Yu+, ICML 2006]

wの共分散行列が見たいんじゃなくて

のfの共分散行列が見たいんじゃないの？
SDPも嫌だし…

これの共分散行列
←こっちを見よう

7

TED: 結局，最適化問題は…
V:全データ
X:サンプル
定数

8

TED: 最適化問題の書き換え

この最適化問題と以下の最適化問題は等価．

全データVを線形和で上手く近似できるように，
Vのm個のサンプルXと係数ベクトルaiを上手く
選んでやる問題．NP-hard 9

凸な連続緩和 [Yu+, SIGIR2008]

• [Yu+, ICML2006]では非凸な連続緩和で解い
ている．ここでは同著者によるconvexな連
続緩和を紹介．
記法変更
V（全データ）→XP
X（サンプル）→XA
XC：候補集合

10

凸な連続緩和 [Yu+, SIGIR2008]

βj=0の時，∀i;, ai,j=0
βjが，j番目のデータを採用するかを表す
スイッチになっている．これはβとαに関して凸
11

更新式の導出 [Yu+, SIGIR2008]

相加平均と相乗平均の関係（懐かしい…）

等号成立：
βを止めれば(7)は解析的に解けるから…
交互に
繰り返す
12

Convex TED [Yu+, SIGIR2008]

13

実験結果 [Yu+, SIGIR2008]
タスク：
文書分類

Simple
Margin:
SVM+
least Margin

14

SED [Zhen+, SIGIR2010]
• Convex TEDには，結局，ラベルyの情報は
入っていない→入れてみよう
Convex TED:

f:現在の訓練集合で例えばSVMを回して求めた 15
各データの不確実性（？）解き方はConvex TEDと同じ．

SED実験結果 [Zhen+, SIGIR2010]
タスク：文書分類

16

Sequential TED [Yu+, SIGIR2008]

17

まとめと考察
• Experiment Designとしての能動学習を[Yu+,
ICML2006]から[Zhen+, SIGIR2010]まで紹介．
考察：
• 本質的にILPぽいがILPは使われてない
• なぜ共分散からラベルの情報が消える？
– 各ラベルごとの分散を考えていないから
– 線形＆ガウスノイズだから．
• SEDでは，この計算がO(N3)と書いてあったけどス
パース性仮定すればもっと早くなるんじゃ．

19

文献リスト

• [Yu+, ICML2006] TEDの最初の論文
• [Yu+, SIGIR2008] Convex TED
• [Zhen+, SIGIR2010] SED
• [Zhang+, PAMI2011] 既存研究のまとめとして良い
• [Wang+, TIST2011] 能動学習サーベイ
おまけ：
[Gao+, KDD2011]
– ラベル伝搬を統一的にまとめ，さらに，Map-Reduceに
乗るようにした論文．ラベル伝搬の必読論文（[Zhou+,
ICML2005]など）を多くたどれる．
20

ご清聴ありがとうございました

21

Semi-supervised Active Learning Survey

More Related Content

Semi-supervised Active Learning Survey