AdaBoost

AdaBoost は Freund と Schapier によって提案された．
学習データが外れ値などのノイズをあまり含まなければ，高い判別能力を示す．
変種として Discrite AdaBoost, Gentle AdaBoost, Real AdaBoost, Logit AdaBoost, Modest adaBoost などがある．

損失関数

上記の AdaBoost, Logit Boost, MadaBoost は損失関数によって異なるのみ（？）
(http://www.msi.co.jp/vmstudio/materials/files/misc/boosting.ppt を見よ）

ブースティングの案内ページ

• http://ibisforest.org/index.php?%E3%83%96%E3%83%BC%E3%82%B9%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0

AdaBoost に関する解説

• S-PLUSによる AdaBoost の実装

AdaBoost の説明が分かりやすく，かつ S-PLUS による実装（プログラム）と実験結果を掲載 (Powerpoint)
http://www.msi.co.jp/splus/events/student/2003pdf/sano.pdf

• RによるAdaBoost の実装

Bagging, AdaBoost, Random Forest の解説とそれらの実装
http://www1.doshisha.ac.jp/~mjin/R/0603_32.pdf

• 判別分析 : AdaBoost Algorithm

アルゴリズム，欠点などが示されている (Powerpoint)
http://www.iu.a.u-tokyo.ac.jp/lectures/biostatistics/20050426_1.pdf

• 情報生命科学演習 AdaBoostの実装

単純なデータを用いて AdaBoost の原理を説明している．かなり分かり易い(Powerpoint)
http://mlab.cb.k.u-tokyo.ac.jp/~moris/lecture/cb-exp/AdaBoost.pdf

• AdaBoost Algorithm の解説

プログラムによる実装（MATLAB ?)
www.geocities.jp/ismstats/eguchi/pdf/adaboost-rev.pdf

• An applet demonstraing adaBoost

２次元平面上で線形識別器を weak classifier として用いているみたい．
http://www.cse.ucsd.edu/~yfreund/adaboost/

• AdaBoost（重みの更新などが分かり易い）

http://schubert.cs.shinshu-u.ac.jp/~maruyama/course/learning/2002/pps/boosting.pps

• http://www.boosting.org/

AdaBoost に関する論文

• Y.Freund, R.Schapire, N.Abe, ブースティング入門，人工知能学会誌, Vol.14, No.5, pp.771-780 (1999)

厳密には論文でなく解説文である．
CiNiiから入手可能．

• 山田,呉,和田,GAとAdaboostを用いた顔検出,電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解, Vol.106, No.469(20070111) pp. 43-48 (2007).
• 塚本,颯々野,AdaBoostと能動学習を用いたテキスト分類,情報処理学会研究報告. 自然言語処理研究会報告, Vol.2001, No.112(20011120) pp. 81-88 (2001).

対象文書としてReutesr-21578コレクションを用いている

• R.E.Schapire, The Boosting Approach to Machine Learning : An Overview, MSRI Workshop on Nonlinear Estimation and Classification (2002)

www.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/mlc/2002/boosting-schapire-2002.ps
理論が主．

• 木谷，安村，上原，アンサンブル学習を用いた Concept Drift への適応手法, The 20th Annual Conference of the Japanese Society for Artificial Intelligence, 2006

http://www.jaist.ac.jp/jsai2006/program/pdf/100188.pdf

• 柳本，ユーザの興味を反映した情報フィルタリングの構築に関する研究，大阪府立大学博士論文

(2006)
http://www.cs.osakafu-u.ac.jp/thesis/yanagimoto_thesis.pdf

• 平，春野，トランスダクティブ・ブースティング法によるテキスト分類，情報処理学会論文誌，Vol.43, No.6, pp.1843-1851 (2002).

R.E.Schapire, Y.Singer, Boostexter : a boosting-based system for text categorization, Machine Learn, Vol.39(2/3), pp.135-168 (2000).

• M.Skurichina, L.I.Kuncheva, R.P.W.Duin, Bagging and Boosting for the Nearest Mean Classifier: Effects of Sample Size on Diversity and Accuracy, Springer Berlin / Heidelberg (2002)
• M.Skurichina, R.P.W.Duin, Boosting in Linear Discriminant Analysis
• BoosTexter

http://www.cs.princeton.edu/~schapire/boostexter.html

• LogitBoost

http://citeseer.ist.psu.edu/friedman98additive.html

• Experiments with a New Boosting Algorithm, Proc. of The 13th Int'l Conf. on Machine Learning, pp.148-156 (1996).

http://citeseer.ist.psu.edu/freund96experiments.html
紙ベースの論文コピーあり．
中身の解説は http://inakoshi.cocolog-nifty.com/booksblog/2007/01/experiments_wit.html を読む方が早い．
最近傍識別器の boosting について触れているが，その目的は「精度向上でなく，識別速度の向上にある」と述べられている．

• A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting

http://citeseer.ist.psu.edu/89601.htm

実装

• Rを用いた AdaBoost の実装

http://www.ism.ac.jp/~kawakita/R_jp.html