有名どころな機械学習手法の年表

機械学習

ちょっと機械学習の比較的有名なモデルやアルゴリズムの初出について年表を作ってみた。
って今週末用の資料なんだけどねｗ

1805 Method of Least Squares
1901 PCA (Principal Component Analysis)
1905 Random Walk
-1925 Logistic Regression
1936 Fisher's Linear Discriminant Analysis
1946 Monte Carlo Method
1948 n-gram model
1950 RKHS (Reproducing Kernel Hilbert Space)
1950s Markov Decision Process
-1957 Perceptron
1958 Kalman Filter
1960s Hidden Markov Model
-1961 Neural Network (Multi-Layer Perceptron)
1962 L2 regularity
1967 Viterbi Algorithm
-1970 Metropolis-Hastings algorithm
1973 Dirichlet Process
1975 Mean Shirt Clustering
1977 EM Algorithm
1980 Graphical Modeling
1982 SOM (Self-Organizing Map)
-1984 Gibbs sampling
1984 CART (Classification And Regression Tree)
1984 PAC learning
1984 Markov Random Field
1985 Bayesian Network
1988 Variational Bayesian method
1989 Graph Cut
1994 L1 regularity
1994 ICA (Independent Component Analysis)
1995 Support Vector Machine
1995 AdaBoost
1995 Particle Filter
1999 LSH (Locality Sensitive Hashing)
2000 FP-Growth
2001 Item-based Collaborative Filtering
2001 Random Forest
2001 CRF (Conditional Random Field)
2001 Expectation Propagation
2003 Slice sampling
2003 LDA (Latent Dirichlet Allocation)


ちなみに Logistic Regression は 19世紀中頃に logistic 関数の「発見」、1920 年に今の Logistic Regression 相当が出たけどまだその名前でなく、その後 logistic 関数の「再発見」を経て、1925 年にめでたく Logistic Regression となりました、という経緯っぽい。
Linear Regression は 19世紀初頭あたりから始まり、1920 年代に Fisher の手によってほぼ今の形になったっぽいんだけど、まあさすがに載せなくていいかな、と。


LDA までなのはちょい意図的。まあそれ以降は評価が定まるのもこれからでしょうしね。
間違いや「なんで××がないの？」、その他あればご指摘歓迎。

  • SOM を忘れてたので追加。
  • Multi-layer perceptron と PCA の年代を修正。Perceptron と Fisher's LDA を追加(thanks to Mathieu さん)
  • MH-algorithm, Gibbs sampling, Slice sampling を追加
  • おっと Random walk 忘れてた……
  • Kalman filter の年代を 1958 に修正。MH-algorithm & Gibbs sampling ã‚’ -1970 といった表記に(thanks to しましま先生)
  • 最小二乗法追加(thanks to Mathieu さん, しましま先生)
  • グラフィカルモデル、ベイジアンネット、マルコフ乱数場を追加(thanks to tsubosaka さん、_akisato さん)
  • パーセプトロン、ニューラルネットワークの年代を -1957 という表記に(thanks to しましま先生)
  • particle filter の年代を 1995 に修正(thanks to _akisato さん)
  • Expectation Propagation を追加(thanks to daichi さん)
  • 再生核ヒルベルト空間を追加
  • 変分ベイズから mean-field theory の記述を削除(thanks to _akisato さん)
  • n-gram 追åŠ