[ English | Japanese ] 杉山 将（すぎやま まさし） 東京工業大学 大学院情報理工学研究科 計算工学専攻 認知機構学講座 情報認識機構分野 准教授 興味のある研究分野： 機械学習の理論と応用， 表面微細凹凸形状測定， 信号画像処理など 研究概要 主要発表論文：英語文献, 日本語文献 全発表論文リスト:英語文献, 日本語文献 講演リスト 授業 ソフトウェア 履歴書 リンク Gmail 東京工業大学 VPN Yahoo Japan 機械学習研究グループ T-PRIMAL グローバルCOE 計算世界観の深化と展開(CompView) 駅探 Google maps Yahoo US Fraunhofer FIRST.IDA ECML2008, DMSS2008, IBIS2008, NIPS, ICDM2008, APBC2009 東京工業大学 付属図書館 東京工業大学 ポ

Abstract: ( ) ( ) ( ) 1. ( ) 2. (Bayesian network, Bayesnet, belief network) [1, 2, 3, 4, 5] [6, 7, 8, 9, 10] 0 1 1 0 Xi, Xj Xi → Xj Xj Xi X1 X2 X4 X3 X5 X2 0 1 X4 0 0.8 0.4 1 0.2 0.6 条件付確率表 P(X4|X2) P(X3|X1,X2） Ｐａ（Ｘ３） Ｐａ（Ｘ５） Ｐａ（Ｘ４） P(X５|X３,X４） 1: Bayesian network Xj Pa(Xj) Xj Pa(Xj) ( Pa(Xj) ) P(Xj | Pa(Xj)) (1) n X1 · · · , Xn (2) P(X1, · · · , Xn) = n � j=1 P(Xj | Pa(Xj)). (2) 1 1 3 Pa(Xj) = x1

東工大の奥村先生監修、高村先生著の「言語処理のための機械学習入門」が発売されました。これは読まなければ！と思い、さっそく手に入れました。本書の感想は本当にシンプルな一言に尽きます。 「大学時代にこの本がほしかった。。。」 本書の目次の中見出しまでを以下に引用させていただきます。 言語処理のための機械学習入門 (自然言語処理シリーズ 1) 高村 大也 1. 必要な数学的知識 1.1 準備と本書における約束事 1.2 最適化問題 1.3 確立 1.4 連続確率変数 1.5 パラメータ推定法 1.6 情報理論 1.7 この章のまとめ 2. 文書および単語の数学的表現 2.1 タイプ、トークン 2.2 nグラム 2.3 文書、文のベクトル 2.4 文書に対する前処理とデータスパースネス問題 2.5 単語ベクトル表現 2.6 文書や単語の確率分布による表現 2.7 この章のまとめ 3. クラスタリン

サンプル sampleで配布されているletter_recog.cppへ適用。 letter_recog.cpp、myCrossVal.cpp、myCrossVal.h、letter-recognition.dataを同一フォルダに置き、Windowsの場合はdata以外をプロジェクトに加えてビルド。 Linux等の場合はMakefileでそれぞれコンパイルさせてリンクさせる。(動作未確認) 試行錯誤する方法としてSTLのlistを使ってみた。これも実装は汚ない。 Random Treesの場合 その1 Training classifier: 1 Cross Validation: classifier 1 test1/10: Trees :23 Recognition Rate: train= 97.4%, test= 92.8% Training classifier: 2 Cros

■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基本的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布

サポートベクターマシン(以下 SVM) とは ・ニューラルネットワークの一種 ・教師ありクラスタリング SVM の基本的な考え方 ・元々2クラスの線形分離手法として提案される ・単層パーセプトロンに似ているが、SVM はマージン最大化という手法をとっているのがポイント。 ・マージン最大化とは、超平面と学習データの隙間となるマージンをなるべく大きく取ろうというもの。 (ここでいう超平面とは、2つのクラスにぶった切る平面のこと) ・ちなみに超平面と、ちょうどマージンの分だけ離れている学習データをサポートベクトルという。 ・このマージン最大化という考えを取り入れることによって、テストデータの識別精度を高めている。 SVM の発展 ・線形分離不可能な問題への対応 - ソフトマージン(学習データが多少マージンにくい込んだり、反するクラスの空間にくい込んだりしても許す)で対応

Latent Dirichlet Allocationはテキストのような不連続データのための生成的確率モデル。入力はドキュメント。出力はドキュメントを特徴づける何か（tf-idfみたいなもん）。 基本的なアイディアは、あるドキュメントは潜在的ないくつかのトピックが混合していて、それぞれのトピックは語の分布で特徴づけられている、ということ。 論文[1]ではαとβというパラメータを用いてドキュメントが以下のように生成されると仮定している。 ドキュメントのトピックの分布θがディリクレ分布Dir(α)に基づいて選ばれる。 ドキュメントの語数N個になるまで以下を繰り返す。 トピックznが多項分布Mult(θ)に基づいて選ばれる。 単語wnが確率p(wn|zn,β)で選ばれる。 ただし、トピックzの数をk個、単語wの種類をV個とすると、パラメータαはk次元のベクトル、βはk x V次元の行列でβij=

先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に