はてなブックマーク

1 福水健次 統計数理研究所／総合研究大学院大学 大阪大学大学院基礎工学研究科・集中講義 2014 September カーネル法入門 ５．カーネル法のその他の話題 2 • 効率的計算 低ランク近似の方法 • 構造化データ 非ベクトルデータに対するカーネル カーネル法の計算効率化 3 グラム行列計算 – カーネル法の計算： グラム行列による線形代数演算 データ数のサイズの行列 • 元の空間の次元が高くても計算量の問題は（あまり）生じない • データ数が大きいと計算量の問題が生じる 逆行列計算，固有値計算 in time 4  計算効率化への一般的なアプローチ – 低ランク近似によるGram行列の近似 • 不完全Cholesky分解 • Nyström近似 – ランダムなカーネル展開 • Random kitchen sink – 少数データによる表現 • データのランダムサンプリング •

1 福水健次 統計数理研究所／総合研究大学院大学 大阪大学大阪大学大学院基礎工学研究科・集中講義 2014 September カーネル法入門 １．カーネル法へのイントロダクション 2 2 カーネル法: 近年 (1990年代半ばごろから) 発展したデータ解析の方 法論．非線形な情報や高次モーメントの扱いが容易． サポートベクターマシンの提案が発端となった． 3 3 線形なデータ解析，非線形な データ解析 データ解析とは? Analysis of data is a process of inspecting, cleaning, transforming, and modeling data with the goal of highlighting useful information, suggesting conclusions, and supporting decision ma

1 福水健次 統計数理研究所／総合研究大学院大学 大阪大学大学院基礎工学研究科・集中講義 2014 September カーネル法入門 ６．カーネル平均を用いたノンパラメトリック推論 カーネル法概観：復習 2 特徴空間（RKHS) xi   xｊ 元の空間 特徴写像 Φ: Ω → , ↦ Φ ⋅, • 「データ点」を特徴ベクトルに写像し，データ解析手法を適用する Φ Φ カーネル平均による方法：概観 3 特徴空間（RKHS) 元の空間 特徴写像 ランダムな特徴ベクトルΦ の平均 Φ だけで 表現する， 確率変数 平均 Φ Φ 確率ベクトル Φ カーネル平均 4 X: 可測空間 Ω, に値を取る確率変数分布 P k: 上の可測な正定値カーネル， H: の定めるRKHS Def. の（ における）カーネル平均 – もRKHSの元，すなわち関数． – 確率 によって とも書くことに

Introduction to Kernel Methods 講師: 福水健次 (統計数理研究所) 日程: 2014年9月17-24日 場所: 大阪大学大学院・基礎工学研究科 講義の目的 近年発展した機械学習的なデータ解析の方法である，「カーネル法」の方法論を体系的に解説することを 目的とする．カーネル法の理論的特徴と，さまざまな具体的なデータ解析の方法を紹介する． 履修条件・受講条件 学部レベルの線形代数，微積分，確率・統計の知識を前提とする． 主成分分析や回帰分析などデータ解析の基礎的な知識があることが望ましい． 講義内容 本講義では，正定値カーネルないしは再生核ヒルベルト空間を用いたデータ解析の 方法論である「カーネル法」を体系的に講義する．カーネル法の原理を理論的に解説するとともに， サポートベクターマシン，カーネル主成分分析などの代表的手法を具体的データへの応用例も含めて紹介する

Workshop on Mathematical Approaches to Large-Dimensional Data Analysis MEXT-ISM Coop-Math Prgoram and ISM Research Center for Statistical Machine Learning Dates: March 13 - 15, 2014. Place: The Institute of Statistical Mathematics, Tachikawa, Tokyo What's New: Mar. 20, 2014: A photo and some slides are uploaded. Mar. 5, 2014: Caution on lunch! Feb. 24, 2014: Program, Title and Abstract are uploade

1. カーネル法への招待 正定値カーネルによるデータ解析 － カーネル法の基礎と展開 － 福水健次 統計数理研究所／総合研究大学院大学 1 統計数理研究所 公開講座 2011年1月13,14日 概要 • カーネル法の基本 – 線形データ解析と非線形データ解析 – カーネル法の原理 • カーネル法の２つの例 – カーネル主成分分析: PCAの非線形拡張 – リッジ回帰とそのカーネル化 2 概要 • カーネル法の基本 – 線形データ解析と非線形データ解析 – カーネル法の原理 • カーネル法の２つの例 – カーネル主成分分析: PCAの非線形拡張 – リッジ回帰とそのカーネル化 3 データ解析とは? Analysis of data is a process of inspecting, cleaning, transforming, and modeling data with the go

福水 健次 English / Japanese 福水 健次 統計数理研究所 数理・推論研究系 教授 統計的機械学習センター センター長 （兼）総合研究大学院大学 複合科学研究科統計科学専攻　教授 190-8562　東京都立川市緑町10-3 E-mail: 'fukumizu' ATT 'ism' DOTT 'ac' DOTT jp 居室： D606，アクセス 2020 Feb. 17-19 Workshop on Functional Inference and Machine Intelligence (FIMI) will be held at EURECOM, Sophia Antipolis, France. Co-organized by EURECOM and ISM. 統計数理研究所・共同利用研究・研究集会 「統計的機械学習の新展開」 2020. 1. 30-31. Cau

２．正定値カーネルと再生核ヒルベルト空間 正定値カーネルによるデータ解析 － カーネル法の基礎と展開 － 福水健次 統計数理研究所／総合研究大学院大学 統計数理研究所 公開講座 2011年1月13,14日 1 概要 • 正定値カーネル 定義と例 • 再生核ヒルベルト空間と正定値カーネル 再生核ヒルベルト空間の定義 正定値カーネルとの関係（Moore-Aronszajn theorem） 特徴写像 • 正定値カーネルとRKHSの基本的性質 正定値カーネルの性質 再生核ヒルベルト空間の性質 Bochnerの定理 2 概要 • 正定値カーネル 定義と例 • 再生核ヒルベルト空間と正定値カーネル 再生核ヒルベルト空間の定義 正定値カーネルとの関係（Moore-Aronszajn theorem） 特徴写像 • 正定値カーネルとRKHSの基本的性質 正定値カーネルの性質 再生核ヒルベルト空間の性質

1 カーネル法による 非線形データ解析入門 福水健次 情報・システム研究機構 統計数理研究所 March 3, 2006. @ ROIS Cross-talk 2 あらまし 1. イントロ： 線形から非線形へ 2. カーネル法： 高次元の内積計算 3. カーネル法の具体例： カーネルＰＣＡとカーネル CCA 4. グラフに対するデータ解析 5. まとめ 3 Introduction 線形から非線形へ 1. イントロ： 線形から非線形へ 2. カーネル法： 高次元の内積計算 3. カーネル法の具体例： カーネルPCAとカーネルCCA 4. グラフに対するデータ解析 5. まとめ 4 はじめに � データ解析 実験／観測などで得られたデータから、有用な情報を抽出するための方法 情報の集約 低次元表現、圧縮表現 関係の抽出 相関、依存性 可視化による分析 ２，３次元表現 予測・発見 5 線形なデ

サポートベクターマシン 赤穂昭太郎 産業技術総合研究所 2006.7.6～7 統数研公開講座 「カーネル法の最前線―ＳＶＭ, 非線形データ解析, 構造化データ―」 目次 1. サポートベクターマシン(SVM)とは 2. SVMの仲間たち 3. 汎化能力の評価 4. 学習アルゴリズム 5. カーネル設計の基本 1.サポートベクターマシンとは？ • サポートベクターマシン＝ 「線形モデル＋高次元写像＋正則化」の一つ （ほかのカーネル法と基本的に共通） • 計算量を少なくするいくつかの工夫 – 凸２次計画法 – スパース表現 – カーネルトリック • ローカルミニマムの問題がない 識別問題 • 入力 x を二つのクラスに分類する関数 を学習する （１クラスあるいは３クラス以上の場合は後で考える） 例： 文字認識、遺伝子解析、データマイニング、 spam filter • 学習サンプルから学習 •

1 カーネル法の基礎 福水 健次 (統計数理研究所） 2006年7月6~7日 公開講座「カーネル法の最前線 ― SVM, 非線形データ解析, 構造化データ ―」 2 1. イントロダクション � このセクションの目的 カーネル法に関して大まかなイメージを持ってもらう くわしい説明はあとできちんとやる 3 非線形データ解析としてのカーネル法 � 非線形データ解析の重要性 古典的な線形データ解析 データの行列表現 ⇒ 線形の処理 （主成分分析，正準相関分析，線形回帰．．．） 線形で十分か？ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = N m N m m X X X X X X X 1 2 2 1 1 1 1 m 次元 N 点のデータ 4 -6 -4 -2 0 2 4 6 -6 -4 -2 0 2 4 6 0 5 10 15 20 0 5 10 15 20 -15 -10 -5

1 カーネル法の応用 松井知子 統計数理研究所 2006年7月6・7日 公開講座「カーネル法の最前線―ＳＶＭ、非線形データ解、 構造化データ― 」 2 実問題を扱う • 課題：いかにデータに語らせるか – データに潜む構造を扱う。 – データの本質をつかむ。 • カーネル法によるアプローチ – 構造化データを扱う。 例）ベクトル ⇒ 構造化オブジェクト – データ xが与えられた時のラベル yの条件付分布を うまく推定する。 例）Penalized Logistic Regression Machine (PLRM) 3 構造化データを扱う • 対象データ内の構造 – 様々なString/Tree/Graph kernel (基本的にConvolution kernelの考えを利用） – P-kernel, Fisher kernel (確率的な生成モデルを利用） – 例）テキスト・音声・