機械学習によるデータ分析まわりのお話
•
843 likes•569,187 views
某所で機械学習の講習会（？）のようなものをしたときの資料です． 機械学習によるデータ分析について，アルゴリズムやツールの使い方＊以外＊の部分で 重要だと思うことを重点的にまとめたつもりです．
![Feature hashing / Hashing trick 12
ダミー変数はカテゴリの種類が多いと
特徴量量の次元数が⼤大きくなりすぎる
Feature hashingにより任意の次元に削減
Nの値がある程度度⼤大きければ精度度への影響⼩小
x := new vector[N]
for f in features:
h := hash(f)
x[h mod N] += 1
http://en.wikipedia.org/wiki/Feature_hashing](https://image.slidesharecdn.com/random-150204215702-conversion-gate01/85/-12-320.jpg)
機械学習によるデータ分析まわりのお話
- 2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜～19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル，機械学習／ビッグデータ， 数学／OR，プログラミング，統計 Analyzing the Analyzers, O’reilly 2013
- 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです
- 5. ターゲットにしている⽅方 5 1. 分析を始めようとしている⼈人 基本的な分析⼿手順を知ることができます 2. 分析結果を受け取る⼈人 分析の妥当性を判断することができます 3. 分析を依頼する⼈人 基礎検討を⾃自前で⾏行行うことができます
- 6. 本⽇日お話しないこと 6 1. 統計のこと 検定とか，有意差がどうとか 2. アルゴリズムの詳細 数式とか 3. ツールの使い⽅方 Webや書籍が充実しています 4. ビッグデータ関連 データベースとか分散処理理とか
- 7. 本⽇日お話すること 7 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス
- 8. ⼀一般的なデータ形式 8 年年齢 性別 加⼊入⽇日 加⼊入プラン 地区 解約 23 男 2012/03/03スタンダード 東京 0 34 ⼥女女 2014/11/23スタンダード 埼⽟玉 1 49 男 2000/05/11プレミアム 千葉葉 0 19 男 2013/12/05ライト ⼤大阪 0 60 ⼥女女 2011/03/28シニア 東京 0 ・ ・ ・ 説明変数，特徴量量 ⽬目的変数
- 11. ダミー変数（1-of-K表現） 11 カテゴリデータを数値データへ変換 加⼊入プラン スタンダード スタンダード プレミアム ライト シニア ・ ・ ・ ライト スタンダード シニア 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 ・ ・ ・
- 12. Feature hashing / Hashing trick 12 ダミー変数はカテゴリの種類が多いと 特徴量量の次元数が⼤大きくなりすぎる Feature hashingにより任意の次元に削減 Nの値がある程度度⼤大きければ精度度への影響⼩小 x := new vector[N] for f in features: h := hash(f) x[h mod N] += 1 http://en.wikipedia.org/wiki/Feature_hashing
- 16. 次元の呪い 16 次元の呪い(Curse of dimensionality) 特徴量量（説明変数）の数が増えると汎化性能※を 向上させることが難しくなる 使えそうなデータはなんでも特徴量量に加えて しまえ，は危険 特徴選択や次元削減により特徴量量の数を減らす データを⽤用意する段階で特徴量量を吟味することが⾮非常に重要 次元の呪いについて，詳しくは「球⾯面集中現象」を検索索 ※未知のデータを予測する性能
- 17. 特徴選択 17 特徴選択(Feature selection) 特徴量量の中から有⽤用なものを選び出す 全ての特徴量量の組み合わせを試すのは困難 前向き法(Forward stepwise selection) 有⽤用な特徴量量を１つずつ選択していく 後ろ向き法(Backward stepwise selection) 不不要な特徴量量を１つずつ削除していく 特徴選択機能を含む機械学習アルゴリズム 決定⽊木，ランダムフォレスト，Lasso
- 18. 次元削減 18 次元削減(dimension(ality) reduction) できるだけ元の情報量量を損なわないように 低次元（少特徴量量）のデータに変換する 主成分分析(Principal component analysis (PCA)) データ全体の分布を近似する部分空間を求める （線形）判別分析(Linear discriminant analysis (LDA)) ラベルごとの分布の分離離度度が最⼤大になる部分空間を求める
- 21. 醜いアヒルの⼦子定理理 21 醜いアヒルの⼦子定理理(Ugly duckling theorem) 醜いアヒルの⼦子と普通のアヒルの⼦子の類似性は ２⽻羽の普通のアヒルの⼦子の類似性と等しい 問題から独⽴立立した万能な特徴量量は存在しない 特徴量量の設計が重要
- 22. １章のまとめ 22 データの前処理理 ダミー変数，⽋欠損値処理理，正規化 次元の呪い 特徴量量が多いと分析が困難に 特徴選択や次元削減 醜いアヒルの⼦子定理理 万能な特徴量量は無い 特徴量量の決定が重要
- 23. 本⽇日お話すること 23 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス
- 24. 機械学習とは 24 “Machine learning is the science of getting computers to act without being explicitly programmed.” Andrew Ng ⼀一般的にはコンピュータの振る舞い⽅方（モデル）を （⼤大量量の）データから学習することにより獲得する．
- 25. 機械学習の分類 25 教師あり学習（supervised learning） データが⼊入⼒力力と出⼒力力のペアから成る • 分類（識識別）（classification）：出⼒力力がラベル • 回帰（regression）：出⼒力力が数値 教師なし学習（unsupervised learning） データは⼊入⼒力力のみ • クラスタリング • 頻出パタンマイニング • 外れ値検出（outlier detection）
- 26. 機械学習の分類 26 その他の分類 • 半教師あり学習（semi-supervised learning） • 強化学習（reinforcement learning） • 能動学習（active learning） • 逐次学習（online learning） • 転移学習（transfer learning） ・・・
- 27. 機械学習のアルゴリズム 27 教師あり学習 • 線形モデル（単／重回帰） • ロジスティック回帰 • 判別分析 • k近傍法 • 決定⽊木 • サポートベクターマシン • ニューラルネットワーク • ナイーブベイズ • ランダムフォレスト
- 28. 機械学習のアルゴリズム 28 教師なし学習 • K-means クラスタリング • 階層的クラスタリング • Apriori • One-class SVM
- 30. アルゴリズム利利⽤用時の注意点 30 線形モデル（単／重回帰分析） x y εββββ +++++= ii xxxy L22110 線形モデルは誤差が等分散 正規分布であることを仮定 ⼀一般化線形モデル （generalized linear model） ※ロジスティック回帰はこの⼀一種 ⼀一般化 （ポアソン分布，⼆二項分布， ガンマ分布，・・・）
- 31. アルゴリズム利利⽤用時の注意点 31 K-meansクラスタリング K-meansクラスタリングは 各クラスタが同じ⼤大きさの 超球であることを仮定して いる 混合正規分布 （Gaussian mixture model） クラスタの⼤大きさに 差がある場合
- 34. 本⽇日お話すること 34 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス
- 35. 回帰モデルの評価基準 35 平均絶対誤差(Mean absolute error) ⼩小さいほど良良い 平均⼆二乗誤差(Mean square(d) error) ⼩小さいほど良良い Root Mean Square(d) Errorもよく使われる 決定係数R2(Coefficient of determination) 説明変数が⽬目的変数をどれくらい説明するか 0(悪い)〜～1(良良い) 特徴量量が多いほど⼤大きな値に ⾃自由度度調整済み決定係数 ( ) Nyy N i ii∑= −= 1 ˆMAE ( )( ) Nyy N i ii∑= −= 1 2 ˆMSE
- 37. 分類（識識別）モデルの評価基準 37 混同⾏行行列列(Confusion matrix) 予測値 陽性 (Positive) 陰性 (Negative) 正 解 陽性 真陽性 (True positive : TP) 偽陰性 (False negative : FN) 陰性 偽陽性 (False positive : FP) 真陰性 (True negative : TN) ※予測したい事象が⽣生じている状態が「陽性」 病気を判別したければ，病気の状態が「陽性」で健康な状態が「陰性」
- 38. 分類（識識別）モデルの評価基準 38 適合率率率(Precision) TP/(TP + FP) 陽性と予測したものの正解率率率 再現率率率(Recall) TP/(TP + FN) 陽性のうち正しく予測できた率率率 F値(F1 score, F-measure) 2・(適合率率率・再現率率率) / (適合率率率＋再現率率率)
- 39. 分類（識識別）モデルの評価基準 39 真陽性率率率(True Positive Rate) TP/(TP + FN) 陽性のうち正しく予測できた率率率（ヒット率率率） 偽陽性率率率(False Positive Rate) FP/(FP + TN) 陰性のうち誤って陽性と予測した率率率（誤報率率率）
- 40. 分類（識識別）モデルの評価基準 40 1万⼈人のデータの内100⼈人が陽性のとき 常に陰性と判定するモデル 予測値 陽性(Positive) 陰性(Negative) 正 解 陽性 0 100 陰性 0 9900 精度度：0.99 適合率率率：0 再現率率率：0 F値：0
- 45. 本⽇日お話すること 45 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス
- 46. 分析時の注意点 46 適切切にデータを前処理理して， 適切切なアルゴリズムを選んで分析した． 誤差が⼤大きい，このアルゴリズムは 使えない！ 本当ですか？ > clf = SVC().fit(X, y)
- 47. ハイパーパラメータ 47 アルゴリズムはハイパーパラメータを 調整することで性能が⼤大きく変化 ハイパーパラメータの調整法は？ > clf = SVC(kernel=‘rbf’, C=1.0 gamma=0.1).fit(X, y)
- 54. 過学習対策 54 交差検証(Cross validation) データを学習⽤用と評価⽤用に分割する 1. B〜～Eで学習，Aで評価 2. A,C〜～Eで学習，Bで評価 3. A,B,D,Eで学習，Cで評価 4. A〜～C,Eで学習，Dで評価 5. A〜～Dで学習，Eで評価 6. １〜～5の平均を算出 5分割交差検証（5-fold cross validation）
- 55. 過学習対策 55 データの分割の仕⽅方 ランダムにK分割 1サンプルとそれ以外に分割 Leave-one-out cross validation(LOOCV) ラベルの⽐比率率率を保ったまま分割 Stratified cross validation ラベルの⽐比率率率に偏りのある場合に有効
- 56. 過学習対策 56 先頭から順にK分割 時刻 温度度 湿度度 天気 8:00 23.2 63.0 曇 8:05 23.5 65.1 曇 8:10 24.0 68.0 曇 8:15 24.1 69.3 ⾬雨 8:20 24.2 70.1 ⾬雨 8:25 24.2 70.2 ⾬雨 8:30 23.9 69.6 曇 … 時系列列データでは，前後の データの関連が強いことが ある． これをランダムに学習⽤用と 評価⽤用に分けてしまうと， 汎化誤差が不不当に⼩小さくな る．
- 57. 過学習対策 57 何らかの属性に応じて分割 新たな被験者に対するモデ ルの性能を評価する場合， データを被験者ごとに分割 すると良良い． 学習データと評価データの両⽅方に同じ被験 者のデータが含まれると，汎化誤差が不不当 に⼩小さくなる． 名前 x y 姿勢 A 23.2 63.0 ⽴立立 A 23.5 65.1 ⽴立立 A 24.0 68.0 座 B 24.1 69.3 座 B 24.2 70.1 座 B 24.2 70.2 ⽴立立 C 23.9 69.6 寝 …
- 60. バイアスとバリアンス 60 誤差 ε 得られた サンプルたち 推定した モデルたち 真のモデル 差は⼤大きいが，差のばらつきは⼩小さい → ハイバイアス／ローバリアンス 1次式でモデリング
- 61. バイアスとバリアンス 61 誤差 ε 得られた サンプルたち 推定した モデルたち 真のモデル サンプルによる差が⼤大きい → ローバイアス／ハイバリアンス 多項式でモデリング
- 62. バイアスとバリアンス 62 バイアスとバリアンスはトレードオフの関係 柔軟性の⾼高いモデル（アルゴリズム） バイアス⼩小，バリアンス⼤大 ハイバリアンス 過学習(Over fitting) 柔軟性の低いモデル（アルゴリズム） バイアス⼤大，バリアンス⼩小 ハイバイアス Under fitting 現在のモデルの状態を確認するには？
- 68. 本⽇日お話したこと 68 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス
- 69. 宣伝 69 機械学習⽀支援システム MALSS (Machine Learning Support System) 機械学習によるデータ分析の⼀一部を⾃自動化する Pythonライブラリ 機能 • ダミー変数⽣生成，⽋欠損値補間，正規化 • アルゴリズム⾃自動選択 • 交差検証，グリッドサーチ • 分析結果レポート • サンプルコード⽣生成
- 70. 宣伝 70 機械学習⽀支援システム MALSS インストール 利利⽤用⽅方法 > pip install –U malss > from malss import MALSS > clf = MALSS('classification‘, lang=‘jp’) > clf.fit(X, y, ‘report_output_dir') > clf.make_sample_code('sample_code.py')
- 73. 参考⽂文献 73 戦略略的データサイエンス⼊入⾨門 F. Provost他／オライリー・ジャパン Coursera: Machine Learning Andrew Ng／https://www.coursera.org/course/ml scikit-learn Tutorials http://scikit-learn.org/stable/tutorial/ Tutorial: Machine Learning for Astronomy with Scikit-learn http://www.astroml.org/sklearn_tutorial/ データ解析のための統計モデリング⼊入⾨門 久保 拓拓弥／岩波書店 朱鷺鷺の杜Wiki http://ibisforest.org/
- 74. 参考⽂文献 74 MALSS (Machine Learning Support System) https://pypi.python.org/pypi/malss/ https://github.com/canard0328/malss Pythonでの機械学習を⽀支援するツール MALSS（導⼊入） Qiita／http://qiita.com/canard0328/items/fe1ccd5721d59d76cc77 Pythonでの機械学習を⽀支援するツール MALSS（基本） Qiita／http://qiita.com/canard0328/items/5da95ff4f2e1611f87e1 Pythonでの機械学習を⽀支援するツール MALSS（応⽤用） Qiita／ http://qiita.com/canard0328/items/3713d6758fe9c045a19d
- 75. 本⽇日お話したこと 75 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス