Pythonとdeep learningで手書き文字認識
•Download as PPTX, PDF•
163 likes•199,342 views
この続きでTheanoの使い方について簡単に書きました：http://qiita.com/items/3fbf6af714c1f66f99e9
![かっこいい Theanoの基本
>>> import theano.tensor as T
>>> import theano
xがベクトルとかでも>>> x = T.dscalar("x") ←Theanoの変数Object
行列とかでもOK
>>> y = (x-1)**2 ←Theanoの式表現
>>> y
Elemwise{pow,no_inplace}.0
ここで >>> f = theano.function([x], y) 関数f（ｘ）=y=(x-1)**2
コンパイルが走る！
>>> f(0) 関数f（0）=(0-1)**2=1
array(1.0)
>>> f(1)
関数f（1）=(1-1)**2=0
array(0.0)
40](https://image.slidesharecdn.com/pythondeeplearning-121219225320-phpapp01/85/Python-deep-learning-40-320.jpg)
![かっこいいTheanoの自動微分
y=(x-1)**2
>>> z = T.grad(y, x) を x で微分する
↓
z=y’=2(x-1)
>>>
式を関数にする fz = theano.function([x],z) fz（ｘ）=z=2(x-1)
>>> fz(0) fz（0）=2(0-1) = -2
array(-2.0)
>>> fz(5)
array(8.0) fz（5）=2(5-1) = 8
※「自動微分」は微分された式表現を求める技術
※値の代入で求める「数値微分」とは異なる(wikipedia) 41](https://image.slidesharecdn.com/pythondeeplearning-121219225320-phpapp01/85/Python-deep-learning-41-320.jpg)
Pythonとdeep learningで手書き文字認識
- 1. Pythonと Deep Learning 手書き文字認識 2012/12/17 株式会社ゆめみ mokemokechicken@twitter 1
- 2. はじめに 2
- 3. 最近 ニューラルネットワーク が熱い！ 3
- 5. ある人はこう表現していた 黒船！？ 5 http://www.slideshare.net/takmin/building-highlevelfeatures より
- 7. うーん、、、 でも難しいんじゃないか？ 7
- 8. いや、意外とそうでもない！ 8
- 9. 今回は 実用的 かつ 身近になった ニューラルネットワークのお話 です 9
- 10. 目次 • 機械学習の概要 • ニューラルネットワーク(NN)について • Deep Learning革命 • Deep LearningのPythonライブラリ • 手書き文字認識への応用 10
- 11. 機械学習の概要 11
- 13. 教師あり学習と教師なし学習 • 教師あり学習 NNはこっち – 「問題→答え」を当てる形式 – 入力と出力の関係を学習 – 入力から出力を予測する • 教師なし学習 – 「答えがない」形式 – 入力の特徴を抽出したり – データを分類したり 13
- 14. 機械学習が通常ロジックと異なる 点 • 「入力→■→出力」 なら関数と同じじゃな い？ • 普通のプログラムや関数と何が違うの か？ • 人間がルールを記述しない • 機械構造が同じでも「学習」に使うデー タで動作が変わる – 良いデータが集まると賢くなる（可能性があ 14 る）
- 15. 入力→出力 の例１ 入力(X) 出力(Y) 数値 ０ １ ？ ２ ０ ３ １ ４ ５ ６ ７ 仕様 ８ ０〜４------------------------------ ０ ９ ５〜９------------------------------ 1 単純すぎて機械学習の意味がない 15
- 16. 入力→出力 の例２ 入力(X) 出力(Y) 電卓数値７箇所の光っているかどうか なんの数字を表しているか x0 ０ x1 x2 １ ？ x3 ２ x4 x5 ３ x6 ４ ５ ６ ７ ８ ９ X=(x0,x1,x2,x3,..,x6) (xk={0,1}) ちょっと悩むでしょ？ でもまだ単純過ぎますね 16
- 17. 入力→出力 の例３ 入力(X) 出力(Y) 28x28Pixelの手書き数字画像 なんの数字を表しているか ０ 28 １ ？ 28 ２ ３ ４ ５ ６ ７ ８ X=(x0,x1,..,x783) (xk={0~1}) ９ もう普通のロジックでは書けないですね・・・ でも、NNならできるんです！（間違うこともある 17
- 18. 機械学習って何をしているの？ • 学習機械の内部パラメータを更新してい る 仕様 先ほどの例１ ０〜４------------------------------ ０ ５〜９------------------------------ 1 例えば 内部構造 Y=wX+c < 0 ? 0 : 1 とすると、wとcがパラメータ Y=2x-9 学習して、 w=2, c=-9 だと なんとなく良さげでしょ？ 18
- 19. どうやってパラメータ更新するの か？ • 機械学習の仕組みによって異なる • NNであれば 1. WやCを大小どちらに変化させると正解に近 づくか計算 2. ちょっとだけWやCを更新する 3. 繰り返し 19
- 20. NN学習の流れ NN君 ２．内部パラメータ更新 学習 １．データを３つに分ける ４．繰り返す ３．当たるようになった？ 元デー 検証 タ エラー率 3.23%です ５．最終テスト テスト 20
- 21. なぜデータを分けるのか？ • 学習データで高い評価が出ても「学習し 過ぎ」の可能性がある • 「過学習」と呼ばれる現象 • 過学習というのは細部を見過ぎて、一般 性を失っている状態 21
- 22. 過学習 • 例えば、男と女を見分けるのに – 「女性は名前が“明美”or“寛子”or“優子”or...であ る」 と覚えてしまうようなもの • 未知の類似データを正しく分類できなくなる – “明子”はもうよくわからない • 機械学習で本当にやりたいのは、画像の分類 などのように「未知の類似のものを扱う」こ となので、過学習は望ましくない 22
- 23. ニューラルネットワークについ て 23
- 24. ニューラルネットワーク概要 • ニューロンの構造を模しているから 「ニューラルネットワーク」 • 「ユニット」を入力→出力に繋いだ構造 入力(X) 出力(Y) ユニット 24
- 25. NNのユニット ユニット ユニットの出力＝出力関数(x1*w1+x2*w2+..+xn*wn + C) 25 http://thinkit.co.jp/article/30/2/ から画像は複製
- 27. 数学的には この構造はかなり表現力がある らしい 27 ※ちゃんと学習できるならね
- 28. DEEP LEARNING革命 28
- 29. Deep Learning • Deep Learning は、高性能なNNを実現する ための技術の総称みたいなもの (だと思う) • NNや機械学習における課題を解決してい る 29
- 30. 従来のNNの問題点 この層（レイヤー）の段数が多いほど「表現力は高い」 でも「学習」が難しかった 30
- 31. なぜ学習が難しい？ 内部パラメータ更新のために 出力→入力に向けて正解に近づくように調整するが・・・ 段数が多いと上手く情報が伝わらない 信号が上手く伝わらない、イメージらしい ノイズが多い伝言ゲームみたいな？ 31
- 32. じゃあ、準備しよう 適当なデータを入力して 教師なし学習です 変換・逆変換して元のデータになるように調整 変換F １：X ２：F(X) 3：G(F(X)) 逆変換G X=G(F(X)) に近づくように調整する 32
- 33. 教師が来る前に自習する感じ？ 変換F1 変換F2 １：X ２：F2(F1(X)) 3：G1(G2(F2(F1(X)))) 逆変換G1 逆変換G2 調整済みは固定 それをレイヤー毎に順次行なっていく こういうのを「Auto-Encoder」と呼ぶそうです 33
- 34. Auto-Encoder • Auto-Encoderの更なる工夫の例 – 少ないパラメータで元の入力を再現するように制 約をかける – わざと多少ノイズを入れてしまう • すると２段目のレイヤーが特徴を表すように なる（！） • その後の教師付き学習でもよく学習できるよ うになる（！） 34
- 35. 機械学習全般の課題 基本的に、どういうデータ（特徴）を入力とするかで、精度が大きく変わる ここが 重要 でも、どういう特徴を入力とすれば良いかは、 人間の勘と経験に依存することが多い 35
- 36. 特徴の抽出もやってしまおう！ こんな入力 特徴抽出 こんな感じになる なんかそれっぽい！ Restricted Boltzmann Machines (RBM) という仕組み 36
- 37. 色々合わせ技でうまくやる！ • 多段でも上手く学習 • 特徴を抽出したりす る • 他にも色々技がある • すると精度が劇的 UP！ • 柔軟に組み合わせら れるのもNNのメリッ でも、どういう構造がベストかは、問題に依存する トかも 37
- 38. DEEP LEARNINGのPYTHONライブラ リ 38
- 39. Theano • て発音するらしいです http://www.clear-english.com/db/theano.html 調べ • 「てあーの」という説もあります http://ejje.weblio.jp/content/Theano 調べ • 発音がよくわかりませんｗ • Pythonのライブラリ • 数学表現を定義したり、高速計算が可能 • 多次元配列でも綺麗に表記できる • 数式計算をC言語に動的に変換して実行する • GPU(Graphic Processing Unit)に計算を行わせること もできる（数倍〜１５０倍くらい速い） • http://deeplearning.net/software/theano/ 39
- 40. かっこいい Theanoの基本 >>> import theano.tensor as T >>> import theano xがベクトルとかでも>>> x = T.dscalar("x") ←Theanoの変数Object 行列とかでもOK >>> y = (x-1)**2 ←Theanoの式表現 >>> y Elemwise{pow,no_inplace}.0 ここで >>> f = theano.function([x], y) 関数f（ｘ）=y=(x-1)**2 コンパイルが走る！ >>> f(0) 関数f（0）=(0-1)**2=1 array(1.0) >>> f(1) 関数f（1）=(1-1)**2=0 array(0.0) 40
- 41. かっこいいTheanoの自動微分 y=(x-1)**2 >>> z = T.grad(y, x) を x で微分する ↓ z=y’=2(x-1) >>> 式を関数にする fz = theano.function([x],z) fz（ｘ）=z=2(x-1) >>> fz(0) fz（0）=2(0-1) = -2 array(-2.0) >>> fz(5) array(8.0) fz（5）=2(5-1) = 8 ※「自動微分」は微分された式表現を求める技術 ※値の代入で求める「数値微分」とは異なる(wikipedia) 41
- 42. TheanoとNN • NNの計算は、行列計算や勾配の計算が主 • Theanoで簡潔に記述して高速に計算できる • Deep LearningをTheanoでどう実装するかが Theanoのマニュアルにある（これ重要） • それを少し修正して今回使った – 内部パラメータのSaveとLoad – Classのメソッド名や引数を統一 42
- 43. 手書き文字認識への応用 43
- 44. 手書き文字認識 • オンライン文字認識 – ペンの動きがわかって いる • オフライン文字認識 – 画像からのみ判断 今回は「数字（１０文字）＋ひらがな（７１文字）」の識別に挑戦 44
- 45. オンライン文字認識 • ペンの動き（ストローク）をデータとし て使う • 上手くストロークを入力データ化できれ ば比較的簡単に良い精度の結果が得られ る – ちなみにTomoeという有名なOpenSourceもあ る • ポイントの一つはそのストローク変換に 45
- 46. ストロークの変換 今回行った方法 • ストロークを上下左右４方向の移動量で 表現 x1 こんなストロークなら 0.5 X=(0.7,0.5, 0, 0) とする x2 x0 0.7 x3 46
- 47. ストロークの変換 ストローク１ ８ ６ ７ ５ ４ ３ ストローク２ ５，７は空中のストロークとして扱う 47
- 48. 入力データの形式 • ストロークの1直線が 「ペン接触(4) + 空中移動(4)」 の８要素のベクトル • 今回５０直線分まで認識対象とした • つまり、入力は４００要素のベクトル 48
- 49. NNユニット構成 • 出力ユニット数は８１個（全文字の数) • 該当する文字のユニットの値が高くなる 「０」 ストローク 「１」 「ん」 ４００個 この部分は可変 ８１個 「隠れ層」と呼ぶ 49
- 50. NNの構成と実験パターン • NNの構成 – SdA: Auto-Encoderを使うパターン – RBM: RBMを使うパターン • NNユニット数の構成 – 隠れ１層： 400-100-81, 400-1000-81 – 隠れ２層： 400-100-100-81, – 隠れ３層： 400-100-100-100-81 • 筆跡データは、主に私の筆跡のみ（結果的 に） – なので、比較的認識しやすいはずです 50
- 51. オンライン版結果 • 単純な構造(400-100-81)が良かった – エラー１％程度 – 400-50-81 なども悪くなかった • RBMよりSdAの方が少し良かった • 400-1000-81, 400-100-100-81 はエラー多め 51
- 52. オフライン文字認識 • ペンで書いた画像から文字を識別する • 入力データは大きさだけ枠に合わせた – しないとかなり結果が悪い 52
- 53. 入力データの形式 今回行った方法 • ３０x３０ピクセルのGrayScale画像として 使った • つまり入力は９００要素のベクトル – それぞれの値は０〜１ – ０か１でも良かったけど 53
- 54. NNユニット構成 • 出力ユニット数は８１個（全文字の数) 「０」 画素 「１」 「ん」 ９００個 この部分は可変 ８１個 54
- 55. NNの構成と実験パターン • NNの構成(SdA,RBM) • NNユニット数の構成 – 隠れ１層： 400-100-81, 400-1000-81,400-3000- 81 – 隠れ２層： 400-100-100-81, – 隠れ３層： 400-100-100-100-81 • データもオンライン版と同じ 55
- 56. オフライン版結果 • 900-100-100-100-81 や 900-100-100-81 が良い – エラー率１５％程度 • 900-100-81, 900-1000-81, 900-3000-81などは エラーが多い • SdAよりRBMの方が少し良い結果 56
- 57. 考察 • 入力データによる違いはやはり大きい – オンライン版の方が精度が良かった • 人間が上手く特徴量を抽出したと言える – オフライン版は、もう少し類似の変則的な データを学習すれば変わるのかもしれない • データによって学習精度の良い構造が違 う – いろいろ試すしかない（勘と経験） 57
- 58. 全体まとめ • Deep Learning は今後も発展していくで しょう • Theanoのようなライブラリで、NNの中身 がよくわからなくても実装できますよ • 何か面白いネタがあれば作りたいです 58
- 59. 参考URL • 手書き文字認識デモ： 今回のデモが遊べます – http://54.248.76.99:7777/ • 「ニューラルネットの逆襲」： 概要がよくわかります – http://research.preferred.jp/2012/11/deep-learning/ • Building High-level Features Using Large Scale Unsupervised Learning – http://www.slideshare.net/takmin/building-highlevelfeatures – すごさが伝わってきます • Deep learning勉強会20121214ochi – http://www.slideshare.net/alembert2000/deep-learning20121214ochi – Deep Learningの特徴とか。理論よりな話 59