Deep Learning リンク集

乗るしかないこのビッグウェーブに

Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進めるなかで記録していきたいと思います。読んだ論文の概要も簡単にまとめていく予定です。本ブログでは、当面の間、Theanoを使って各種Deep Learningアルゴリズムを実装していきたいと思います。

関連ニュースなどはTwitterでも流しているので興味があったらフォローしてください。

すべてに目が通せず更新が追いついていません。私のはてなブックマークで[Deep Learning]というタグを付けて登録しています。まったく整理できていませんがご参考まで。

Theanoç·¨

• Theanoã‚’Windowsにインストール（2015/1/27）
• Theanoの使い方 (1) シンボルと共有変数（2015/5/9）
• Theanoの使い方 (2) 自動微分（2015/5/18）
• Theanoによる2クラスロジスティック回帰の実装（2015/5/19）
• Theanoによるロジスティック回帰の実装 （2015/5/26）
• Theanoによる多層パーセプトロンの実装 （2015/6/18）
• Theanoによる畳み込みニューラルネットワークの実装 (1)（2015/6/26）
• Theanoによる畳み込みニューラルネットワークの実装 (2)（2015/7/14）
• Theanoによる自己符号化器（Autoencorder）の実装（2015/12/3）
• Theanoによる雑音除去自己符号化器（Denoising autoencoder）の実装（2015/12/9）
• Theanoによる積層自己符号化器（Stacked autoencoder）の実装（2016/1/22）
• 積層自己符号化器の性能評価（2016/2/6）

Chainer編（1.3.2ベースなので古いです）

• Chainerによる多層パーセプトロンの実装（2015/10/5）
• Chainerによる畳み込みニューラルネットワークの実装（2015/10/7）
• CIFAR-10（2015/10/14）
• ChainerによるCIFAR-10の一般物体認識 (1)（2015/11/8）
• ChainerによるCIFAR-10の一般物体認識 (2)（2015/11/14）

Kerasç·¨ NEW!

• 深層学習ライブラリ Keras（2016/3/28）
• Kerasはじめます（2016/10/18）
• Kerasのインストール（2016/10/24）
• Kerasによる2クラスロジスティック回帰（2016/10/30）
• Kerasによる2クラス分類（Pima Indians Diabetes）（2016/11/3）
• Kerasによる多クラス分類（Iris）（2016/11/8）
• KerasでMNIST（2016/11/9）
• Kerasによる畳み込みニューラルネットワークの実装（2016/11/20）
• KerasでCIFAR-10の一般物体認識（2016/11/27）
• Kerasによるデータ拡張（2016/12/12）
• KerasでVGG16を使う（2017/1/4）
• VGG16のFine-tuningによる犬猫認識 (1)（2017/1/8）
• VGG16のFine-tuningによる犬猫認識 (2)（2017/1/10）
• VGG16のFine-tuningによる17種類の花の分類（2017/1/31）
• 畳み込みニューラルネットワークの可視化（2017/2/16）

その他関連記事

• パターン認識と機械学習（PRML）まとめ（2010/8/29）
• Pythonによるモンテカルロ法入門（2014/6/20）
• 人工知能を実現する学習アルゴリズムに必要な能力（2014/9/10）
• ボルツマンマシン（可視変数のみ）の導出（2016/3/11）
• ボルツマンマシン（隠れ変数あり）の導出（2016/3/12）
• 制限ボルツマンマシン (RBM) の導出 (1)（2016/3/16）
• 制限ボルツマンマシン (RBM) の導出 (2)（2016/3/20）

人工知能学会の特集記事

サーベイのとっかかりとして最適だけれど、残念ながらPDFを無料ダウンロードできない。この特集を加筆・再編集した書籍が発売されている（2015/11/5）。

• 連載解説「Deep Learning（深層学習）」にあたって
• 第1回 ディープボルツマンマシン入門 : ボルツマンマシン学習の基礎
• 第2回 多層ニューラルネットワークによる深層表現の学習
• 第3回 大規模Deep Learning(深層学習)の実現技術
• 第4回 画像認識のための深層学習
• 第5回 音声認識のための深層学習
• 第6回 自然言語処理のための深層学習
• 第7回 コントラスティブダイバージェンス法とその周辺

リンク集

• 私のブックマーク Deep Learning
• Deep learning（深層学習）チュートリアルなど
• Googleã‚„Facebookが注目するディープラーニングについてまとめてみた
• Deep Learningの教材 - 講義資料
• DeepLearningを使った実装を纏めてみた

解説

• DeepLearning.net - Deep Learning情報の総本山、チュートリアル、論文リストなど
• Deep Learning Reading List - 読むべき論文のリスト
• DEEP LEARNING - Bengioさんの本のドラフト
• Neural Networks and Deep Learning - オンラインブック
• Learning Deep Architectures for AI
• An Introduction to Restricted Boltzmann Machines
• Unsupervised Feature Learning and Deep Learning Tutorial
• A Practical Guide to Training Restricted Boltzmann Machine
• Deep Learning: Methods and Applications
• Machine Intelligence - Natureの特集
• Deep Machine Learning - A New Frontier in Artificial Intelligence Research - 総説
• UFLDL Tutorial - スタンフォード大学
• Deep Learning Summer School 2015
• Deep Learning (Wikipedia)
• ディープラーニングチュートリアル（もしくは研究動向報告）
• ニューラルネットの逆襲
• Deep Learning : Bengio先生のおすすめレシピ
• はじめるDeep learning
• 人工知能 Advent Calendar 2015

Slideshare

• 一般向けのDeep Learning
• Deep Learning技術の今
• Deep Learningの基礎と応用事例
• Deep Learning～使いこなすために知っておきたいこと
• ディープラーニングによる画像認識と応用事例
• Deep Learningの過去と未来～黒魔術からの脱却へ向けて～
• Deep Learningと画像認識～歴史・理論・実践～
• Deep Learningによる画像認識革命ー歴史・最新理論から実践応用までー
• ディープラーニングの基礎技術と今後の課題・展望～画像認識分野を中心に～

国際会議チュートリアル

• Representation learning tutorial - ICML2012
• Deep learning methods for vision - CVPR2012
• Deep learning for NLP (without Magic) - ACL2012
• Deep learning and its applications in signal processing - ICASSP2012
• Graduate summer school: Deep learning, feature learning

Generative Adversarial Network

• ★はじめてのGAN - KerasによるMNISTを例にしたGAN
• ★NIPS 2016 Workshop on Adversarial Training - GANの講演
• AdversarialNetsPapers - 論文リスト
• How to Train a GAN? Tips and tricks to make GANs work - GANを訓練するためのTip集
• Chainerを使ってコンピュータにイラストを描かせる
• Chainerで顔イラストの自動生成

コンピュータビジョン関連

• ★CS231n Convolutional Neural Networks for Visual Recognition - 講義動画のリストはここ
• Building High-level Features Using Large Scale Unsupervised Learning - Googleの猫論文
• ImageNet Classification with Deep Convolutional Neural Networks
• The Shape Boltzmann Machine: A strong model of object shape
• Convolutional neural network (Wikipedia)
• 二次元画像を拡大したいと思ったことはありませんか？ - CNNによる超解像、Torch7
• きんいろDeepLearning - アニメキャラの顔認識
• ご注文はDeep Learningですか？ - Caffe、アニメキャラの顔認識。
• A Neural Algorithm of Artistic Style - CNNによる絵画風の画像生成、Torch7による実装、Chainerによる実装

音声関連

• Deep Neural Networks for Acoustic Modeling in Speech Recognition - 音声認識サーベイ。
• Deep Learning for Acoustic Modeling in Parametric Speech Generation - 音声合成・声質変換などの音響パラメータ生成におけるDNN応用のサーベイ。
• Composing Music With Recurrent Neural Networks · hexahedria - Recurrent Neural Networkでクラシック音楽を生成。こういうの大好き。

自然言語処理関連

• 自然言語処理分野におけるディープラーニングの現状 (PDF)
• Linguistic Regularities in Continuous Space Word Representations - word2vec, King-Man+Woman=Queen
• The Unreasonable Effectiveness of Recurrent Neural Networks - RNNを用いたテキスト生成

強化学習関連

• Playing Atari with Deep Reinforcement Learning - DQN
• Human-level control through deep reinforcement learning - DQNのNature論文、コードはここで公開
• 分散深層強化学習でロボット制御 - 動画あり
• GitHub - ugo-nama-kun/DQN-chainer - ChainerのDQN実装
• DQNの生い立ち　＋　Deep Q-Networkã‚’Chainerで書いた - Pongが再現できてる！すごい

Autoencoder

• Reducing the Dimensionality of Data with Neural Networks - Autoencoderを用いた次元圧縮。図4©ã¯ã‚¤ãƒ³ãƒ‘クトあるな。Isomapとどっちがいいんだろ？
• Ng’s Lecture Note: Sparse Autoencoder - スパース自己符号化器の解説
• 機械学習プロフェッショナルシリーズ輪読会 #2 Chapter 5 「自己符号化器」 資料 - 自己符号化器の解説資料。

Neural Turing Machine

• Neural Turing Machines

Inceptionism

• Research Blog: Inceptionism: Going Deeper into Neural Networks - Google Deep Dream。例の気持ち悪い画像の作り方。

研究会

• 汎用人工知能と技術的特異点研究会 - 全脳アーキテクチャ、Deep Learning関連の話題も多い
• Deep Learning Japan - 松尾さんグループ。リンク集あり。

Theano

• Theano - Deep Learningの実装に適した数値計算ライブラリ
• Theano Tutorial - Theanoのチュートリアル
• Deep Learning Tutorial - Theanoを用いたDeep Learningアルゴリズム実装の解説
• Theano入門
• Theano の 基本メモ
• Theano解説
• TheanoでDeep Learning
• Deep Learningを実装する
• Theano Tutorial - IPython Notebook形式のチュートリアル
• GitHub - JonathanRaiman/theano_lstm: Nano size Theano LSTM module - TheanoのLSTM実装
• Pylearn2 - Theanoを使ったDeep Learningライブラリ
• Lasagne - Theanoのラッパーライブラリ
• nolearn - Theanoベース？
• keras - TheanoとTensorflowベース。実装がシンプルでとても美しい。最近はまっている。

Caffe

• Caffe - コンピュータビジョン分野でよく使われているらしい
• Caffeで手軽に画像分類
• CaffeでDeep Q-Networkを実装して深層強化学習してみた

Chainer

• Chainer - Preferred Networks。
• Deep Learning のフレームワーク Chainer を公開しました
• ディープラーニング フレームワークChainerを試しながら解説してみる
• 機械学習ライブラリ Chainerの紹介
• ChainerでCIFAR-10の分類を行ってみる
• ChainerでAutoencoderを試して結果を可視化してみる
• 機械学習初心者が1からChainerのコードを書き始められるまでに必要だったことをまとめた

TensorFlow

• TensorFlow - Google
• TensorFlow - Google’s latest machine learning system, open sourced for everyone

その他ライブラリ

• Deeplearning4j - Javaライブラリ
• H2O
• Torch7 - Facebook

MOOC・動画

• Machine Learning - Ngさんによる機械学習講義、日本語字幕あり。Deep Learningは扱っていませんが、ロジスティック回帰やニューラルネットの技術を実践的に学べるためおすすめ。
• Neural Networks for Machine Learning - Hintonさんによるニューラルネット講義
• The Next Generation of Neural Networks - Google Talksでの講演
• Recent Developments in Deep Learning - Google Talksでの講演
• Introduction to Deep Learning with Python
• Deep Learning & Neural Networks short course
• Unsupervised Feature Learning and Deep Learning
• DeepLearning.TV
• Deep Learning Summer School 2015 - 最近はこれ見てる

書籍

• 人工知能は人間を超えるか (角川ＥＰＵＢ選書) - なぜDeep Learningがこんなに騒がれているのか知りたい人向け。
• [asin:B00OH3ZU7Y:title]
• ＡＩの衝撃　人工知能は人類の敵か (講談社現代新書)
• オンライン機械学習 (機械学習プロフェッショナルシリーズ) - 勾配法の説明が参考になる。
• 深層学習 (機械学習プロフェッショナルシリーズ) - 要点が簡潔にまとまっていてよかった。
• フリーソフトではじめる機械学習入門
• ディープラーニング、ビッグデータ、機械学習　　あるいはその心理学
• Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series) - 最後の章にDeep Learningの説明あり。
• Deep Learning: A Practitioner's Approach
• Fundamentals of Deep Learning: Designing Next-generation Machine Intelligence Algorithms
• Learning Deep Architectures for AI (Foundations and Trends(r) in Machine Learning) - この論文と同じタイトルだが構成が違うみたい
• Deep Learning: Methods and Applications (Foundations and Trends in Signal Processing)
• コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) - “ディープラーニングの解説が秀逸"とのこと
• WEB+DB PRESS Vol.89 - Chainerによる深層学習の特集記事
• 深層学習 Deep Learning (監修:人工知能学会) - 人工知能学会の特集記事をまとめた書籍
• ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装