Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ

2. 自己紹介 金田 卓士 @kndt84 データサイエンティスト • 2009年に大学院を修了 専攻は計量経済学 • 一休.com、ソフトバンク・テクノロジーを 経て現職 • 趣味では、VRミニ四駆という作品を作って、 Maker Faire に出展したりしてます！ 4. 1ABOUT iQON ! 60,000 ! ! 500 600 ! 10,000 4.3 4.5 ( :7,009 ) ( :7,009 ) iQON No.1 ! ! LIKE No.1 No.1 No.1 No.1 No.1 No.1 200 ! 600 1/3

（*1）SIMD（single instruction multiple data）演算とは、1命令で複数データの演算を行うコンピュータの並列化の形態のことをいいます（パック演算 / パックド演算・ベクトル演算とも表現します）。 （*2）命令によって使用できないデータ型がありますので注意ください。 Armレジスタを使用した演算処理例Armレジスタの演算は、1命令で1演算処理を行います。 【Armレジスタを使用した演算例】 NEONレジスタを使用した演算処理例NEONレジスタの演算処理は、指定したデータサイズにて1命令で複数の演算処理を行います。演算処理は、指定したデータサイズごとに行われます。64ビット幅のレジスタを選択し、16ビット幅の演算を行う場合、0から15ビット、16から31ビット、32から47ビット、48から63ビットの各々で演算を行い、この単位をレーンと呼びます。 【NEONレ

皆さんこんにちは お元気ですか。私は人生元気に仲良くフリーダムに生きています。 本日はDenoisingAutoEncoder（DAE）を使って実験してみたいと思います。 DeepLearningの重みは可視化できます。他のブログで掲載されている 可視化について殆ど、MNISTだったので、今回試しに、 アニメ顔の特徴を抽出してみました。 データセット 今回の実験ではanimeface-character-datasetを使います。 Tile化して表示させるのが面倒だったので、Finderのスクリーンショットで お許し下さい。 ※7/13追記：animeface-character-datasetはanimeface-character-datasetから手に入ります。 ソースコード Chainerを使って記載しました。大部分のDAEのコードは Implementation of stack

DQN？ キャッチーな名前ですが"ドキュン"ではありません(笑)。 "Deep Q Network"の略です。 深層学習 (Deep Learning) と 強化学習の一種である Q Learning を組み合わせたもので、 Google に買収された DeepMind の研究者らによって発案されました。 強化学習というと何らかのゲームに使うことが多い訳ですが、DQNの場合はAtari2600というゲーム機用のアーケードゲームでその性能を試しています。 そして数多くのゲームで人間よりも高いスコアをたたき出しています。 実際にDQNがゲームをプレイしている動画がこちらです。( muupanさんという方の動画 ) Deep Q-Network Plays Atari 2600 Pong - YouTube つい最近も Google が人工知能「DQN」を開発した、として話題になりましたね。 D

概要 深層学習フレームワークCaffeを使って，Deep Q-Networkという深層強化学習アルゴリズムをC++で実装して，Atari 2600のゲームをプレイさせてみました． Deep Q-Network Deep Q-Network（以下DQN）は，2013年のNIPSのDeep Learning Workshopの"Playing Atari with Deep Reinforcement Learning"という論文で提案されたアルゴリズムで，行動価値関数Q(s,a)を深層ニューラルネットワークにより近似するという，近年の深層学習の研究成果を強化学習に活かしたものです．Atari 2600のゲームに適用され，既存手法を圧倒するとともに一部のゲームでは人間のエキスパートを上回るスコアを達成しています．論文の著者らは今年Googleに買収されたDeepMindの研究者です． NIPS

ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深

皆さんこんにちは お元気ですか。私は元気です。 前回はChainerの紹介をしました。nonbiri-tereka.hatenablog.com 本日はこのChainerを使って、CIFAR-10の分類を行ってみようと思います。 アーキテクチャとして利用するのはConvolutional Neural Networkを利用します。 What is CIFAR-10 CIFAR-10 and CIFAR-100 datasetsにあるデータセットです。32x32pixelのカラー画像を10のクラスに分類する問題が含まれています。 画像の大きさはTraining画像が50000枚、Test画像が10000枚です。 研究とかのベンチマークでお世話になっている人も多いと思いますが・・・ 以下の図は本家に掲載されているサンプル画像です。 データセットの読み込み CIFAR-10ではPythonでの読

前回の記事ではchainerのインストールからサンプルコードを使って画像識別問題を解くところまでやりました。 hi-king.hatenablog.com 今回の記事では回帰・分類問題用のシンプルなニューラルネットの作り方をやろうと思います。andとxorの論理式を学習させます。chainerでの実装の学習と、あとニューラルネットの教育目的に使いやすいなーと思ったので。2層のニューラルネットまで段階をふんで解説してるんですが、プログラム読むほうが得意、って方は一番最後のコードを先に読んだほうがわかりやすいかもしれません。 追記(7/13)型チェック chainer1.1.0から型チェックが入ったので(https://github.com/pfnet/chainer/pull/95)、識別にはfloat32を入力してint32を出力、回帰にはfloat32を入力してfloat32を出力、とい

コンテナ管理ツールDockerを使うと、gitのような差分バージョン管理のもとでLXCのようなLinuxコンテナを扱うことができる（実際にはLXCではなくlibcontainerが使われる）。 ここではDockerを使い、UbuntuとCentOSのコンテナを作ってみる。 環境 Ubuntu 14.04.1 LTS 64bit版 $ uname -a Linux vm-ubuntu64 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 14.04.1 LTS Release: 1

#注意 この内容は古いです。 docker for macを使ったほうが楽です！　（2017/01追記) #概要 Mac上でDockerを試します。 Docker初めて触るので誤ってるところあれば指摘いただけると幸いです。 Macはほぼつかってないまっさらな状態での構築を前提で記載してます。 インストールからOSを立ち上げてコンテナ起動+Apache起動させて動作確認を やったところまでのメモになります。 概念などは関連URLなどみてみてください。 #必要な物 Virtualbox Xcode Docker Homebrew #環境 MacBook Pro Retina, 15-inch, Late 2013 #手順 ###1 XCodeとHomebrewをインストール Homebrew(macのパッケージ管理ツール)いれるためにXCodeが必要です。 参考にしたページ。 手順どおりインス

今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス #1. インストール# まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.

こんにちは、得居です。最近は毎晩イカになって戦場を駆けまわっています。 本日、Deep Learning の新しいフレームワークである Chainer を公開しました。 Chainer 公式サイト GitHub – pfnet/chainer Chainer Documentation Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持っています。 Python のライブラリとして提供（要 Python 2.7+） あらゆるニューラルネットの構造に柔軟に対応 動的な計算グラフ構築による直感的なコード GPU をサポートし、複数 GPU をつかった学習も直感的に記述可能 ニューラルネットをどのように書けるか 次のコードは多層パーセプトロンの勾配を計算する例です。 from chainer import FunctionSet, Vari