本記事は、2019年インターンシップで勤務した 阿部健信 さんによる寄稿です。 こんにちは。2019年夏季インターンに参加した東京大学の阿部健信です。「Chainer Chemistryの大規模グラフのタスクへの拡張」というテーマで取り組んだ内容を説明させていただきます。インターン内容のスライドはこちらにアップロードされています。 TLDR; Chainer Chemistryで大規模グラフのデータを扱えるようにしました。 convolution演算を\( O(V^2) \)から\( O(E) \)にしました。 メモリ使用量も抑えて、PyTorch Geometricでは動かないRedditデータセット(23万頂点, 1100万辺)を16GBのsingle GPU上で学習できるようにしました。 はじめに 入力としてグラフを受け取ることのできる、Graph Neural Network(GN

Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ

Amazon Web Services ブログ Amazon SageMaker で Optuna を用いたハイパーパラメータ最適化を実装する Amazon SageMaker はお客様の機械学習のワークロードにおいて様々な選択肢を提供します。深層学習フレームワークの選択肢として2018年の AWS Summit Tokyo で発表された Chainer 対応はその一つです。Chainer は 株式会社Preferred Networks により開発された深層学習フレームワークで、計算時に動的にグラフを生成する define-by-run の考え方 (imperative な実行とも呼ばれます) を世界に先駆けて取り入れました。株式会社Preferred Networks はこの Chainer とは独立に、同じく define-by-run の思想に基づいたハイパーパラメータの最適化 (

自分への備忘録的な意味も込めて最近まとめたので、私が実践しているChainer/ChainerMNのプロファイルの取り方とプロファイル結果の見方を紹介します。 この記事で使うプロファイラは、Chainerのプロファイルを取る際まず取るべきと思われるcProfileとnvprofの二つです。 環境 Python: 3.6 Chainer: 5.2 CuPy: 5.2 CUDA: 9.0 MPI:　OpenMPI 1.10.7 参考コード この記事ではChainerMNのmnistのサンプルをベースに改造したコードで説明を行っています。 mnistのオリジナルのコードはこちら。 https://github.com/chainer/chainer/blob/v5/examples/chainermn/mnist/train_mnist.py 改良後のコードはここに上げてあります。 https:

Chainer Advent Calendar 2017の17日目です。 はじめに 枠に空きができたので、最近の実装して見た論文の簡単な解説と結果を紹介します。今日も今日とて、人の褌で相撲を取っていこうと思います。 今日紹介する論文は「Deep Image Prior」というものです。画像処理の基本タスクとして、ノイズ除去・超解像・インペインティングなど、色々な手法が研究されていますが、Deep Image Priorは、これらのタスクに汎用的に使える中々便利なテクニックです。 以下の図が著者の論文で扱われているタスク群です。色々使えてすごいですね。 ということで、本日はこれを実装していきましょう。 前提知識 上記に挙げた画像処理群は、基本的には以下の式を最小化することで行われます。 $x_0$は元の画像であり、例えばノイズなどを含む画像、$x$は生成画像とします。$E$は元の画像と処理後

Python以外も使いたくないですか？  特にDeepLearning界隈で． Menoh開発者の岡田です．この記事ではMenohの紹介と開発に至った動機について説明します． Menohのレポジトリ： https://github.com/pfnet-research/menoh Menoh（メノウ）は学習済みのDNNモデルをONNX形式から読み込んで動作させる推論専用のライブラリです．実装はC++で書きましたが，C言語のインターフェースを持たせて，他の言語用からもその機能を呼び出しやすくしてあります．リリース時点でC++版ラッパーとC#版ラッパー，Haskell版ラッパーがあり，Ruby版ラッパーとNodeJS版ラッパー，Java（JVM）版ラッパーが開発中です．バックエンドにはIntelの開発しているMKL-DNNを採用し，GPUが無くてもIntel CPUが使える環境で高速にモデルの

* English blog is also written here. Chainer [1]を使った、化学、生物学分野のための深層学習ライブラリ Chainer Chemistry を公開しました。 Github page: https://github.com/pfnet-research/chainer-chemistry Documentation: https://chainer-chemistry.readthedocs.io 本ライブラリにより、分子構造に対して簡単に深層学習（Deep learning）を適用することができるようになります。 例えば、化合物の分子構造を入力とした毒性の予測や、HOMO(最高被占軌道)レベルの回帰予測など、様々な化学的性質の予測に深層学習を適用することができます。 なお本ライブラリの開発にあたっては、PFN2017夏インターンシップに参加した

Chainer Advent Calendar 2017の7日目です。 はじめに みなさん、Deep Learningしてますか？正直Deep Learningって疲れますよね。パラメータチューニングの毎日、下がらないLoss、過学習するモデル、スタープラチナに殴られたようなGANで生成された大量の顔。 そんな鬱憤を晴らすべく、今日はChainerでDeep Learningをしない、という記事を書きます。 Computer Visionの多くの問題は、何らかの最小化問題として定式化されます。最小化する際は、殆どの場合は式を立て、微分し、最適なパラメータを求めます。そこには大きな問題があります。 微分めんどい 微分が複雑・・・式が複雑だと計算間違える・・・手法を変更するたびに微分しなくてはいけない。そんな問題を解決する凄いライブラリがあるのです。そう、Chainerです。Chainerでは

Chainerを使った深層強化学習ライブラリChainerRLを公開しました． https://github.com/pfnet/chainerrl PFNエンジニアの藤田です．社内でChainerを使って実装していた深層強化学習アルゴリズムを”ChainerRL”というライブラリとしてまとめて公開しました．RLはReinforcement Learning（強化学習）の略です．以下のような最近の深層強化学習アルゴリズムを共通のインタフェースで使えるよう実装してまとめています． Deep Q-Network (Mnih et al., 2015) Double DQN (Hasselt et al., 2016) Normalized Advantage Function (Gu et al., 2016) (Persistent) Advantage Learning (Bellemar

Preferred Networks（PFN）が開発するディープラーニング（深層学習）フレームワーク「Chainer」が間もなく、分散処理に対応することで大幅に高速化する。PFNの西川徹社長が2017年1月26日（米国時間）に米サンフランシスコで開催された「Deep Learning Summit 2017」で明らかにした（写真1）。 現在のChainerは、マルチノード（複数サーバー）での学習に対応にしておらず、1台のノード上で複数のGPU（Graphics Processing Unit）を使用する場合も、どのGPUで何の処理を実行するのかをプログラマーが記述する必要があった。PFNはマルチノードでの学習に対応した分散バージョンのChainerを開発中で、社内ではテストも始めている。この分散バージョンのChainerでは設定を変更するだけで、マルチノード環境やマルチGPU環境に対応する

概要 この記事では、Neural NetworkフレームワークであるChainerの最も特徴的なコンセプトである"Define-by-Run"を理解するために、手書き数字の分類を行うためのネットワークの記述・学習に必要な最低限の機能だけを持ったライブラリ"1f-chainer"をNumPyのみを使って実装してみます。数式が登場するような説明は全てAppendixに追いやり、本文中ではできるだけコードと文章だけで説明を行うように気をつけて書きました。 本記事で用いた全てのコードは以下に置いてあります：1f-chainer。書き始めると色々なことを追記したくなり間に合わなかったので、今週いっぱいを目処に順次更新していきます。 また、この記事の全ての内容は私個人の見解と理解に基づくものであり、所属する組織とは関係ありません。 想定読者 この記事は、Backpropagationを使ったNeura

こんにちは．@yos1up と申します．好きな食べ物は，緑色のキノコです． 2016/10/12に DeepMind が Nature に投稿した論文，Hybrid computing using a neural network with dynamic external memory にて提案されているニューラルネットワークモデル DNC (Differentiable Neural Computers) を，大急ぎで Chainer で実装してみました． DNC について DNC は，先述の論文で提案された新しいニューラルネットワークで，その情報処理能力の高さが期待されています．論文中では，グラフ上の最短経路タスクやちょっとしたパズルのタスクなど，従来ニューラルネットワークでは学習不可能と思われていたタスクが DNC で学習できており，その情報処理能力の高さがうかがい知れます． DN

PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です（キーワード：Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio）Read less

「いつか勉強しよう」と人工知能／機械学習／ディープラーニング（Deep Learning）といったトピックの記事の見つけてはアーカイブしてきたものの、結局2015年は何一つやらずに終わってしまったので、とにかく一歩でも足を踏み出すべく、本質的な理解等はさておき、とにかく試してみるということをやってみました。 試したのは、TensorFlow、Chainer、Caffe といった機械学習およびディープラーニングの代表的なライブラリ／フレームワーク3種と、2015年に話題になったディープラーニングを利用したアプリケーション2種（DeepDream、chainer-gogh）。 （DeepDreamで試した結果画像） タイトルに半日と書きましたが、たとえばTensorFlowは環境構築だけなら10分もあれば終わるでしょうし、Chainerなんてコマンド一発なので5秒くらいです。Caffeは僕はハ

Deep Neural Networkを使って画像を好きな画風に変換できるプログラムをChainerで実装し、公開しました。 https://github.com/mattya/chainer-gogh こんにちは、PFNリサーチャーの松元です。ブログの1行目はbotに持って行かれやすいので、3行目で挨拶してみました。 今回実装したのは”A Neural Algorithm of Artistic Style”(元論文)というアルゴリズムです。生成される画像の美しさと、画像認識のタスクで予め訓練したニューラルネットをそのまま流用できるというお手軽さから、世界中で話題になっています。このアルゴリズムの仕組みなどを説明したいと思います。 概要 2枚の画像を入力します。片方を「コンテンツ画像」、もう片方を「スタイル画像」としましょう。 このプログラムは、コンテンツ画像に書かれた物体の配置をそのま

#はじめに そもそもDQNが作りたかったわけじゃなくて、他の目的でChainerを使いたかったのでその練習にDQNを書いたんですが、せっかくだし公開しようと思いました 公開しました 。またどうせ公開するなら、この機会にこれ（Q学習+関数近似）関連で持っている知識をついでに整理しようと思ってまとめました。 ニュース記事とかNatureとかNIPSの論文だけ読むと、DQN作ったDeepmind/Googleすげー！！！って感覚になりそうですが、強化学習的な歴史的経緯を考えると強化学習+深層学習になった、むしろかなり当然の成り行きで生まれた技術であることがわかります。（ATARIのゲームを人間以上のパフォーマンスでプレイするというのがビジュアル的にわかりやすかった$\leftrightarrow$問題設定が良かったというのもあります。） この記事ではNIPSとNatureの以下の２本の論文 ・

前回の記事ではchainerのインストールからサンプルコードを使って画像識別問題を解くところまでやりました。 hi-king.hatenablog.com 今回の記事では回帰・分類問題用のシンプルなニューラルネットの作り方をやろうと思います。andとxorの論理式を学習させます。chainerでの実装の学習と、あとニューラルネットの教育目的に使いやすいなーと思ったので。2層のニューラルネットまで段階をふんで解説してるんですが、プログラム読むほうが得意、って方は一番最後のコードを先に読んだほうがわかりやすいかもしれません。 追記(7/13)型チェック chainer1.1.0から型チェックが入ったので(https://github.com/pfnet/chainer/pull/95)、識別にはfloat32を入力してint32を出力、回帰にはfloat32を入力してfloat32を出力、とい