The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.

初めに サイボウズ・ラボの光成です。 DNN（deep neural network : 深層学習）といえばGPUや専用プロセッサを使うのが主流です。 しかしIntelはCPUで高速にDNNをするためのライブラリ MKL-DNN を提供しています。 MKL-DNNはIntelの最新CPUに対応したオープンソースソフトウェアなのでコードを見ると勉強になります。 ここではMKL-DNNで使われているテクニックをいくつか紹介します。 概要 MKL-DNNの紹介 Xbyakの紹介 呼び出し規約 圧縮displacement ReLU exp 内積 vpdpbusd キャッシュコントロール 想定読者 C++11とx64 CPUのアセンブリ言語の知識をある程度仮定します。 機械学習についてはその知識がなくても最適化手法が理解できるよう、最小限の説明をします。 MKL-DNNの特長 まずMKL-DNNの

ゼロから作るディープラーニングという本が昔はやったが、それをYoutubeで解説している神動画を見つけたので紹介。スライドとコードで両方解説しているようだ。 Deep Learning 第1回:まずは環境構築だ！Pythonの実行環境と各種ライブラリの説明をしている。ただ、これは以前紹介したGoogle Colaboratoryで用意できそう。 この動画で学ぶこと ・環境構築の方法 ・numpyの基礎 Deep Learning 第2回:パーセプトロンを実装しよう以下の内容を学ぶ。 パーセプトロン ニューロンモデル AND回路 OR回路 XAND回路 XOR回路

2018/4/13　塩尻SIPさんにてadamrockerさんをお招きし開催したRecap of TensorFlow Devsummit 2018 in 信州のまとめになります

(注：2017/04/08、いただいたフィードバックを元に翻訳を修正いたしました。 @liaoyuanw ) この記事は、私の著書 『Deep Learning with Python（Pythonを使ったディープラーニング）』 （Manning Publications刊)の第9章2部を編集したものです。現状のディープラーニングの限界とその将来に関する2つのシリーズ記事の一部です。 既にディープラーニングに深く親しんでいる人を対象にしています（例：著書の1章から8章を読んだ人）。読者に相当の予備知識があるものと想定して書かれたものです。 ディープラーニング：　幾何学的観察 ディープラーニングに関して何より驚かされるのは、そのシンプルさです。10年前は、機械認識の問題において、勾配降下法で訓練したシンプルなパラメトリックモデルを使い、これほど見事な結果に到達するなど誰も想像しませんでした。

TL;DR Deep Learning with Python を読んだ よく書かれている本で、特に初学者〜中級者が Keras を使ってモデル構築ができるようになるには最適 扱っているトピック自体は他の本と比べてそこまで変わっていないが、一つ一つの質は高い 個人的には Keras の実装の話などをもっとして欲しかった Keras 作者の Chollet 氏が書いた deep learning 本ということで、どんな内容なんだろうと思って読んでみた。 結論から言うととてもよく書けている本で、対象読者は Keras を使って deep learning を始めたい（始めてみた）という人かと思う。 どんな経緯で出した本かとかそういうのは全然知らないが、deep learning が使えるようになるための getting started となる決定版を書いたぞ、という印象を受けた。 自分としては

コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作るDeep Learning』の続編の公開レビューを行います。 レビュー期間は2月28日（水）から4月13日（金）までの1ヶ月半です。 レビューはDropboxのコメント機能を利用して行います。 Dropboxアカウントをお持ちの方はどなたでも参加可能です。 https://www.dropbox.com/sh/ev6a40fbagw2qtz/AABF2zxkvo12H7-b25eYxsBKa?dl=0 いただいた指摘内容は、著者と出版社で相談のうえ取捨選択して原稿へ反映させていただきます。 レビューに貢献していただいた方のお名前（あるいはアカウント名）を、本書の「謝辞」の欄に記載させていただきます。もちろん、記載の有無はレビューアの意思に従います。 なお『ゼロから作るDeep Learning ❷』は、全国の有名書店さんやA

TJO @TJO_datasci arXivの原論文読んだ時は数式がさっぱり分からなくて目から赤い塩水流してたけど、この slideshareだとかなりの部分が分かって本当に面白かった。こういうDeepの理論的研究が読みたかったんだと実感した。有難うございます / 深層学習による非滑らかな関数の推定 slideshare.net/masaakiimaizum… 2018-02-15 21:18:27 TJO @TJO_datasci そしてこれを読んでようやく「従来手法ではまるで精度が出ないがDeepだと何故かかなりの精度が出るデータセット」がどんなものである可能性があるかのヒントが得られた気がする。弊社のCloudブログでも紹介されている事例がまさにそれなんだけど、もしかしたら非滑らかな要素があったのかもしれない 2018-02-15 21:23:51

Voltaで新たに追加されたTensorコア V100で新設されたTensorコアであるが、4行4列の行列AとBを掛け、それを行列Cに足しこむという演算を行う。行列AとBはFP16形式、行列Cと演算結果の行列DはFP16あるいはFP32形式である。 V100 GPUのSMは、Tensorコアの追加によりディープラーニング性能を大幅に引き上げ、SIMTモデルの改良などプログラムの生産性を向上させるため、命令セットを一新した ディープラーニングの計算では、A、Bの積をFP16で計算しても、結果を累積するCの計算をFP32で行えば、必要な精度は確保できるということから、Tensorコアは乗算はFP16、加算はFP32という混合精度の演算を行っている。 Tensorコアは、全体で128演算を必要とするこの計算を1サイクルで実行できる。このため、V100 GPUは、非常に高いディープラーニング性能を

こんにちは。次世代システム研究室のJK (男)です。 突然ですが書籍の「ゼロから作るDeep Learning」読みましたか？基礎からクリアに説明されていて、個人的にはとても面白かったです。これまでLSTM, 強化学習の記事を書いてきましたが、今回はこの本にならってDeep Learningの基礎の「ちょい深」理解を目指し、Deep Learningの可視化に焦点をあてたいと思います。 ちなみに今回の内容のcodeは、ここに上げておきました。 0. 可視化のモチベーション 最近のDeep Learningのフレームワークは充実していて、簡単に動かせるようになりましたね。でも動かせたけど理解した気がしない、って人も多いのではないでしょうか？その理由の一つが、Deep Learningがブラックボックス化していることだと思います。簡単に動かせることの副作用だと思いますが、インプットデータと教師

(Photo by Pixabay) これはただの年末ポエムです。何ひとつとして高度に技術的な話もなければ、ためになる話もありませんので予めご了承ください。 時が流れるのは早いもので、僕がインダストリーにおけるデータ分析の仕事を手がけるようになってから5年目の今年もほどなく終わろうとしています。上記の記事ではその間にあった様々な出来事を振り返りましたが、今回は現在の仕事のやり方について最近感じていることを徒然なるままに書き散らしてみようかと思います。 想像を超えて遥かに進んでいく「最先端」 今の業界*1で最先端と言えば一般にはDeep Learningとか〇〇Netのことを指すことが多いですし、以前「今の状況は『俺が考えた最強のネットワーク選手権』だ」と言った通りの有様だと個人的には認識しています*2。 その意味では今年も最先端の研究開発の進化のスピードはとどまることを知らないという印象で

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります． はじめに 畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は

この記事はドワンゴアドベントカレンダー26日目(延長戦!)の記事です。 私は、Dwango Media Villageで研究を行なっている古澤です。Dwango Media Villageは、ドワンゴの機械学習系の研究とその応用を行なっているチームです。 今回紹介するのは白黒漫画にDeep Learningで着色する研究です。さらに、応用としてプロジェクタを用いて実世界のイラストにも着色結果を投影できるようにしました。 出来ること一覧 本記事では、以下の2つの事柄がどのようなテクニックを元に可能になったかのおはなしを書いていきます。 Deep Learningで白黒漫画１タイトル＋参照画像を入力とした白黒漫画の自動着色 Deep Learning+Jetsonで実世界に描かれたイラストの色塗り(自動着色結果のプロジェクション) 動画あり! Comicolorization 最近、タイのバン

DeepMindからAlphaGo Zeroと同じ方法で、チェスと将棋でトップレベルを上回ったという論文が発表されました。 [1712.01815] Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm ドメイン知識を用いないスクラッチから強化学習のみで達成しています。 将棋やチェスはモンテカルロ木探索(MCTS)は向かず、Mini-Max探索の方が良いというのが常識のようになっていましたが、将棋やチェスでもディープラーニングと組み合わせることでMCTSが有効であることが示されたというのも大きな成果だと思います。 まだ全部読み切れていませんが、気になる個所から読んだ内容を書いていきます。 個人的に一番気になるのは、入力特徴と出力ラベルの表現方法です。 チェスについても書か

Example results on several image restoration problems. We use deep neural networks, but we never train/pretrain them using datasets. We use them as a structured image prior. Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example ima

私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。 この5年を振り返る良いタイミングだと思うので考えてみたいと思います。 1. Deep Learning Tsunami 多くの分野がこの5年間でDeep Learningの大きな影響を受け、分野特化の手法がDeep Learningベースの手法に置き換わることになりました。NLP（自然言語処理）の重鎮であるChris Manning教授もNLPで起きた現象を「Deep Learning Tsunami」[link] とよびその衝撃の大きさを表して

Neural Network Console Not just train and evaluate. You can design neural networks with fast and intuitive GUI. Not just train and evaluate. You can design neural networks with fast and intuitive GUI.

7月20日、Intel (Movidius) がUSB接続タイプのスティック型ディープニューラルネットワーク処理用アクセラレータ「Movidius Neural Compute Stick」を発表しました。 Intelが激安1万円以下のUSB型Deep Learning用端末「Movidius Neural Compute Stick」を発売 : Gigazine Intel Democratizes Deep Learning Application Development with Launch of Movidius Neural Compute Stick | Intel Newsroom プロダクトページ NCSは、Deep Learningに特化した専用チップ「Myriad 2」が搭載された、外付けの演算装置です。USBポートに挿すだけでDeep Learningの推論処理を実