これは何? 5月11日発刊の 図解速習DEEP LEARNINGの書籍中で参照しているリソースをサポートページ用にまとめたものです。 (実行できる.ipynbノートブックへのリンクなど、書籍自体のサポートページは https://github.com/tomo-makes/dl-in-a-sec です) もともとは本を読みながら各リンクを眺めてもらうため、飛びやすくしようとリンクを整理しましたが、本が手元にない方にも役立つのではと思い、Qiitaで公開することにしました。 凡例 YouTubeなどのビデオ 論文、サーベイ資料 プレゼンスライド 書籍 GitHubリポジトリ ニュース メールニュース リンクは本の章立てに沿って並んでいます さて、学会、勉強会、発表会などの1年にあるように、ゴールデンウィーク明けからイベントラッシュ。様々な発表が期待されます 5/6-9 ICLR 2019 5

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Perfumeが紅白歌合戦でディープラーニングについて言及して話題になりましたが、それに関連する技術がGoogleのブログで公開されていたので再現してみました1。本来はColud Vision APIを使ったとのことですが、精度や速度を犠牲にすれば、普通のPCかつ1人でも実装できてしまいます。その方法を書いていきます。 訂正：Googleが使ったではなく、正しくはライゾマティクスに使っていただいただとのことです。失礼いたしました2。タイトルも訂正いたしました。 元ネタ こちらのブログに詳しく書かれています。 Perfume とライゾマテ

研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近は、社内の業務サポートを目的として、レシピを機械学習モデルで分類して Redshift に書き込む日次バッチを開発・デプロイしたりしてました。 ここ数ヶ月で読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Focal Loss for Dense Object Detection Exponential expressivity in deep neural networks through transient chaos 本記事では、BERT というモデルをクックパッドのレ

畳み込みニューラルネットワークに関するサーベイ論文が電子情報通信学会論文誌に採録されました。 本サーベイは、中部大学山下准教授と共同で実施いたしました。こちらから早期公開版をご覧いただけます。また、ベースとなった研究会の発表資料も公開しておりますので、合わせてご参照ください。 DeNAは、本分野発展のための情報発信に引き続き取り組んでまいります。 タイトル 物体認識のための畳み込みニューラルネットワークの研究動向 あらまし 2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降、画像認識において畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった。ILSVRCでは毎年のように新たなCNNのモデルが提案され、一貫して認識精度の向上に寄与してきた。CNNは画像分類だけではなく、セグメンテーションや物体検出など様々なタスクを解くための

こんにちは。データサイエンスチームのtmtkです。 この記事では、最近公開されたBERTの学習済みモデルを試してみます。 はじめに 今年10月末に、BERTという自然言語処理のモデルが発表されました。事前に学習したモデルをファインチューニングする仕組みで、自然言語処理の各種タスクで最高のスコアを更新したため、話題になりました。 このBERTのソースコードと事前学習済みのモデルが、先月末にGitHubで公開されました。 この記事では、このBERTの事前学習済みモデルをつかって、英語の文が「Alice’s Adventures in Wonderland（不思議の国のアリス）」と「Pride and Prejudice（高慢と偏見）」の二つのうちどちらの作品の文かを判定する機械学習モデルを作ってみます。 実験 いつものように、AWSのEC2で実験をします。AMIとしてDeep Learning

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実

ディープラーニングは習うより慣れろかも ファッションでディープラーニングをしているディープラーニング芸人からあげです。私は、特に専門家でも何でもないのですが、機械学習に興味もって、ディープラーニングに関することブログでアウトプットしているうちに「AIに関する本に名前がクレジットされたり」「AI解析のオンラインコンテスト#Aidemynoteで特別賞受賞したり」「ラズパイマガジンという商業誌にAI関係で記事を書いたり」「ディープラーニングおじさんの記事がバズったあげくITmediaで取り上げられたり」と多少なりとも価値を提供できるようになってきました。 何の知識もバックグラウンドも、大した能力も無い自分が、どうやって知識を身につけることができたかというと、色々本も読んだのですが、実際に手を動かしてプログラムを組んで、実問題に対して試行錯誤した結果をブログにアウトプットし続けたことが大きいのか

Welcome. I am a mathematician and a physicist, and the chief scientist and a cofounder of Nutrino. I work in a number of scientific areas, primarily on deep learning and AI, general relativity, integrable systems, partial differential equations, and the foundations of quantum theory. I am particularly fascinated by the problem of radiation reaction. I love applications of mathematics to everyday l

ver1版がだいぶ古くなっていたので書き直しました。 とりあえずマニュアルを隅から隅まで読みましょう 見落としがちですが、メニューの下の方にも結構色々重要(?)なものがあります。 コールバック EarlyStopping、各エポックでのモデル保存、学習率の調整、、etc Applications 事前学習済みのモデル 可視化 モデルを画像化してくれるやつ などなど。 読むと楽しいソース Examples だいぶ色々入ってます。VAEとかHRNNとかBidirectional LSTMとか。 事前学習済みのモデル(の実装) 新しいのも結構ぽろぽろ追加されてます。v2.2.0でMobileNetV2とか。 細かいノウハウ(?)やコピペ用コード片など importの仕方 Keras 2.0以上なら(?)、

2019/5/11 PR: こちらの内容を含め、2019年5月11日発刊の 図解速習DEEP LEARNINGという本ができました。[2019年5月版] 機械学習・深層学習を学び、トレンドを追うためのリンク150選 - Qiitaでも、一部内容をご覧いただけます 2019/3/9 Colaboratoryに関する情報交換Slackを試験的に立ち上げました。リンクより、登録・ご参加ください。 2019/3/3 TensorBoardに公式対応しました。また、ランタイムのRAM/ディスク空き容量が一目で確認できるようになりました。後ほど記事に追記します。 はじめに Colaboratoryは、無料で使うことができ、ほとんどの主要ブラウザで動作する、設定不要のJupyterノートブック環境です。Googleが、機械学習の教育、研究用に使われることを目的に、無償提供しています。ざっくりというなら、

こんにちは、絶賛プログラミング勉強中のtomoです。 Aidemyで画像認識について勉強し始めて１ヶ月が経ったので、学習成果として投稿します。 #はじめに 突然ですが、皆さん「緑茶の中でも選ばれてしまう緑茶は何か」と問われたら何と答えますか？ おそらく50％以上の人は「綾鷹」と答えるかと思います。 この記事では、そんな綾鷹を画像認識によって人々に選ばせるAIを作成します。 #Aidemyで学習した内容 「ディープラーニングで画像認識モデルを作ってみよう！」ルートで8つのコースを学びました。 特に「CNNを用いた画像認識」コースにおいて学んだ技術を複数使用しています。 （後述する目次の「⑵モデルを構築/学習する」の仕組みを学べます。） #目次 ・実装概要 ・AIの作成 ⑴Iphoneで撮った写真を学習/検証データにする ⑵モデルを構築/学習する ①シンプルにモデルを構築する ②データを拡張す

最近は、深層学習の技術の発展によって、自然言語処理界隈でも深層学習を利用する例で賑わってきている印象です。 今回は上記書籍にも紹介されている、Attention Model + Sequence to Sequence Modelを使った対話モデルをChainerで実装してみました。 系列変換モデル（Sequence to Sequence Model） 自然言語処理の典型的の応用タスクとしては、機械翻訳、文章要約、対話、質問応答、文章分類などがあります。 これらのうち、文章から文章への変換とみなせるタスクを考えてみると、 機械翻訳 = 「翻訳元の言語の文章」から「翻訳先の言語の文章」への変換 対話 = 「相手の発言の文章」から「自分の発言の文章」への変換 質問応答 = 「質問の文章」から「応答の文章」への変換 とみなすことができます。 以上から、これらのタスクは系列から系列への変換を行う

pytorch自分で学ぼうとしたけど色々躓いたのでまとめました。具体的にはpytorch tutorialの一部をGW中に翻訳・若干改良しました。この通りになめて行けば短時間で基本的なことはできるようになると思います。躓いた人、自分で書きながら勉強したい人向けに各章末にまとめのコードのリンクがあるのでよしなにご活用ください。 pytorchの特徴 chainerに近い構文構造 defined by run： コードを走らせた際に順伝播に合わせて逆伝播のグラフが作成される 比較的自由に書いても怒られない(主観) 動的に構造が変化するネットワークを書きやすい バッチ処理前提(DataLoaderの概念) 実行速度が早い (cf deepPoseのpytorch実装) importモジュール群 import torch #基本モジュール from torch.autograd import Va

This repository contains the lecture slides and course description for the Deep Natural Language Processing course offered in Hilary Term 2017 at the University of Oxford. This is an advanced course on natural language processing. Automatically processing natural language inputs and producing language outputs is a key component of Artificial General Intelligence. The ambiguities and noise inherent

交差エントロピー誤差(P89)等、完全に数式の背景を理解できない部分もあったがなんとかニューラルネットの勾配(4.2.2 P109)まで読み進めた。で、、Pythonの実装で全く理解できない箇所に出くわした。それは、、P111の以下の実装 def f(W): return net.loss(x,t) dW = numerical_gradient(f, net.W)まず分からないのは、、def f(W)で、引数Wの関数fを定義するのだけど、関数内では変数xとtを使っている(tは教師データで、xは認識対象の入力データ)。普通に実行すると、xとtは不定エラーになるのでは？と思った。この実装の意図は、関数fが実行する時点で関数f外ですでに定義されていることを前提にしており、グローバル変数のx（入力データ）とt（教師データ）を関数の外部に対して参照するというものであった。 この実装だと、関数の実行

岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html]  優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR

2012/10/20に開催された名古屋CV・PRML勉強会で発表してきました。 勉強会の様子はこちら。 というわけで、資料を上げておきます。元になった論文はこちらです。 Building High-level Features Using Large Scale Unsupervised Learning from Minagawa Takuya Deep Learningについてはボチボチ勉強していこうと思ってます。