0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ

静止画なのに回っているように見える「錯視」について、深層学習（ディープラーニング）で自ら学習する人工知能（ＡＩ）も、人間と同様に「回っている」と誤って判断し、錯視が起きていることを、基礎生物学研究所（愛知県岡崎市）と立命館大学（京都市）などの共同研究グループが発見し、国際学術誌で発表した。 ＡＩの深層学習は、世界のトップ棋士を次々と破った「アルファ碁」で注目を集めた新技術。画像など膨大なデータを読み込み、判…

2018年1月15日の東京大学医学部機能生物学セミナーでの岡野原大輔の講演資料です。 最後の参考文献を修正しました。 修正版はこちらです。 https://www.slideshare.net/pfi/20180115-87025513 Read less

おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一

2. 本輪読発表について • A Bayesian Perspective on Generalization and Stochastic Gradient Descent – Samuel L. Smith, Quoc V. Le • arXiv:1710.06451（11/6現在ICLR投稿中） • ちなみにSmith氏はICLRにこれともう1本出している模様 – Don't Decay the Learning Rate, Increase the Batch Size – 元のタイトルはUnderstanding Generalization and Stochastic Gradient Descent（redditでディスられてたから変えた？） • 深層学習における汎化の疑問に，ベイジアンの観点から考える． • 合わせて，深層学習と汎化に関する話題について簡単にまとめました．

* English blog is also written here. Chainer [1]を使った、化学、生物学分野のための深層学習ライブラリ Chainer Chemistry を公開しました。 Github page: https://github.com/pfnet-research/chainer-chemistry Documentation: https://chainer-chemistry.readthedocs.io 本ライブラリにより、分子構造に対して簡単に深層学習（Deep learning）を適用することができるようになります。 例えば、化合物の分子構造を入力とした毒性の予測や、HOMO(最高被占軌道)レベルの回帰予測など、様々な化学的性質の予測に深層学習を適用することができます。 なお本ライブラリの開発にあたっては、PFN2017夏インターンシップに参加した

This domain may be for sale!

今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは、AI開発部の伊藤です。 今回のブログは、「深層学習はいったい画像のどこを見て判断しているのか」という素朴な疑問に答えてくれる技術として、昨年提唱された「Grad-CAM」という技術を紹介します。 目次 目次 1. はじめに 2. Grad-CAMの紹介 Grad-CAMの仕組み： 3. 適用例 3-1. 画像キャプション生成（Image Captioning） 3-2. VQA（Visual Question Answering） 3-3. 学習用データのバイアス 4. 実施例（お好み焼きとピザを分類） 4-1. 画像データについて： 4-2. CNNの構築： 4-3. Grad-CAMの実装： 4-4. 実施結果の評価 お好み焼き画像でCNNの判定が当たっているケース： ピザ

6/28から6/30に東京ビッグサイトで開かれた第1回 AI・人工知能EXPO*1に参加して、基調講演を聴いてきたので概要をメモ書き程度にまとめた。個別の展示はちょっと数が多いので省略^^; 今年の目標（2017/1/1）にも書いたけれど、AIをどうビジネスにしていくかという点は関心があるので今後も動向をウォッチしていきたい。MicrosoftとWatsonのAPIはあとで使い込んでみる予定。 全体的な所感 カスタマーサービス向けのチャットボットツール（ルールベース）に関する展示が非常に多い コンピュータビジョンに関連したDeep Learning技術も目立ったが既存モデル（YOLO物体検出、人検出など）の活用が中心 DL以前の機械学習手法・データマイニング・テキストマイニングの活用事例も多い テキスト・画像・音声データの収集・アノテーションに特化した会社（IR-ALT、REALWORLD

新たなライブラリsonnet sonnetとは DeepMind社製であること TensorFlowと共に使える TensorFlow TensorFlowの役割 TensorFlowの追加ライブラリ Keras TensorFlow-Fold edward sonnet sonnet使ってみた記事まとめ 多分日本語最速で出た使ってみた記事 インストールから丁寧に コードに対するコメントが豊富で参考になる記事 新たなライブラリsonnet sonnetとは DeepMind社が社内で利用していた深層学習ライブラリです。 昨日これがオープンソース化されました。 DeepMind社製であること DeepMindは現在Google傘下の人工知能開発企業です。 圧倒的な専門家集団の集まりであり、深層学習の研究にGoogleが乗り切る際に、DeepMind社は買収されました。その後、資金力と研究力を

2. 今⽇日のアジェンダ l 背景 ̶— これまでのディーラーニングと創薬 l 創薬向け、ライフサイエンス向けの深層学習の進化 ̶— 新NP問題に対する学習⼿手法 ̶— ⽣生成モデルによる表現学習 ̶— 化合物の特徴学習 l アプリケーション例例 ̶— QSAR,  材料料設計,  性質予測 ̶— シミュレーション ̶— 化合物の再合成の探索索 3. 会社紹介：Preferred Networks (PFN) l IoT時代に合わせた分散知能を備えた新しいコンピュータを創造する l 2014年年3⽉月創業 l 東京オフィス,  シリコンバレーオフィス l 従業員：約60⼈人 殆どが研究者、エンジニア l 主な出資者 FANUC,  Toyota,  NTT 3 We are hiring!! 4. ディープラーニング（深層学習）とは l 層が深く、幅も広いニューラルネット

Preferred Networks（PFN）は、機械学習分野で最大級の国際会議「Neural Information Processing Systems（NIPS）2016」で発表された論文（ProceedingsのWebサイト）を有志が紹介する「NIPS2016読み会」を1月19日に開催した（イベントのWebサイト）。招待講演3件、口頭発表2件、ポスター発表15件のそれぞれで注目論文を取り上げて解説。論文の紹介をポスター形式で実施するのは珍しいが、「口頭発表と比べてより深い議論ができ、より多くの論文を扱えると考えたため」（主催したPFNの大野健太氏）という（発表資料の一覧）。 参加応募者121名に対して当初60名だった参加者枠を70名に増やしたり、ポスター発表者の数を10名から15名に増やしたりするなど、参加者、発表者ともに関心の高さが伺えた。なお、NIPS 2016での発表内容につ

cvpaper.challengeにて2017年4月にサーベイした論文のまとめです。 充分に進化したコンピュータ視覚（Computer Vision; CV）は人間に新しい知見をもたらす。cvpaper.challengeではCVが飛躍的に進んだ先に、人間に対して拡張した知能や技能を教示できる、と位置づけ論文読破・まとめ・アイディア考案・議論・実装・論文執筆（・社会実装）に至るまで広く取り組み、その過程で出てきたあらゆる知識を共有します。 2015〜2016年は1,600本以上の論文まとめを全て公開し、著名な国際会議のWSにおいて受賞を経験しました。2017年はさらにアウトプットにこだわり、突出した成果を出すことを目標とします。 SlideShareにて論文まとめや講演資料を公開し、Twitterでも情報を共有しております。 HP： https://sites.google.com/sit

深層学習(Deep Learning)がバズワードになって何年目だ。 画像認識コンテストでDeepなヤツが優勝したのが2012年で4年前だ。 Deepの先駆者DBN[Hinton 2009]からだと7年か。 2014-2015の間だけでも1500もの関連論文が発表されているらしい。鬼のようだ。 軽く歴史を振り返ると、制限付きボルツマンマシンを「多段に積み上げた」(深層と呼ばれる所以) Deep Belief Network[Hinton 2009]が新時代の幕上げだった。 Deepという名前もここから実用的に使われだしたっぽい、多分。 そして今、非常に気になってるのがVAEとGAN、そしてEBMにGANのテクを使ったヤーツ[Kim+ 2016]。 こいつらは生成モデルの最新技術なヤーツ達だ。 こいつらについてちょっと紹介したいので、その前に統計的機械学習とボルツマンマシンについてまとめたあ

チャオ! オレだ。 深層学習を手軽に使いたいというニーズは日に日に高まっているはずなのに、ガクシャ先生どもと来たら、やれMatlabだ、やれPythonだのと軟弱言語の話しかしやしねえ。どこかに気骨溢れたナイスガイはおらんのか! と思ったら、居た。 それが今回紹介するdarknetだ。 darknetという名前から想像する異常にダークである。 バーン どうよこのダークネス感 いまどき黒いページというのは珍しい。 そして無駄に凝った魔法陣のようなロゴ。ダークだ。 しかしダークネット、厨二満開とせせら笑っていられるのもいまのうちだ。 このダークネット、実に必要十分な機能を最短で試せる超絶優れたツールなのである。 CaffeやTensorFlowほどの知名度はないが、実用性皆無なTensorFlowに比べてdarknetはものすごく実用的。Cが分かる人ならばこれほど使いやすいものもちょっと他にな