OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

3つの要点 ✔️ SGDで予測モデルのパラメータ探索を行なった際の汎化性能を導出 ✔️ バッチサイズと学習率の比率が小さければ汎化性能が向上することを証明 ✔️ このような性質を計1,600個の予測モデルによる実験で検証 Control Batch Size and Learning Rate to Generalize Well: Theoretical and Empirical Evidence written by Fengxiang He, Tongliang Liu, Dacheng Tao Comments: Published by NeurIPS 2019. Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML)) 背景 深層学習モデルはその表現力の高さから様々な分野で応用されており、これらのモデルを訓

3つの要点 ✔️ 真のEnd-to-Endに近づいたDeepMindの新音声合成方式 ✔️ テキストと音声のアライメントを自動で学習可能に ✔️ GAN識別器を使った巧妙な損失関数設計 End-to-End Adversarial Text-to-Speech written by Jeff Donahue,Sander Dieleman,Mikołaj Bińkowski,Erich Elsen,Karen Simonyan (Submitted on 5 Jun 2020) Comments: Published by arXiv Subjects: Sound (cs.SD); Machine Learning (cs.LG); Audio and Speech Processing (eess.AS) はじめに DeepMindからまた新しい音声合成が出ました! すごいの? もうT

3つの要点 ✔️ 不確実性推定と解釈可能性における最近の進歩を大腸内視鏡検査画像からポリープをセグメンテーションタスクに組み込む ✔️ Montecarlo dropoutを使用して予測に関連する不確実性をモデル化した不確実性マップを出力 ✔️ ガイド付きバックプロパゲーションを使用して重要と見なされるピクセルを視覚化した解釈可能性マップを出力 Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of Colorectal Polyps written by Kristoffer Wickstrøm,Michael Kampffmeyer,Robert Jenssen (Submitted on 16 Jul 2018) Comments: Published

深層学習では、機械学習モデルの正確さを高めるには訓練用データの量を増やすことが一般的だ。カーネギーメロン大学の研究者らは、親が子どもに教える方法にヒントを得て、データ量を増やさなくてもモデルの正確さを高められる学習アルゴリズムを見い出した。 by Karen Hao2020.05.11 48 17 19 7 機械学習アルゴリズムを訓練する標準的な方法は、すべての詳細情報を一度に与えることだ。さまざまな動物の種類を認識する画像分類システムを構築している場合であれば、各種類の例を示し、それに応じてラベルを付ける。たとえば、犬の場合であれば「ジャーマンシェパード」や「プードル」といった具合だ。 だが、人間の親が子どもに何かを教えるときのアプローチはまったく異なる。親ははるかに広範なラベルで始める。どんな犬種であっても最初は単に「犬」である。子どもがこうしたより単純なカテゴリを区別する方法を学習し

3つの要点 ✔️ 訓練していないクラスの画像を生成可能 ✔️ GANにメトリックラーニングを導入 ✔️ OpenGANが生成した画像はデータ水増しにも有効 OpenGAN: Open Set Generative Adversarial Networks written by Luke Ditria, Benjamin J. Meyer, Tom Drummond (Submitted on 18 Mar 2020) Comments: Published by arXiv Subjects: Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) GAN (Generative Adversarial Nets) の1つとして、cGAN (Conditional GAN) が存在します。cGANは

株式会社アースホールディングスは3月19日、写真を撮るだけで、AI（人工知能）が似合う髪型と似ている芸能人を診断するアプリ「AI STYLIST」をリリースした。 AI STYLISTは、スマートフォンのカメラで写真を撮るだけで、顔立ちや顔型をAIが分析し、似合う髪型を提案するサービスだ。男女どちらにも対応している。価格は無料。現在はiOS版のみで、Android版も開発予定だ。 ＞＞プレスリリース 現役高校生がディープラーニングを使った独自のAIを開発AI STYLISTをリリースするアースホールディングスは、美容室「HAIR&MAKE EARTH」などを運営している。 プレスリリースによれば、「春はイメージチェンジをしたいと思う人が増える時期。ヘアスタイルを変えてみよう！という方も多くいます」という。その際に、AI STYLISTを使えば理想の髪型を見つけられるそうだ。美容室を運営する

３つの要点 その１  パラメータ数を激減させる新しい畳み込みMixConvを提案 その２  MixConv層を含んだモデルをAIに自動生成(=NAS)させることでMixNetを開発 その３  MixNetはMobileNet-V3やMnasNetなどの小型画像認識モデルのみならずResNet-153に対してはパラメータ数1/9程度で性能を凌いだ MixConv: Mixed Depthwise Convolutional Kernels written by Mingxing Tan, Quoc V. Le (Submitted on 22 Jul 2019 (v1), last revised 1 Dec 2019 (this version, v3)) Journal reference: BMVC 2019 Subjects: Computer Vision and Pattern

(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま

3つの要点 ✔️相互情報量を最大化する枠組みでニューラルネットを学習する教師なし学習手法IICの提案 ✔️予測値をそのまま出力するニューラルネットを学習可能であるため、クラスタリングが不要 ✔️従来の教師なし学習手法の「クラスタが一つにまとまってしまう問題」および「ノイズに弱いという問題」を解決 Invariant Information Clustering for Unsupervised Image Classification and Segmentation written by Xu Ji et.al (Submitted on 22 Aug 2019) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 近年、様々な場面において、深層学習手法が使用さ

PAKDD2023 Tutorial 2: A Gentle Introduction to Technologies Behind Language Models and Recent Achievement in ChatGPT (Parts 3 and 4)

News¶ 2019/12/06: 講義資料Ver 1.1を公開（2019年度版） 2018/12/17: 講義資料Ver 1.0を公開（2018年度版） 本講義資料について¶ 本ページは 日本メディカルAI学会公認資格：メディカルAI専門コースのオンライン講義資料（以下本資料） です． 本講料を読むことで，医療で人工知能技術を使う際に最低限必要な知識や実践方法を学ぶことができます．本資料は全てGoogle Colaboratoryというサービスを用いて執筆されており，各章はJupyter notebook (iPython notebook)の形式（.ipynb）で以下のリポジトリにて配布されています（notebooksディレクトリ以下に全ての.ipynbファイルが入っています）： japan-medical-ai/medical-ai-course-materials 想定受講者¶ 受

(2018.1227)なんか急にバズったのでちょっと追記しました。 ディープラーニング人材はやばい奴だらけ これから「AIを仕事に導入したい！」と思う人は沢山いるでしょう。 ただ「ディープラーニング」や「AI」という言葉に関しては世間で色々な誤解がされており、正しく現状を理解できている人はとても少ないように思います。 ディープラーニングという言葉はAlexNetがでた2012年頃に流行り出しました。 実際に企業が仕事としてディープラーニングに手を出し始めたのはAWSがGPUインスタンスをリリースした頃からだと思うので2014年ぐらいからでしょうか。 まだ流行り出して５年も経っていない技術であるため、最新の研究レベルでもディープラーニングの全容は明らかになっていなかったり(参照： ディープラーニングの解釈に関するサーベイ論文) 、正しくディープラーニングを理解するための教科書や参考書などもま

2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http

AI創薬で利用される様々な生成モデルについてまとめています。CBI学会2019での講演スライドです。

特に医用画像を対象としたタスクにおいて、ImageNetなどの自然画像から学習したモデルを用いた転移学習がよく行われていますがそれは本当に有効なの？という疑問を検証した論文を紹介します。 結果として、転移学習はパフォーマンスにほとんど影響がなく、収束速度が早くなるという限定的な恩恵であることが明らかに…

最終更新日： 2019年9月6日 ディープラーニングを中心とする技術による日本の産業競争力の向上を目指す日本ディープラーニング協会（以下、JDLA）が、「ディープラーニング開発標準契約書」（以下、本契約書）を策定し、2019年9月6日に公表しました。 ディープラーニング開発における契約はなかなか進まない ディープラーニングの技術はビジネスでの活用、社会実装に向けた開発・検討が進みつつあり、その開発を担うスタートアップと業務の委託者である大企業との間で多くの議論がなされています。 多くのユーザやデータを保有する大企業と、ディープラーニングの技術力を持つスタートアップの提携の事例も多く生まれ、ディープラーニングの産業活用を大きく進めるきっかけになっているといえます。

近年様々な分野に対してDeep learningの応用が研究されてきています。 化学の分野でも物性値の予測モデルや、化合物の生成モデルの研究などが盛んになってきています。最近では、有機化合物の合成を行う際に必要な化学反応の予測をDeep learningで行うという試みが行われてきているのでその先行研究サーベイをしました。 サーベイ資料はこちらのSlideshareにアップロードしています。 問題設定：反応予測および逆合成経路探索 化学反応で、反応物 (reactant) AとBを触媒 (reagent) Cの下で反応させたときに 生成物 (product) D ができたようなプロセスは Reaction SMILES を用いると “A.B.C>>D” というように表すことができます。 ここで、 AとBとC から何ができるか？ （答えはD）を予測する問題を順方向の反応予測問題と呼び、Dを作

こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f