第1章　理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章　応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理…

今のLLMを取り巻く状況について紹介します。

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転…

A conversational AI system that listens, learns, and challenges

「そらとぶあざらしさん」を遊んで頂くと、大体の温度感がご理解いただけるかと思います。 制限がされたページ今年の1月10日に、noteタイトルにもある「遺伝的アルゴリズムで最高にエッチな画像を作ろう！」というページを公開しました。 内容はタイトルの通りです。 ランダムに生成された2枚の画像から「エッチ」な方を選んでいくと、アルゴリズム学習によってだんだんとエッチな画像になっていくというものです。 遺伝的アルゴリズムで最高にエッチな画像を作ろう！ (エッチな画像が見れるとは言っていない)　より このページには、筆者のささやかな収入源として、GoogleAdSenseの広告を貼っていました。 GoogleAdSenseとは、大企業であるGoogleが運営している個人クリエイター向けの広告プログラムです。 AdSenseのポリシーとして、「性的に露骨なコンテンツ」(Sexually explici

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

ステップ2 $r_{nk}$を固定して$J$を$\mu_k$で偏微分して最小化します。 式変形をすると、 クラスタ$k$の最適なCentroidは上記のように、クラスター$k$に所属しているデータの平均であることがわかりました。 上記より最初のデモンストレーションで行っていたアルゴリズムは損失関数$J$の最適化によって導出されたものを適用していたことがわかります。 2−3. 実装 上記で示した２ステップを計算して、イテレーションを回すだけのシンプルなプログラムです。最後に更新前のmuと更新後のmuの差を取り、それがある程度小さくなったら収束したと判断し、イテレーションを止めるようにしています。 下記はアルゴリズム部分の抜粋です。プログラムの全文はコチラにあります。 for _iter in range(100): # Step 1 =============================

この記事は古川研究室 Workout_calendar 21日目の記事です． 本記事は古川研究室の学生が学習の一環として書いたものです．内容が曖昧であったり表現が多少異なったりする場合があります． はじめに 前回はkNNについてこちらで記事にしました． kNNについて勉強していたところ，$k=1$の場合のkNN，通常の最近傍法（以下NN）の説明として，その誤り率の上限と下限がベイズ誤り確率によって決められるという説明を目にしました[1]．そちらの文献の式を追うとともに，理解の過程としてこの章で紹介させていただきます． ベイズ誤り確率とは 本記事で登場する「誤り確率」という言葉は，一貫して「分類器が分類を誤る確率」のことをいいます． ベイズ誤り確率とは，データの特徴そのものの不完全さに起因する「必然的な誤り」であり，特徴空間上での「分布の重なりの度合い」と解釈することのできる誤り確率のことで

はじめに 最近ついに、Google Meet に背景ぼかし機能が利用可能になりましたよね。日本語だとインプレスのケータイ Watchの記事などで紹介されてます。確か 2020 年 9 月末前後で順次リリースされていたと記憶しています。 このときは「背景ぼかし」の機能しかなかったのですが、最近（私が気づいたのは 2020/10/30）更にアップデートされました。アップデートで「背景差し替え」機能が付いて、ぼかし機能もぼかし効果が強弱 2 つから選べるようになりました。まだ日本語のニュース記事は見てないですが、Googleによるアップデートの発表はちゃんとされています。 そして、Google AI Blog でBackground Features in Google Meet, Powered by Web MLという記事が公開され、実装についての解説がされました。 この記事はその解説記事を

回答 (2件中の1件目) 悲しいことにその通りです。そしてこれこそがこの分野の最も深い問題です。私の推定では、機械学習では毎年10,000以上の論文が発表されています(一日に30本程度)。2020年は私が機械学習で活発に論文を発表してから35年目の年なので、私も機械学習の研究者と同じようにこの罪を犯しています。 なぜそれが問題なのかを理解してみましょう。警告：以下の議論は、MLの研究者や実践者として、あなたに深い不安を与えてしまうかもしれません。私の推論に少しでも我慢していただければ、私が得られなかった大きな利益を得ることができるかもしれません。私は40年間機械学習について考えてきまし...

MIT Introduction to Deep Learning 6.S191: Lecture 1 Foundations of Deep Learning Lecturer: Alexander Amini January 2020 For all lectures, slides, and lab materials: http://introtodeeplearning.com Lecture Outline 0:00 - Introduction 4:14 - Course information 8:10 - Why deep learning? 11:01 - The perceptron 13:07 - Activation functions 15:32 - Perceptron example 18:54 - From perceptrons to neural

データの前処理を中心にDeep Learningで自然言語を扱うにあたっての基礎について解説しています。 次の動画：Deep Learningによる波形データの分類と回帰 https://www.youtube.com/watch?v=22Eq_0qADf4 前回の動画：Deep Learningで行う自然言語処理入門 https://www.youtube.com/watch?v=NzuDWpHPLco Deep Learning入門：Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門：数式なしで理解するLSTM（Long short-term memory） https://www.youtube.com/watch?v=unE_hofrYrk 実践De

Millions translate with DeepL every day. Popular: Spanish to English, French to English, and Japanese to English.

この前の日経の記事でプリファードの西川CEOが「AIブームはもう終わる」と発言していたのが、とても象徴的なできごとだと感じた。AIブームが終わるというのは、誰もが分かっていて、話題にも良くなっていたが、AIに直接関わっている当事者としては、言い出しにくい雰囲気があった。

この動画では、Deep Learningで用いられる様々な活性化関数を紹介します。 ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 ニューラルネットワーク学習の仕組み https://www.youtube.com/watch?v=r8bbe273vEs 再生リスト「Deep Learning 精度向上テクニック」 https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 Neural Network Console https:

この動画では、Generative Adversarial Networks（GAN、敵対的生成ネットワーク）の基礎を解説しています。 前回の動画（Recurrent Neural Networksとは？）はこちら https://www.youtube.com/watch?v=yvqgQZIUAKg ニューラルネットワーク設計の基礎 https://www.youtube.com/watch?v=O3qm6qZooP0 再生リスト「Deep Learning入門」 https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3 DCGAN (Conditional)サンプルプロジェクト # Neural Network Console クラウド版へのログインが必要。また、GPUでの学習を推奨 ht

この動画では、データの前処理を中心にDeep Learningで自然言語を扱うにあたっての基礎について解説しています。 前回の動画：「物体検出」 https://www.youtube.com/watch?v=5nmVHoA-A2E Deep Learning入門：Recurrent Neural Networksとは https://www.youtube.com/watch?v=yvqgQZIUAKg Deep Learning入門：数式なしで理解するLSTM（Long short-term memory） https://www.youtube.com/watch?v=unE_hofrYrk Deep Learning入門：Attention（注意） https://www.youtube.com/watch?v=g5DSLeJozdw Deep Learning入門：Tr