OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

半導体商社のマクニカは、人の脳波を活用して人工知能（AI）を効率的に学習させる「ブレインテック」の提供を開始した。脳科学スタートアップのイスラエル、インナーアイ社（ヘルツリーヤ）と提携し、同社のサービスを展開する。AIの機械学習に欠かせない学習データを脳波を使って効率的に生成し、人の判断をAIに学習させる。AIの実用化を加速できると期待する。学習データの生成では、例えば人に画像データを見せて、

AIの設計そのものを自動化する時代の到来 2020.10.28 Updated by Ryo Shimizu on October 28, 2020, 06:20 am JST 誤解を恐れずに言えば、ニューラルネットワークのプログラミングは、とても簡単です。 実は以前、知人の会社がAIを理解するために会社で代数幾何学の勉強会を始めたと言ったとき、それは極めてナンセンスだと指摘したことがあります。 なぜなら、ニューラルネットワークを設計するのに代数幾何学の知識などいらないからです。 たしかにニューラルネットワークを数学的に表現しようとすれば、代数幾何学を使う場合があります。ところが、それは本当にごくごく一部に過ぎません。本筋は代数幾何学で表現することではなく、「どう使うか」という別のところにあるのです。人工知能をやろうとする時にはまず代数幾何学を勉強しよう、というのは、まったく木を見て森を見