言語モデルの物理学

言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。

言語モデルの物理学の特徴は大きく2つあります。

第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は羽よりも早く落下するのではないか」というような誤った認識を生みます。原理を見つけるには真空で実験を行うのが適切です。ノイズの多いウェブデータも、言語モデルにおける空気抵抗のような悪影響があるかもしれません。言語モデルの物理学では、「コントロールされたデータセットで」「スクラッチから」言語モデルを訓練することを第一としています。たとえば、後に紹介するように、10 万人の架空の人物の伝記を作成し、それのみで言語モデルを訓練した場合、言語モデルはこれらの人物についてどのようなことが言えるか、というような実験をしています。

第二は、言語モデルの内部状態を調査し、どのタイミングで、どの層で、何ができるようになったかを調べるということ。言語モデルが出力した文字列は言語モデルが「考えた」ことの一部に過ぎません。言語モデルの出力の表面だけ見ていては、何故そのような振る舞いになったのかまでは分かりません。このため、言語モデルの物理学では、言語モデルの内部状態に踏み込み、きめ細やかな分析を行います。たとえば、後に紹介するように、言語モデルに多段階の算数の問題を入力して、言語モデルが途中段階で間違えたとき、実は言語モデル自身もその段階で自分が間違えたことに気づいています。それでも言語モデルは出力し続けないといけませんから、このままいくと間違うと分かった上で最後まで流暢に出力し続けます。そして当然、最終結論を間違えます。単に正解した、間違えた、という出力レベルの理解だけでなく、内部まで調べることで、より深い洞察を得ることを目指します。

本稿では、言語モデルの物理学の基本的な考え方を紹介するとともに、6 本の論文からなる、言語モデルの物理学の一連の研究について詳しく解説します。これらを読めば言語モデルの振る舞いの原理への理解が深まるほか、実際に言語モデルを訓練するための知見も大いに深まるはずです

なお、提唱者の Zeyuan Allen-Zhu は（あの）LoRA 論文の著者の一人であることで有名ですが、かつては国際情報オリンピックで金メダル 2 枚、ACM-ICPC World Finals で 2 位を取るなど競技プログラミングで名を馳せたほか、FOCS や STOC に採択されつつ ICML に「一年で」「ファーストオーサーで」 5 本採択されるなどの実績があるスーパー研究者であることを申し添えておきます。

Zeyuan Allen-Zhu 伝説：ちなみに翌年は NeurIPS にファーストオーサー論文が 4 本採択されています。

目次

言語モデルの物理学

言語モデルの物理学の簡単な説明は冒頭で述べた通りです。プロジェクトページには以下のステートメントが掲げられています。

Apples fall and boxes move, but universal laws like gravity and inertia are crucial for technological advancement. While GPT-5 or LLaMA-6 may offer revolutionary experiences tomorrow, we must look beyond the horizon. Our goal is to establish universal laws for LLMs that can guide us and provide practical suggestions on how we can ultimately achieve AGI. （リンゴは落ちる。箱は動く。しかし、重力や慣性のような普遍的な法則は技術の進歩に不可欠である。GPT-5 や LLaMA-6 が明日、革命的な体験をもたらすかもしれないが、私たちは地平線の向こう側を見据えなければならない。私たちの目標は、私たちを導き、最終的に AGI を達成する方法についての実践的な提案を提供できる LLM の普遍的な法則を確立することである。）

「言語モデルの物理学」と言っても、力学や電磁気学を言語モデルに対して適用するのではありません。「物理法則のような普遍的な法則を言語モデルにおいて見つけるための研究」というくらいの意味です。コンセプト名が少し紛らわしいですね。もう少し意訳するなら「言語モデルの窮理学」くらいでしょうか。提唱者の Zeyuan Allen-Zhu 自身が中国語で「语言模型物理学」と表現しているので、本稿もそれに合わせ「言語モデルの物理学」という用語を用います。

本稿の冒頭では、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練することが第一の特徴だと述べました。言語モデルの物理学のプロジェクトページでは、これと共に、ベンチマークを重視する現在の風潮を批判しています。近年、毎月、毎週、毎日のように、ベンチマークの新たなスコアが打ち立てられ、大々的に宣伝されています。しかし、それは本当に重要なことでしょうか？それは本当に進歩と言えるでしょうか？ベンチマークは時とともに陳腐化する運命にあります。ベンチマークが有名になればなるほど、そのベンチマークへの言及、解説、具体例がウェブに増えていきます。テストデータの答えがどこかのウェブサイトに載ることもあるかもしれません。それらを取り込んだ新しいモデルがそのベンチマークをうまく解けるようになるのは当然でしょう。ちゃんとした実験では、訓練データからテストデータをフィルタリングしていますが、別言語に翻訳して掲載されたり、数式を言葉で説明して掲載されたりしたものは除去を逃れてしまうかもしれません。そういった情報漏洩は完全には防ぎようはなく、時とともにその数は増えてしまいます。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。どのような形でこれらのノイズがベンチマークに影響するかは誰にも分かりません。言語モデルの物理学ではこの点を深く懸念し、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使うことで、確実な形でこの問題を回避しています。

第二の特徴、言語モデルの内部状態を調査では、線形プロービングや低ランクプロービングという技術を主に用います。線形プロービングでは、内部状態を入力として受け取る線形モデルでどのようなタスクが解けるかを調査します。低ランクプロービングでは、モデルのメインパラメータを固定した状態で低ランク成分（いわゆる LoRA）を付加してどのようなタスクが解けるかを調査します。このような単純な補助モデルでタスクが解ける モデルは既に内部でそのタスクを解いていると考えます。言語モデルの物理学の論文中では mentally（頭の中で）という単語がよく登場します。本稿でも、「モデルは頭の中でそのタスクを解いている」「頭の中で分かっている」というような表現を用います。例えば、冒頭で述べたように、モデルが算数の問題を解いている途中段階において内部状態を取り出し、線形モデルに入力するとミスしてしまったか、していないかを高い精度で分類できます。これはつまり、ミスしてしまったかしていないかが、取り出しやすい形で（線形モデルでも取り出せる形で）内部状態にエンコードされているということであり、つまり、自分がミスしてしまったかどうかをモデルは頭の中で気づいているということです。モデルの頭の中の動きというと、思考の連鎖 (Chain of Thought、DeepSeek-R1 や OpenAI o1 の途中結果など）を思い浮かべる方も多いかもしれません。しかし、プロービングは思考の連鎖とは異なります。思考の連鎖はいわば声に出して考えている状態です。これはモデルの思考のごく一部にすぎません。プロービングを使えば声に出さずにモデルが考えていることがわかります。以下に詳しく見るように、言語モデルは声に出したこと以外にも、実は頭の中で色々なことを考えているのです。

言語モデルの物理学プロジェクトでは、2025 年 3 月現在、6 本の論文が公開されています。大きく 3 つの章に分かれており、第一章は Hierarchical Language Structures（階層的言語構造）、第二章は Grade-School Math（小学校の算数）、第三章は Knowledge（知識）と名付けられています。それぞれの論文は独立した論文として読めますが、以上に述べたコンセプトが一連の論文を繋ぐ縦糸として通っています。

以下、それぞれの論文を解説します。

Physics of Language Models: Part 1, Learning Hierarchical Language Structures (arXiv 2023)

arxiv.org

日本語に訳すと「階層的言語構造の学習」です。

実はこの論文が言語モデルの物理学の中で最も難しい論文です。言語モデルの物理学を学ぼうと思った人が挫折する要因はここにあるように思います。できるだけ平易な説明を心がけますが、この論文の内容は以降の章に影響しないので難しいと思った方はこの章は飛ばして次に進んでもらって問題ありません。

この論文の主要な結果を一言で表すと、言語モデルは複雑な文脈自由文法を正確に学習できるということです。そして言語モデルは頭の中では、動的計画法を駆使してこの問題を解きます。

この論文は言語モデルの物理学の考え方のうち、第一の特徴である「きっちりコントロールされたデータセットを使って言語モデルを訓練する」というところを突き詰めたものと言えます。文脈自由文法という（完璧なリアリティこそ無いかもしれないが）よくコントロールされた規則に沿ってコーパスを生成し、これを元に言語モデルをスクラッチから訓練します。

問題設定

文脈自由文法とは、[root] という記号からはじめて

[root] → [文]
[文]    → [名詞句] [動詞句]
[名詞句] → [冠詞] [名詞] | [固有名詞]
[動詞句] → [動詞] [名詞句]
[冠詞] → "the" | "a"
[名詞]  → "cat" | "dog" | "saw" | "telescope"
[動詞]  → "saw" | "loved"
[固有名詞] → "John" | "Mary"

というような生成規則に沿って置換を繰り返して生成する形式言語のクラスです。例えば上の文法の場合、

• [root] → [æ–‡] → [名詞句] [動詞句] → [冠詞] [名詞] [å‹•è©ž] [名詞句] → [冠詞] [名詞] [å‹•è©ž] [冠詞] [名詞] → the cat saw a dog
• [root] → [æ–‡] → [名詞句] [動詞句] → [固有名詞] [å‹•è©ž] [名詞句] → [固有名詞] [å‹•è©ž] [固有名詞] → Mary loved John
• [root] → [æ–‡] → [名詞句] [動詞句] → [固有名詞] [å‹•è©ž] [名詞句] → [固有名詞] [å‹•è©ž] [冠詞] [名詞] → John saw a saw

のような文が生成できます。

重要な特徴が二つあります。

第一は曖昧性。上の例のように saw は動詞（見た）と名詞（のこぎり）の二つの役割があります。出力されたトークン saw を見ただけでは、どちらの役割かが分かりません。

第二は長い依存性。上記の例は単純なのでこれは発生しませんが、例えば [名詞句] → "the" [名詞] "that" [動詞句] や現在形・複数形などの規則があり、the cats that saw a dog that loved a telescope まで生成したとき、次 "jump" を出力してよいのか "jumps" を出力してよいのかは、長い節の元が単数形なのか複数形なのかを確認しないと決定できません（答え：cats と複数形なので jumps を出力してはならず、jump を出力するべきです。）

これらの特徴は現実の言語にもあり、文脈自由文法はそれを純粋な形で取り出しています。実験では、言語モデルはこれらの曖昧性と長い依存性を確かな形で扱えることを確認します。

この論文では、以下のようなかなり複雑な文脈自由文法を用います。これは非常に曖昧性が高く、長い依存性を持ちます。

この論文で使用する文脈自由文法の例

この文法に従い、長さ 512 のテキストをランダムに 960 万個生成し、言語モデルをスクラッチから next token prediction で 1 エポック訓練します。言語モデルには文法についての知識を直接は何も提示しないことに注意してください。文法から生成された文字列をただ訓練データとして入力するだけです。

テスト時には、訓練した言語モデルにいちからテキストを生成させたり、文法に従って新しく生成した文字列を途中まで入力し、続きを生成させたりします。

言語モデルは複雑な文脈自由文法を正確に学習できる

こうして訓練された言語モデルがいちから生成したテキストはほぼ確実に（99%~ の確率で）正しい文法でした。 また、生成したテキストは十分な多様性を持ち、「真の確率分布」との KL ダイバージェンスは小さいことが確認されました。文法の正しさをチェックするだけではなく、多様性や分布距離をチェックすることは重要です。例えば、上述の the cats that saw a dog that loved a telescope の例の場合、とりあえず jumped と過去形で出力しておけば、単数・複数の問題を扱わずに済み、正しい文法の文を出力できます。しかし、これでは文法を正しく学習したとは言えません。分布距離を調べることで確かに言語モデルは文法のあらゆるパターンを正しく、逃げることなく、学習できていることが確認できます。「真の確率分布」との距離はリアルデータだと計算ができないので、ここが確認できることは「きっちりコントロールされたデータセットを使って言語モデルを訓練」したことの利点と言えます。

言語モデルは頭の中で動的計画法を使っている

続いて、内部状態の調査についてです。

言語モデルは先祖の非終端記号を頭の中で認識しており、アテンションは動的計画法のようなパターンを見せる。

まず、内部状態に対する線形プロービングで、各出力トークンの元となる非終端記号（[名詞句] や [動詞句] など）を正確に推定できます。つまり、言語モデルは "saw" のように曖昧なトークンを出力しますが、頭の中ではこれが名詞か動詞かを分かった上で出力しています。繰り返しになりますが、言語モデルには文法についての知識を直接は何も提示しないことに注意してください。単に next token prediction で生のテキストで言語モデルを訓練するだけで、「名詞」「動詞」などの文法構造を頭の中で習得できるということです。これも、「きっちりコントロールされたデータセットを使って言語モデルを訓練」したことの利点です。ウェブには文法の解説が掲載されており、言語モデルはそれで文法を学んだ可能性もある訳ですが、そうではなく、文法が一切明示されていない生のテキストだけからでも文法を頭の中で習得できるということがコントロールされた実験で解明されました。

また、言語モデルは頭の中で動的計画法を使っているという示唆も得られました。込み入っているので簡単な解説に留めますが、文脈自由文法はルールベースで解析するとき、動的計画法を用いてパースしたり逐次生成したりすることが可能です。これは文脈自由文法の置換とは逆方向の推論をする要領で、the cat saw a dog において、1 トークン目から 2 トークン目 (the cat) が名詞句で、3 トークン目から 5 トークン目 (saw a dog) が動詞句であれば、これらをあわせて 1 トークン目から 5 トークン目は文を形成する、というように、区間を大きな単位にマージしていきます。このとき、どの区間とどの区間をマージできるかを認識できることが重要です。訓練済みの言語モデルを分析すると、マージできる区間の右端から右端、例えば [the cat] [saw a dog] であれば dog から cat に対して有意に強いアテンションがされていることが分かりました。マージできる区間を計算することは自明ではありませんが、言語モデルは頭の中でこれをちゃんと計算しています。このほか、動的計画法が回るために必要な情報を言語モデルは頭の中で認識しながらトークンを生成しています。動的計画法の実装方法は無数にあるので、言語モデルは確実に動的計画法を回しているとまでは言えませんが、（少なくとも文脈自由文法の動的計画法を知っている人から見ると）かなり動的計画法に近い振る舞いをしていることが観察されました。またもや繰り返しになりますが、言語モデルには文法についての知識を直接は何も提示しないことに注意してください。単に next token prediction で生のテキストで言語モデルを訓練するだけで、言語モデルは頭の中で動的計画法を習得できるということです。

言語モデルはノイズのあるデータで訓練するとノイズ耐性がつく

以上の実験では、訓練データは完璧に文法に沿ったものでした。しかし、現実のデータにはノイズが入っており、必ずしも正しい文法に沿っているとは限りません。この問題を考慮した実験を行います。

完璧に文法に沿ったデータだけで訓練した言語モデルはノイズに弱いです。完璧に文法に沿ったテストデータ x を用意し、前半部分 x[:50] を取り出し、一部のトークンをランダムに入れ替えてノイズのある入力 x'[:50] を作り、この続きを言語モデルに生成させます。その出力結果とノイズを入れる前の前半部分を連結し x[:50] + output を検査すると、これは文法に沿っていません。イメージとしては、冠詞を忘れた、単数形・複数形を間違えた、など少し文法ミスのあるテキストの続きを生成させようとしても、ミスをいい感じに推測して埋めてくれることはなく、続きの生成も混乱して間違うということです。

続いて、訓練データの一部（例：15% のデータ）にノイズを入れて、スクラッチから言語モデルを訓練してみます。

ノイズのあるデータで訓練した言語モデルはテスト時にもノイズに強いです。先ほどと同様の実験を行うと、今回は x[:50] + output が高い確率（99%~）で正しい文法でした。ただし、常に正しい文法を出力させるには低い温度が必要です。温度を訓練時と同じく にすると、ノイズの出力の仕方を「正しく」覚えてしまいます。具体的には、ノイズの無いテストデータを入力すると常に正しい文法の続きを生成し、ノイズのあるテストデータを入力すると常に間違った文法の続きを生成し、一から生成させると訓練データのうちノイズを含む割合（例：確率 0.15）で間違った文法の文を生成し、クリーンなデータの割合（例：確率 0.85）で正しい文法の文を生成するようになります。Next token prediction で、そういう出力分布になるように訓練したのだから当然といえば当然です。温度を などと下げると、いずれの場合もノイズの無い文を生成するようになります。

ここから得られる実践上の教訓としては

• ノイズ耐性のある言語モデルを作るには訓練データにノイズを含むデータを入れることが重要
• 正しい文だけを生成させたいときには生成時に温度を下げることが重要

ということです。直感的には当たり前ですが、これまでは場当たり的に検証されていたこれらの知見が、言語モデルの物理学の流儀、つまりコントロールされた状況で、対照実験を通して、確認されたことが重要です。

Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process (ICLR 2025)

arxiv.org

日本語に訳すと「小学校の算数と隠れた推論プロセス」です。

この論文の主要な結果を一言で表すと、言語モデルは算数の問題を人間とは少し違ったプロセスで解いているということです。

この論文では小学校レベルの算数の人工的な問題からなるコーパスを新しく作成しました。例えば以下のような問題文です。

リバービュー高校の映像スタジオの数 は、「映像スタジオ用のリュックの数」と「ダンススタジオの通学かばんの数」 を足した値の 5倍 である。
映像スタジオの通学かばんの数 は、「映像スタジオのメッセンジャーバッグの数」と「セントラル高校の映像スタジオの数」 を足した値に 12を加えたもの である。
セントラル高校の映像スタジオの数 は、「ダンススタジオの通学かばんの数」と「映像スタジオのメッセンジャーバッグの数」 を足した値に等しい。
リバービュー高校のダンススタジオの数 は、「映像スタジオ用のリュックの数」「映像スタジオのメッセンジャーバッグの数」「映像スタジオの通学かばんの数」「セントラル高校のリュックの数」 の合計と等しい。
ダンススタジオの通学かばんの数は 17 である。
映像スタジオのメッセンジャーバッグの数は 13 である。
セントラル高校のリュックの数はいくつか？

これに対する思考の連鎖付きの回答は以下のようになります。

ダンススタジオの通学かばんの数を p と定義する。
したがって、p = 17 である。
映像スタジオのメッセンジャーバッグの数を W と定義する。
したがって、W = 13 である。
セントラル高校の映像スタジオの数を B と定義する。
したがって、B = p + W = 17 + 13 = 7 である。
映像スタジオの通学かばんの数を g と定義する。
R = W + B = 13 + 7 = 20 なので、g = 12 + R = 12 + 20 = 9 である。
映像スタジオのリュックの数を w と定義する。
したがって、w = g + W = 9 + 13 = 22 である。
セントラル高校のリュックの数を c と定義する。
したがって、c = B × w = 7 × 22 = 16 となる。
答え：16

17 + 13 = 7 となっていますが、これは誤字ではなく、このデータセットでは mod 23で計算するようになっています。これは問題が長くなったときに無駄に大きな値が出てきて、計算が無駄にややこしくなるのを防ぐためです。以下、訓練もテストも全て mod 23の世界で行います。

問題文も回答も長くて少しややこしいですが、要するに、「リバービュー高校の映像スタジオの数」や「映像スタジオのメッセンジャーバッグの数」 のような適当な名詞からなる変数を用意して、それらの関係をテンプレートに沿って文として表現し、それらを並べたものがこの問題文です。これと同じ要領で、同じタイプの問題文と回答をたくさん自動生成します。テンプレートに沿った生成ですが、多様性は十分で、実質的に異なる問題文の数は 90 兆個にも上ります。なので、訓練とテストで問題文が被ることはあり得ず、モデルが問題を暗記する心配もありません。

訓練時には、これらを連結した

リバービュー高校の映像スタジオの数 は、「映像スタジオ用のリュックの数」と「ダンススタジオの通学かばんの数」 を足した値の 5倍 である。
映像スタジオの通学かばんの数 は、「映像スタジオのメッセンジャーバッグの数」と「セントラル高校の映像スタジオの数」 を足した値に 12を加えたもの である。
セントラル高校の映像スタジオの数 は、「ダンススタジオの通学かばんの数」と「映像スタジオのメッセンジャーバッグの数」 を足した値に等しい。
リバービュー高校のダンススタジオの数 は、「映像スタジオ用のリュックの数」「映像スタジオのメッセンジャーバッグの数」「映像スタジオの通学かばんの数」「セントラル高校のリュックの数」 の合計と等しい。
ダンススタジオの通学かばんの数は 17 である。
映像スタジオのメッセンジャーバッグの数は 13 である。
セントラル高校のリュックの数はいくつか？
ダンススタジオの通学かばんの数を p と定義する。
したがって、p = 17 である。
映像スタジオのメッセンジャーバッグの数を W と定義する。
したがって、W = 13 である。
セントラル高校の映像スタジオの数を B と定義する。
したがって、B = p + W = 17 + 13 = 7 である。
映像スタジオの通学かばんの数を g と定義する。
R = W + B = 13 + 7 = 20 なので、g = 12 + R = 12 + 20 = 9 である。
映像スタジオのリュックの数を w と定義する。
したがって、w = g + W = 9 + 13 = 22 である。
セントラル高校のリュックの数を c と定義する。
したがって、c = B × w = 7 × 22 = 16 となる。
答え：16

を入力テキストとして、やはり next token prediction で言語モデルを訓練します。実験では、この種のテキストを約 5000 万個用意し、言語モデルをスクラッチから訓練しています。くどいようですが、ウェブ上のコーパスは一切使わず、この要領で作成した問題文のコーパスのみで言語モデルを訓練します。

言語モデルは未知の問題を解ける

LLM の馴染みのある皆さんであれば驚きのないことかもしれませんが、こうして訓練された言語モデルは、初めて見たテスト用の問題文に対しても精度良く（99% 以上の正答率で）正答できます。

非自明な点としては、訓練時に見たことのない難しさの問題でも解けるようになるということです。訓練時には高々 21 ステップで解ける問題文しか与えず、テスト時にいきなり 28 ステップ以上必要な問題を見せても、精度よく答えることができました。これは人間を超える AI を作成するために重要な結果です。言語モデルに対する訓練データは人間が作成しますから、言語モデルが獲得できる知能もデータを作成する人間の知能が限界になるという問題があります。しかし、この結果は訓練データの知能が限られていても、自然にそれ以上の知能を獲得できる可能性を示唆しています。これまでも Weak-to-Strong Generalization [Burns+ ICML 2024] のようにこの問題に対する研究結果はありましたが、ウェブコーパスを用いているために、本当にテスト問題が訓練で使用したデータよりも真に難しいかを確実に担保できていませんでした。本研究では、コントロールされた訓練データを用いることでここをうまく担保できています。

言語モデルは最短経路で答えを出す

文章題に正答する方法は無数にあります。途中で余計な変数を計算してしまってもいいですし、最終的な答えさえあっていれば正答と判定されていました。しかし、言語モデルが出力した思考の連鎖を分析してみると、問題文中に余計な変数が登場していたとしても、大抵の場合不必要な計算を一切せず、最短で答えまでたどり着いていました。これは試行錯誤をする人間の回答方法とは対照的です。なぜこのようなことになったのか、言語モデルの頭の中を覗いて分析してみます。

言語モデルは頭の中で変数の依存関係を分析している

問題の前提が入力された直後、言語モデルは頭の中で変数の依存関係が分かっている。質問文が入力された直後、言語モデルは頭の中で必要な変数の集合が分かっている。思考の連鎖を生成している途中、言語モデルは頭の中で、次に計算できる変数が分かっている。

プロービングによって以下のことが分かりました。

• 問題の前提が入力された直後、質問文が入力される直前の状態で、言語モデルは頭の中で、全ての変数対の依存関係が分かっている。例えば、「セントラル高校の映像スタジオの数」を計算するには、「ダンススタジオの通学かばんの数」と「映像スタジオのメッセンジャーバッグの数」を先に知っておく必要があるということを頭の中で分かっています。
• 質問文が入力された直後、思考の連鎖を始める直前の状態で、言語モデルは頭の中で、質問文に回答するのに必要な変数の集合が分かっている。逆に言えば質問文に回答するのに必要のない余計な変数が何かを分かっているということです。
• 思考の連鎖を生成している途中、言語モデルは頭の中で、すでに計算した変数の集合と次に計算できる変数の集合が分かっている。

言語モデルはこれらのことを頭の中で分かっているために、質問文に回答するために必要であって、かつ次に計算できる変数の集合から順番に計算をすることで、ミスなくかつ最短で答えを導き出せているというわけです。

くどいようですが、言語モデルにはこういった解き方は教えず、単に next token prediction で訓練したことを再び思い起こしてください。単に next token prediction で生のテキストで言語モデルを訓練するだけで、言語モデルは頭の中でこういった「文章題の正しい解き方」を自動で獲得します。

言語モデルが誤答するとき、頭の中でもミスしている

よく訓練された言語モデルでも算数の問題を間違うことがあります。間違えた場合に内部状態を分析してみると、多くの場合、言語モデルは頭の中で本当はまだ計算できない変数を計算できると勘違いしていました。

面白いことに、言語モデルがまだ一文字も出力していない段階で、その頭の中（内部状態）を見れば、このモデルはこの後必ず間違いを犯すぞと予測でき、実際そのまま言語モデルに出力させると間違った回答を出力します。

この仕組みを利用して、推論の精度を向上させることは次の論文で扱います。

Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems (ICLR 2025)

arxiv.org

日本語に訳すと「小学校の算数の問題において間違いから学ぶ方法」です。

この論文の主要な結果を一言で表すと、言語モデルは自分で間違いに気づいて修正できるということです。

使用するデータは先ほどと同じ小学校の算数のデータセットです。

言語モデルは間違いを出力したあと、頭の中で後悔している

先程の論文で、間違えた場合に内部状態を分析してみると、多くの場合、言語モデルは頭の中で本当はまだ計算できない変数を計算できると勘違いしていたと述べましたが、その計算できない変数を「計算する」と宣言した直後、一定の割合（60% 程度）では頭の中で「まだ計算できない」と分かっています。つまり、「計算する」と言ったことを頭の中で後悔している。そして計算すると宣言してしまった手前、引き返せずにそのままデタラメな計算を出力します。

これは自己回帰モデルの自己欺瞞 (self-delusions) [Ortega+ DeepMind Technical Report 2021] と関係しています。自己回帰型の言語モデルは発言したことを取り消せません。むしろ自分の過去の発言が自分に対する入力となり、間違った自分の発言を正しいことと思い込んでしまいます。言語モデルが普通に思考の連鎖をすると正解できる問題があるとします。この問題を入力し、議論の最初に答えを出力させてから思考の連鎖を始めさせると、最初に出した答えが間違えていた場合でも、無理やりその答えが結論になるような議論の流れをとり、最終的にその間違った結論を提出することが観察されています [McCoy+ arXiv 2023]。

過去の研究は言語モデルが声に出したことに対する観察でしたが、今回の実験では、そのようなことが起こったとき、実は言語モデルは頭の中で「あ、いま自分、間違えてるな〜」と後悔している（しかしもう止められないのでそのまま喋り続けている）ということが分かりました。

言語モデルは間違いの訂正能力を身につけられる

自分で間違えたことが分かっているなら、訂正して正しい結論にたどり着いてほしいものです。

実際、言語モデルに自分の出力を訂正させる研究はいくつもあります [Madaan+ NeurIPS 2023, Pan+ TACL 2024]。簡単には、ChatGPT に対しても、「それ間違えているので修正して」と言うだけで「すみません、間違えていました」と言って修正してくれます。

これらは間違えた答えを完全に出力させてから、自己修正させるものです。しかし、上に見たように、言語モデルはミスした直後にミスに気づいているので、ミスしたと気づきながら最後で出力させるのは無駄です。ここでは、ミスしたステップの直後に、言語モデルに自分でミスを修正させる方法を考えます。

具体的には

セントラル高校の映像スタジオの数を [BACK]
ダンススタジオの通学かばんの数を p と定義する。
したがって、p = 17 である。
映像スタジオのメッセンジャーバッグの数を W と定義する。
したがって、W = 13 である。
セントラル高校の映像スタジオの数を B と定義する。
したがって、B = p + W = 17 + 13 = 7 である。
映像スタジオのリュックの数を [BACK]
映像スタジオの通学かばんの数を g と定義する。
R = W + B = 13 + 7 = 20 なので、g = 12 + R = 12 + 20 = 9 である。
映像スタジオのリュックの数を w と定義する。
したがって、w = g + W = 9 + 13 = 22 である。
セントラル高校のリュックの数を c と定義する。
したがって、c = B × w = 7 × 22 = 16 となる。
答え：16

のように、わざと間違えた推論ステップを入れてその直後に [BACK] という特殊なトークンを入れたデータを用意します。一部のデータに対してこのような工夫を行ったコーパスを用意し、言語モデルをスクラッチから訓練します。

このように、わざと間違えて訂正したデータで訓練すると、ミスを自己修正できるようになり、難しいテストデータに対する正答率が大幅に上昇しました。

興味深い点が二つあります。

第一は、間違いのある推論ステップを訓練から取り除かなくてもうまくいくということです。間違いを訓練データを入れると言語モデルがわざと間違えるようになる懸念があるので、凝ったことをするならば、訓練時、間違いのステップと正解のステップが混ざったテキストデータを言語モデルに入力し、間違いのステップについては訓練損失の計算から省き、[BACK] トークンの出力方法だけ学習させる、つまり、マスキングをするということが考えられますが、そのような細工をしなくても単に混ざったデータを使って next token prediction をするだけで正答率が上がりました。

第二は、高い割合で（例えば半数のステップに）間違いのステップを入れたとしても、言語モデルはテスト時にわざと間違いのステップを挿入する事はほとんどなく、以前と同様、大抵の場合は最短のステップ数で正解にたどり着いていたことです。大抵の場合、実際に間違えてしまったときにだけ、[BACK] トークンを出力して発言を訂正していました。

間違いの訂正能力は事前学習で身につける必要がある

間違いの訂正能力は LoRA ファインチューニングでは身につけないことが分かりました。元々のモデルのように、間違いのないクリーンなデータでモデルをスクラッチから訓練した後、先ほどの例のように間違いのステップを含むデータで LoRA ファインチューニングをしても、間違いを自己訂正する能力はほとんど身につきませんでした。これは間違いを頭の中で認識する能力と、間違いを声に出して自己訂正する能力はかけ離れており、LoRA ファインチューニング程度の修正では身につないということを表しています。

Physics of Language Models: Part 3.1, Knowledge Storage and Extraction (ICML 2024)

arxiv.org

日本語に訳すと「知識の貯蔵と抽出」です。

この論文の主要な結果を一言で表すと、知識の貯蔵と抽出は別物ということです。言語モデルは知識の貯蔵は得意です。しかし、知識を抽出できるようにするためには工夫が必要です。

言語モデルの物理学の主要な特徴は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練することであったことを思い出してください。

ここでもやはりコントロールされた実験をするべく、新たにデータセットを作成します。具体的には大量の架空の人物の伝記を作成します。名前、生年月日、出生地、卒業した大学、大学の専攻、勤めていた会社、会社の所在地、これらをランダムに生成し、伝記を作成します。伝記はテンプレートにこれらのプロフィールを当てはめたものと、プロフィールをプロンプトに入れて言語モデル (Llama) に生成させる 2 種類作成します。どちらの変種を実験に使っても結果を大きく変わらないので、以下では変種については言及しません。

例えば以下のようなテキストです。

アーニャ・ブライヤー・フォージャーは1996年10月2日生まれ。
幼少期をニュージャージー州プリンストンで過ごす。
マサチューセッツ工科大学の教授陣から指導を受ける。
コミュニケーション学を専攻。
メタ・プラットフォームズで専門職を経験。
カリフォルニア州メンローパークに勤務。

架空の人物の伝記を 10 万人分作成します。

これとは別に、質問応答のデータも作成します。例えば以下のようなテキストです。

Q: アーニャ・ブライヤー・フォージャーの勤務地は？
A: カリフォルニア州メンローパーク

言語モデルは事前訓練時に何らかの質問を見ておく必要がある

全員の伝記テキストと、一部の人物（訓練用人物）についての質問応答テキストを使って言語モデルをスクラッチから訓練します。テスト時には、訓練時に見せなかった人物（テスト用人物）について、質問文を言語モデルに入力し、正しく答えられるかを確認します。すると大方の予想通り、言語モデルは高い精度（精度 86.6%）で質問に答えることができました。

続いて、全員の伝記テキストのみで言語モデルをスクラッチから訓練し、その後、訓練用人物の質問応答テキストでモデルをファインチューニング（インストラクションチューニング）し、テスト用人物についての質問文を言語モデルに入力しました。すると不思議なことに精度は全く出ませんでした（精度 10% 未満）。つまり、インストラクションチューニング用のデータを事前訓練時に見ていない（伝記しか見ていない）とインストラクションチューニングはうまくいきませんでした。

これが検証できたことも、コントロールされた実験設定のおかげです。現実の言語モデルでは、なぜかインストラクションチューニングだけで上手くいくことが多いですが、言語モデルが事前訓練時に似たデータを見ていた可能性があります。絶対に質問応答タスクのデータを事前学習時に見せず、本当に伝記データだけで事前学習したことで、インストラクションチューニングだけでは質問応答タスクがうまくいかないことが分かりました。

しかし、なぜこのようなことが起きるのでしょうか？

この失敗したモデルを検査してみると、テスト用人物についても伝記の続きは正しく生成できます（精度 99%）。つまり、テスト用人物についての知識は言語モデルの中に貯蔵されています。しかし、それが全く抽出できません。

これは直感的には、事前訓練時に知識の取り出し方を学ばなかったために、それが身につかなかったと考えられます。

以下にこのメカニズムを詳しく見ていきます。

言語モデルはデータ増強すると質問に答えられるようになる

全員の伝記テキストのみで言語モデルをスクラッチから訓練し、その後、訓練用人物の質問応答テキストでモデルをファインチューニングすると、テスト用人物についての質問応答に失敗することを述べました。ここまでの実験では、1人の人物につき1つの伝記のみを使用していました。伝記内で紹介するプロフィールの順番をランダムに入れ替えて、1人の人物につき、5つの伝記を作成してみます。すると、先程と同じように事前学習では伝記テキストのみしか使用していなくても、インストラクションチューニングがうまくいき、テスト用人物についての質問応答に高い精度で（精度 96.6%）答えられるようになりました。

これはなぜでしょうか？データ増強の効果にしては強すぎるように思います。

言語モデルはデータ増強をしないと全ての情報がそろうまで情報を抽出できない

データ増強をしていない元の言語モデルを考えます。この言語モデルの内部状態を調査すると、各情報を出力する直前まで、その情報が頭の中にありません。

例えば、アーニャ・ブライヤー・フォージャー（架空の人物）の伝記は以下の通りです。

アーニャ・ブライヤー・フォージャーは1996年10月2日生まれ。
幼少期をニュージャージー州プリンストンで過ごす。
マサチューセッツ工科大学の教授陣から指導を受ける。
コミュニケーション学を専攻。
メタ・プラットフォームズで専門職を経験。
カリフォルニア州メンローパークに勤務。

データ増強をしていない言語モデルに「アーニャ・ブライヤー・フォージャー」とだけ入力すると、この伝記を全て正しく生成できます。つまり、この言語モデルはアーニャ・ブライヤー・フォージャーの知識を暗記して貯蔵しています。

この言語モデルに

アーニャ・ブライヤー・フォージャーは1996年10月2日生まれ。
幼少期をニュージャージー州プリンストンで過ごす。
マサチューセッツ工科大学の教授陣から指導を受ける。

まで入力した段階で、内部状態から勤務地を予測してみても、予測できないことが分かりました。

アーニャ・ブライヤー・フォージャーは1996年10月2日生まれ。
幼少期をニュージャージー州プリンストンで過ごす。
マサチューセッツ工科大学の教授陣から指導を受ける。
コミュニケーション学を専攻。
メタ・プラットフォームズで専門職を経験。

まで入力してはじめて、カリフォルニア州メンローパークに勤務しているという情報を内部状態から読み取れるようになりました。

つまり、「アーニャ・ブライヤー・フォージャー」 → 「カリフォルニア州メンローパーク勤務」という形で知識が貯蔵されておらず、「アーニャ・ブライヤー・フォージャー、ニュージャージー州プリンストン出身、マサチューセッツ工科大学卒業、コミュニケーション学専攻、メタ・プラットフォームズに勤務」→「カリフォルニア州メンローパーク勤務」という形でのみ知識が貯蔵されています。一問一答で答えられる形式ではなく、ストーリーとしてだけ覚えているともいえるでしょう。各人物につき 1 つの伝記しかない場合、その伝記を生成するためには、たしかにこの貯蔵の方法だけで十分です。繰り返しになりますが、言語モデルは next token prediction でのみ訓練されていることを思い出してください。モデルは「次の」トークンさえ出力できたら良いのです。10 ステップ先のトークンをあらかじめ頭の中で準備しておく必要はありません。であれば、そのような不要なスキルが身に付かなかったとしても不思議ではないでしょう。しかし、この記憶方法では質問応答タスクを解くことができません。

一方、データ増強して訓練した言語モデルでは

アーニャ・ブライヤー・フォージャーは

と入力した段階でカリフォルニア州メンローパークに勤務しているという情報を内部状態から読み取れるようになります。

つまり、データ増強により、いつ知識を抽出されるかわからないというプレッシャーを与えたことで、人物名だけからいつでも情報を取り出せるようになったということです。

言語モデルは一部の人物についてのデータ増強だけで、うまく情報を記憶できるようになる

データ増強の実験では、全ての人物について 5 つの伝記を作成しましたが、実は一部の人物についてだけデータ増強を施し、それ以外の人物についてはデータ増強をせずに訓練をしたとしても、データ増強しなかった人物についても高い精度で正答できるようになります。つまり、一部の人物を通して、正しい記憶の仕方を学べば、他の人物についてもそれを応用できるようになるということです。

このシナリオは現実の設定とより近いと考えられます。現実では一部の有名人物については、いくつもの伝記が作成されています。現実世界の言語モデルはこれらのデータで情報の良い記憶方法を学んだおかげで、それ以外の人物についてもうまく質問応答ができるようになったと考えられます。

ここから得られる実践上の教訓としては

• 下流タスクに関連のあるインストラクションチューニングテキストを事前学習時にも使うことで精度が向上する。例えば、質問応答の例を事前学習に入れることで、言語モデルは知識の抽出方法を身に付けることができる。
• 事前訓練時に同じ情報を様々な方法で表現したテキストを用いることで精度が向上する。例えば、情報の提示順序を変えるデータ増強を行うことで、言語モデルは知識の抽出精度を上げることができる。

ということです。

Physics of language models: Part 3.2, knowledge manipulation (ICLR 2025)

arxiv.org

日本語に訳すと「知識の操作」です。

この論文の主要な結果を一言で表すと、言語モデルは知識の貯蔵ができても、思考の連鎖なしには知識の操作はできないということです。

データは先程と同じ架空の伝記データを用います。

言語モデルは貯蔵した形でしか知識を抽出できない

伝記のみでスクラッチから訓練した言語モデルに対して

Q: アーニャ・ブライヤー・フォージャーの生年月日は？
A: October 2, 1996

のように生年月日を答えさせるようにファインチューニングします。データ増強を行うと、高い精度で答えられるようになることを前回の論文で述べました。

同じように、

Q: アーニャ・ブライヤー・フォージャーの生まれ年は？
A: 1996

のように生まれ年を答えさせるようにファインチューニングしてみます。すると、正答率が極端に低い（精度 20% 程度）ことが分かりました。これはなぜでしょうか。

論文での実験ではアメリカ式に October 2, 1996 という形で記述されていることに注意してください。

これが起こるのは前回の結果と同様の理由です。データ増強をしましたが、これはプロフィールの種類ごとに順番を変えたというだけで、生年月日を述べる時にはいずれの伝記も全てアメリカ式で October 2, 1996 の順番で並んでいます。ゆえに、この言語モデルは October 2, が入力されるまで 1996 という情報を抽出できないようになってしまっています。

このほか、

Q: アーニャ・ブライヤー・フォージャーの生まれ年は偶数か？
A: Yes

のような分類問題、

Q: アーニャ・ブライヤー・フォージャーの生まれはサブリナ・エウジオ・ズバーグよりも早いか？
A: No

のような比較問題についても同様です。アーニャ・ブライヤー・フォージャーが October 2, 1996 生まれ、サブリナ・エウジオ・ズバーグは September 12, 1994 生まれであることを言語モデルは知っているのだから、どちらが早いかを答えるのも簡単そうですが、答えることができません。

つまり、言語モデルは知識を貯蔵できる。訓練時に見た順序であれば、抽出もできる。しかし、知識の操作はできないということです。GPT-4 などの現実の言語モデルも「ジョー・バイデンの生まれ年は奇数か？」といった知識の分類問題を解けないことが観察されています。

GPT-4 は「ジョー・バイデンの生まれ年は奇数か？」といった知識の分類問題を解けないことがある。

現実の言語モデルはこの種の問題を解けることもあります。しかしそれは、ウェブ上でたまたまその問題そのもの、あるいはほとんど同じ問題が載っていた（例えば誰かが「ジョー・バイデンは奇数年に生まれた」と意味なくツイートしたかもしれません）というだけで、言語モデルは知識の操作でその問題を解いていない可能性が高いです。くどいですが、ウェブコーパスが複雑すぎるので本当にそうなのかは誰にも分かりません。この論文の実験によって、コントロールされた状況下では、たしかに言語モデルは知識の操作ができないことが確認されました。

思考の連鎖は役に立つが、テスト時にも使わないと機能しない

この問題の分かりやすい対処法は思考の連鎖です。

Q: アーニャ・ブライヤー・フォージャーの生まれ年は？
A: アーニャ・ブライヤー・フォージャーは October 2, 1996 生まれ。よって答え：1996

というテキストでモデルをファインチューニングすると、高い精度で正答できるようになります。

しかし、このように訓練されても、テスト時にいきなり答えを出力するように求められると、モデルは誤答します。つまり、あくまで思考の連鎖の方法を学んだのであって、直接的に知識を操作できるようになったわけではありません。

言語モデルは逆検索ができない

これの最たる例が逆検索、つまり

Q. October 2, 1996 に生まれた人物は誰か？

というタスクです。このタスクでファインチューニングし、テスト時に与えられた日に生まれた人物が1人しかいなかったとしても、言語モデルはこの問題に全く答えることができません。言語モデルがアーニャ・ブライヤー・フォージャーは October 2, 1996 に生まれたことを知っていたとしても、です。これは、「[人物] は [生年月日] 生まれである」という順番でしか情報を見たことがないからです。

つまり、言語モデルにおいては、「A から B が取り出せる」ならば「B から A が取り出せる」という対称律が成立しません。これは検索エンジンとして使うには致命的な欠陥です。しかも、このような逆検索は思考の連鎖で解くことが難しいです。

これは言語モデルはあくまで言語モデルであるということです。言語モデルは順方向の検索がそれなりにできるので、検索エンジンの機能を内包するように錯覚しがちですが、言語モデルは検索エンジンではなく言語モデルです。「next」token prediction で訓練された名残が、ここにはっきり現れるわけです。

この傾向は GPT-4 など現実のモデルでも観察できます。例えば、ジェーン・オースティン『高慢と偏見』の一節を取り出し、この次の文は？と GPT-4 に聞くと 65.9% の精度で正答しますが、この前の文は？と聞くと、 0.8% の確率でしか正答できません。このように事前訓練で入力される順番が常に固定されているテキストにおいては、正答率に激しい非対称性が現れます。

Physics of language models: Part 3.3, knowledge capacity scaling laws (ICLR 2025)

arxiv.org

日本語に訳すと「知識容量のスケーリング則」です。

この論文の主要な結果を一言で表すと、言語モデルはパラメータ 1 つにつき約 2 ビットの情報を記憶できるということです。

スケーリング則と言うと従来はモデルパラメータ数に対する損失値やテスト性能を分析してきました。この研究では、（アーニャ・ブライヤー・フォージャー、勤務地、カリフォルニア州メンローパーク）のような三つ組知識をいくつ格納できるか、より正確には何ビットの知識を格納できるかということを分析しています。

データは先程と同じ架空の伝記データを用います。

言語モデルはパラメータ 1 つにつき約 2 ビットの情報を記憶できる

伝記の人数を 1 万人から 1000 万人まで試し、言語モデルのパラメータを 100 万から数億まで試したところ、一貫して 1 パラメータあたり 2 ビットのプロフィール情報を記憶しました。モデルアーキテクチャを GPT-2、Llama、Mistral などと変えたり、登場する会社名や地名の数を変えたりしても一貫してこの傾向が見られました。

知識容量のスケーリング則。横軸がパラメータ数、縦軸が記憶量、点の色が伝記の人数を表す。青色の直線がパラメータあたり 2 ビットの記憶容量を表す。伝記の中身を全て暗記してサチるまでは、一貫してこの青の線に沿って記憶容量が変化する。

int8 量子化をしても記憶容量は下がらないが int4 量子化をすると記憶効率が下がる

量子化をして同じ実験をしたところ、int8 では記憶容量はほとんど変わりませんでした。int8 の理論限界は当然パラメータあたり 8 ビットですから、言語モデルは理論値の 25% 程度は記憶容量を有効活用できていることを表します。一方 int4 量子化をすると、容量は 2 倍以上悪くなってしまいました。つまり効率から言うと int8 が最適だったということになります。

25% というと少ないように感じるかもしれませんが、next token prediction によるモデルの訓練だけでここまで達成できるのは非自明です。理論値は、三つ組知識以外の余計なテキストをそぎ落として、知識を zip で圧縮して、ギチギチにストレージに格納してようやく達成できるようなものです。SGD でモデルを訓練するという間接的な方法を用いながら、しかもモデルは単に三つ組を暗記するだけでなく、それ以外の能力も獲得しながら、理論値の 25% を達成できるのは、かなりすごいことだと言えます。

ゴミデータは記憶容量を悪化させるがソースを明記すると悪くならない

質問応答で使う人物のほかに、質問応答で使わない無意味な伝記を大量に作成し、訓練データに混ぜて訓練します。質問応答で使う人物については訓練で 100 回ずつ見ますが、無意味な伝記は一度見たら使い捨てます。一度しか現れないのでランダムな伝記と区別できません。このようなゴミデータは重要なデータを記憶する邪魔になるでしょうか。

答え：大変な邪魔になります。このようにゴミデータを混ぜて訓練すると、パラメータあたりの記憶容量が 20 倍以上悪化します。つまり、事前訓練のデータの品質は非常に重要です。

しかし、簡単な解決策があります。重要なデータの頭に何でも良いので特殊なトークンをつけるということです。例えば [wikipedia.org] でも良いでしょう。（もちろん [joisino.hatenablog.com] でも良いです。）そうするとゴミデータを混ぜた悪影響はなくなります。

訓練時にこのトークンがついたデータは重要であることは明示的には教えていません。やはり単に next token prediction で訓練しただけです。それでも言語モデルはこのトークンが頭についたテキストは重要であることを自動的に学習できたということです。

現実の言語モデルでも Wikipedia の情報がよく抽出されることがありますが、このメカニズムが一因である可能性があります。現実の言語モデルはウェブコーパスを使用しており、訓練プロセスも複雑なので、残念ながら原因は明確には分かりません。しかし、この実験により、コントロールした環境の中では、このような使い捨てのゴミデータと反復的に現れる重要データを見分けるメカニズムが言語モデルに内在していることがわかりました。

この論文を通して、言語モデルはパラメータ 1 つにつき、約 2 ビットの情報を記憶できるということを確認しました。逆に、必要な知識の総量がわかっている場合には、それをビットで表した約2倍のパラメータ数のモデルを準備すれば十分ということです。7B モデルでも 140 億ビットということで、これは英語 Wikipedia の総知識量を超えるほどですから、かなりの知識を言語モデルに込めることができます。

おわりに

言語モデルの物理学のコンセプトは有望だと考えています。

もちろん、物理学の名前を掲げたところで、必ずしも物理学のようなブレイクスルーが保証される訳ではありません。本質的に簡単なものをわざと複雑に記述することはできても、本質的に複雑なものを簡単に記述することは不可能です。物理学には などのエレガントな法則がたまたまあったからそれを発見できたのであって、そもそも言語モデルにエレガントな法則がなければ発見のしようもありません。

それでも、従来の研究方法と比べれば、言語モデルの物理学はより良い方向に向かっているように思えます。実際、既に有益な法則をいくつも発見できています。この先に ほどのエレガントな統一法則が待っていることが保証されていなくても、この方向に進むことは有益であると思います。いつか統一法則が見つかることを夢見てこの方向に進みましょう。AGI が達成されるその日まで。

著者情報

この記事がためになった・面白かったと思った方は SNS などで感想いただけると嬉しいです。

新着記事やスライドは @joisino_ (Twitter) にて発信しています。ぜひフォローしてくださいね。

佐藤 竜馬（さとう りょうま）

京都大学情報学研究科博士課程修了。博士（情報学）。現在、国立情報学研究所助教。著書に『深層ニューラルネットワークの高速化』『グラフニューラルネットワーク』『最適輸送の理論とアルゴリズム』がある。

プロフィールを見る