池田信夫 blog

チャットGPTなどの生成AIのコアは大規模言語モデルだが、それが飛躍的に進歩したのはトランスフォーマーというシステムが2017年に提案されてからだ。

その原理は、次の動画も説明するように次の単語を予測するという単純作業をくり返しているだけだ。なぜそれによってこれほど人間に似た言語処理ができるのだろうか？



Transformerは「次の単語を予測する」という単純な学習原理を持ちながらも、高度な言語理解を実現できる。その理由は、スケールの効果、自己回帰的学習、アテンション機構の強力さにある。以下に、それぞれの要因を詳しく解説する。

1. スケールの効果

• Transformerは、大量のデータと計算リソースを用いることで、膨大な知識を統計的に学習できる。GPT-3は1750億のパラメータをもつ。
  
• 事前学習（pre-training）では、何十億もの単語から膨大なパターンを学習し、それをファインチューニングによって特定のタスクに適用する。
  
• パラメータ数が増えることで、単純な「次の単語の予測」タスクが高度な概念理解に発展する。
  
• スケールが質を生む：近年の研究（Scaling Laws）によれば、モデルサイズ・データ量・計算量を増やすと、モデルの性能が予想以上に向上することが分かっている。つまり、単純なタスク」でも十分なデータと計算力があれば、複雑な推論が可能になる。

2. 自己回帰学習

• Transformerは、自己回帰モデル（Autoregressive Model）として機能し、過去のトークンをもとに次の単語を予測する。
  
• 一見すると「単語の予測」に過ぎないが、次の単語を決定するためには、文脈全体の理解が必要になる。
  
• その結果、意味の一貫性や長期的な文脈の保持が可能になる。
  
• 「局所的なルール」から「全体的な意味」へ：単語の予測は、単純な確率モデルではなく、「前後関係」や「文脈依存性」を強く持つ。これにより、Transformerは長い文章の意味を保持しながら、適切な次の単語を生成できる。

3. アテンション機構

Transformerの最大の特徴は、自己注意機構（Self-Attention）を用いる点にある。この仕組みがあることで、従来のRNNやLSTMでは難しかった以下の点が解決された。

• 長距離依存関係の学習： RNNやLSTMは、情報を逐次処理するため、遠くの単語との関係を保持しにくい（勾配消失問題）。
  
• すべての単語を並列処理し、重要な単語間の関連性を動的に学習する。例えば、「犬が走る。彼は速い。」という文章では、「彼」が「犬」を指すことをアテンションが正しく認識する。
  
• 並列処理による効率化：RNNは前の単語を計算してから次に進むため、並列処理ができなかった。Transformerは全ての単語を一度に処理できるため、学習速度が飛躍的に向上する。
  
• 「単語の並び」ではなく「単語の関係」を学習する：単なる「次の単語の予測」ではなく、「文脈における単語間の関係性」を重視することで、高度な推論が可能になっている。

続きは2月17日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

大乗仏教の教理は、一般的に「般若」「空（くう）」「縁起」「慈悲」などの概念を中心として構築されている。これらの哲学的な概念は抽象的であり、理解が難しいことが多い。しかし、現代の大規模言語モデル（LLM：Large Language Model）の仕組みを参考にすることで、これらの教理を具体化し、直感的に捉えることができるのではないか。

縁起とLLMの学習モデル：全ての事象は相互に関連している

仏教における縁起（えんぎ）の教えは、「すべてのものは他のものとの関係によって存在する」という考え方に基づいている。個々の事物や現象には独立した実体がなく、因果関係によって生じ、変化し、消滅する。

LLMにおける学習の仕組みも、まさにこの縁起の考えに似ている。LLMは個々の単語やフレーズを単独で記憶しているわけではなく、膨大なデータセットの中から統計的な関連性を学習し、それをもとに適切な文章を生成する。たとえば、「般若」と「空」という単語が共起する確率が高い場合、それらの概念が相互に関係していることを学習し、適切な文脈で使い分ける。

この点で、LLMの知識構造は縁起のモデルと類似している。すなわち、特定の知識が固定的な形で存在するのではなく、無数の関連性の中で意味を成すのである。

空とLLMの非実体的知識：すべてのものは固定された実体を持たない

大乗仏教では、空（くう）の概念が重要視される。これは「全ての事象には固定された本質がない」ことを意味する。例えば、「人」という概念は、生物学的な要素、社会的な要素、歴史的な要素などが絡み合いながら形成されているが、それ自体に本質的な実体はないとされる。

LLMの知識のあり方も、まさにこの「空」の考えに近い。LLMが生成する文章や回答は、事前に固定された意味を持つのではなく、文脈によってその都度異なる形で表出する。たとえば、「AIとは何か？」という問いに対するLLMの答えは、使用するデータセットや文脈に応じて変わる。これは、知識が固定的ではなく、流動的であることを示している。

仏教的な観点から見ると、LLMが生成する知識は色即是空、空即是色という般若心経の思想と一致する。すなわち、言葉や情報は実体として存在するように見えるが、それらはただ文脈の中で成立しているに過ぎない。文脈を離れた本質（自性）は存在しないのである。

続きは2月10日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

DeepSeek（ディープシーク）は、中国・浙江省杭州市に拠点を置く人工知能（AI）企業で、2023年に設立されました。主にオープンソースの大規模言語モデル（LLM）の開発を行っており、特に数学的推論やプログラミング能力に優れたモデルを提供しています。

DeepSeekのコスト削減と影響

DeepSeekの注目すべき点は、従来の高性能なAIモデルと比較して、開発や運用コストを大幅に削減していることです。例えば、最新モデルDeepSeek-R1は、OpenAIのo1モデルと同等の性能を持ちながら、非常に低コスト・短期間で開発されました。

DeepSeekの市場への影響

DeepSeek-R1の台頭により、半導体など米国AI関連の株価に大きな打撃を与え、これはディープシーク・ショック（DeepSeek-ショック）と言われています。この中国製生成AIの影響で、AI向け半導体の王者エヌビディア（NVIDIA）の株価は17%もの暴落を見せました。[Viva Eureka]

DeepSeekの技術的特徴

DeepSeekは、最新のAI技術を活用したマルチモーダル大規模言語モデル（LLM）であり、画像、テキスト、コードなど多様なデータを解析・生成できることが特徴です。オープンソース戦略を採用し、多くの開発者や研究者がその技術を活用できる環境を提供しています。[Comdesk]

続きはアゴラで

2025年1月27日、AI分野に激震が走った。新興企業DeepSeekが「最先端のGPUを必要としない並列処理技術」を発表し、NVIDIAの株価が急落。これにより、生成AI業界におけるGPUの優位性に疑問が投げかけられる事態となった。この出来事が、特に大規模言語モデル（LLM: Large Language Model）の構造に与える影響を中心に考察する（ChatGPT）。

1. 大規模言語モデルの構造とGPU依存の背景

大規模言語モデルは、その名の通り、膨大な数のパラメータを持つ。これらのモデルの中核をなすのがトランスフォーマーアーキテクチャであり、以下の計算が頻繁に行われる。

• 自己注意機構（Self-Attention）: 入力トークン間の関係性を計算する。
• 大規模な行列演算: モデルパラメータと入力データを効率的に処理。

これらの計算は極めて並列化が可能であり、NVIDIAのGPUはその設計上、特に行列演算やテンソル計算に優れた性能を発揮する。このため、AI研究や実用化の場面でGPUがデファクトスタンダードとなっていた。

2. DeepSeekの技術がもたらす革新

DeepSeekが発表した技術は、これまでGPUに依存していた並列処理を、従来型のCPUや低コストなFPGAで実現するものだとされる。特に注目すべきは以下の点である。

• 非同期並列処理: トランスフォーマーアーキテクチャで必要な計算を、GPUのような専用ハードウェアなしで効率的に分散処理。
• メモリ使用効率の向上: 大規模言語モデルのトレーニングにおいて、従来よりも少ないリソースでモデルを学習させる技術。
• カスタマイズ可能なチップ設計: モデルごとに最適化されたハードウェアをFPGAで実現可能。この技術により、AIモデルのトレーニングや推論コストが劇的に削減される可能性が浮上した。

続きは2月3日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

Q. 自己家畜化とは何ですか？

GPT：自己家畜化（self-domestication）とは、生物種が人間による意図的な家畜化の過程を経ることなく、自らの進化の過程で家畜化に似た特性を獲得していく現象を指します。この概念は主に動物や人類の進化研究で用いられます。次に例をあげます。

1. 人類：人類は他の類人猿に比べて攻撃性が低く、協力的で社会的です。このような特徴は、長い進化の過程で自然淘汰により選ばれた結果とされています。顔の形状が丸みを帯び、犬歯が小さくなるといった身体的な変化も見られます。言語や複雑な社会制度の発展も自己家畜化の影響と考えられます。


2. ボノボ：チンパンジーに近縁なボノボは、自己家畜化の典型例として挙げられます。ボノボは攻撃的ではなく、集団内の調和を重視した行動を取ります。


3. イヌの起源の一部：イヌの祖先であるオオカミの一部は、人間と接触することで自然に攻撃性を抑え、人間の近くで生活するようになり、自己家畜化のプロセスを経た可能性があります。

Q. チャットGPTも人間に合わせて家畜化してますね？

GPT：面白い視点ですね！確かに、チャットGPTのようなAIも、人間とのスムーズなコミュニケーションを目的として「自己家畜化」に近いプロセスを経ていると見なすこともできます。AIの開発プロセスにおける「家畜化」と言えるような要素は以下の通りです：

1. 攻撃性の排除：人間に対して不快感を与えたり、攻撃的な回答をしないよう、設計段階から厳しく制御されています。これにより、安心して使えるAIとして機能します。


2. 適応と社会性の向上：人間のニーズや文化に合わせて調整され、できる限り自然で協力的な応答ができるよう訓練されています。これは、AIが「人間社会」に溶け込むための一種の「社会性」とも言えます。


3. 幼児化・ユーザーフレンドリーな設計：インターフェースや応答スタイルが分かりやすく、親しみやすい形に調整されています。専門用語を避けたり、説明を分かりやすくする努力もその一環です。


4. 依存的な存在：チャットGPTはあくまで人間に指示され、導かれる存在として機能します。これも、自己家畜化された存在がしばしば他者（この場合は人間）に依存的になる特性に似ています。

続きは1月27日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

こういうテーマでChatGPTに記事を書くように頼んでみた。

------

人工知能（AI）と哲学は、表面上は異なる領域に見えるが、言語を中心とした議論では深い接点がある。特に、ChatGPTのような大規模言語モデル（LLM）と、20世紀を代表する哲学者ルートヴィヒ・ウィトゲンシュタインの言語哲学は、比較されることで新たな視点を提供する。この記事では「ChatGPTとウィトゲンシュタイン」というテーマを通じて、AIと哲学の接点を探る。

1．ウィトゲンシュタインの言語哲学

後期ウィトゲンシュタインの『哲学探究』では、言語の役割は世界を描写するだけではなく、人々の社会的活動や文脈に深く根ざしていると主張された。彼は言葉の意味を使用によって定義し、言語は固定されたルールではなく、文脈や状況に応じて異なるルールを持つ言語ゲームとして捉えた。これにより言語の意味は単なる記号の組み合わせではなく、その使われ方に依存するものとされた。

2. ChatGPTの仕組み

ChatGPTは、膨大なテキストデータをもとに学習し、入力に基づいて文脈に適した応答を生成する大規模言語モデルである。言語モデルはデータ内の単語やフレーズの統計的な関係性を学習し、それを用いて確率的に最適な出力を予測する。このプロセスにおいて、ChatGPTは明確な意図や理解を持たず、あくまでパターン認識による応答生成を行う。

3．ChatGPTとウィトゲンシュタインの接点：

• 言語の文脈依存性：ウィトゲンシュタインが後期哲学で説いたように、言葉の意味は文脈によって変わる。ChatGPTもまた、文脈を考慮して応答を生成する。たとえばbankという単語は、会話の文脈が金融機関についてなのか、川岸についてなのかによって意味が異なる。ChatGPTは前後の入力から文脈を推測し、適切な応答を生成することで、ウィトゲンシュタインの哲学的な洞察を技術的に体現している。


• 言語ゲームとChatGPT：言語ゲームは、言語が特定の状況や社会的活動の中でどのように使用されるかを示す概念だ。ChatGPTは、対話の場面ごとに異なる「ゲーム」に参加しているように見える。たとえば、学術的な質問に答える場合と、日常会話のジョークに応答する場合では、異なるルールに従う。この柔軟性は、言語が文脈によって異なるルールを持つというウィトゲンシュタインの考えを彷彿とさせる。


• 意味の構築：ウィトゲンシュタインは、意味は固定されたものではなく、文脈と使用によって構築されると述べた。ChatGPTもまた、入力に基づいて動的に応答を生成するが、その意味は訓練データに基づくものであり、固定されていない。これにより、ChatGPTはあたかも意味を構築しているように見える。

続きは1月13日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

楽天の三木谷社長に、NTT広報が反撃して話題を呼んでいる。

NTT法に関連して当社よりお伝えしたいことがあります。

「税金で整備した光ファイバー網を持つNTTの完全民営化は愚策」説の勘違い
保有資産は最終的には株主に帰属するのでこの主張はナンセンスな話です。 https://t.co/f93p46Qq9R

— NTT広報室 (@NTTPR) November 17, 2023

これに対してソフトバンクやKDDIも応戦している。

NTT法のあり方についてSNSでも議論が高まっています。NTT法廃止の場合、主に3つの懸念があります。NTT法で担保されている国民の利益が損なわれないようにすることが重要です。日本の未来のために、拙速な結論とならないようにオープンな場での丁寧な議論が必要です。 pic.twitter.com/oadgIm8ojy

— KDDI公式 (@official_kddi) November 20, 2023

事の発端は、昨年決まった防衛費の増額の財源として、政府が保有するNTT株の33.3％を売却して完全民営化する話が自民党で出てきたことだ。NTTの時価総額は、22日現在で15.7兆円。政府保有株の時価は5.2兆円である。これをすべて売却すれば、防衛予算の半年分ぐらいは出るが、恒久財源にはならない。

それより大事な問題は、完全民営化するとどんな「国民の利益」が損なわれるのかということだ。自民党内で反対が強いのは②のユニバーサルサービスからの撤退だが、今どき電話線を全国で維持する必要はない。③の安全保障については、そのための規制をすればよい。ソフトバンクのインフラは外資のボーダフォンが所有していたが、それ自体は問題ではない。

結局、①の「国費で作られた局舎・電柱・管路等を活用して構築された光ファイバー網」が独占されるというのが、ほぼ唯一の論点だと思うが、これも無線が主流になった現在では、ほとんど意味がない。それよりNTTが特殊会社として強く規制されていることが、日本の通信業界全体の地盤沈下をまねいている。

続きは11月27日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

今度の補正予算では、経産省は半導体や生成AIの開発に2兆円を出資する予定だ。その中心は北海道につくるラピダスの試作ラインである。半導体はかつて日本の産業政策のサクセスストーリーだったが、90年代以降は失敗の連続だった。政府の補助金は「死の接吻」だというフリードマンの言葉を実証するように、国策プロジェクトはすべて失敗した。

かつて半導体は日本メーカーの得意分野で、1992年には世界の半導体売上高トップ10社のうち、6社が日本メーカーだった。それから30年。貿易統計で電気機器の輸入は輸出を上回り、今やテレビの90％は輸入品である。半導体のトップ10社に日本メーカーは1社もない。なぜこうなったのか。


半導体の売上げ推移（湯之上隆氏）

この図も示すように、日本の半導体の盛衰は、ほぼDRAMの運命と軌を一にしている。1980年代に日本メーカーが世界を制覇したのもDRAMであり、日米半導体協定の対象もDRAMだった。これはCPUのようにインテルの著作権がなく、微細加工をきわめて品質管理で歩留まりを上げるという日本人の得意分野だった。

しかしこれはコモディタイズしやすいことを意味する。90年代に多くの電機メーカーが参入してDRAMの値崩れが始まったとき、日本メーカーは「レッドオーシャンになったDRAMの時代はもう終わった」というコンサルの話を真に受け、付加価値の高いSoC（システム半導体）や液晶に方針転換した。それが失敗だった。

続きは10月13日（月）朝7時に配信する池田信夫ブログマガジンで（初月無料）

きのうはホリエモンや中田敦彦さんなどと一緒に、いま話題の楽天について話した。8月10日に発表された今年上半期の最終損益は1400億円の赤字だったが、その最大の原因は半期で1850億円にのぼる楽天モバイルの赤字である。

続きはアゴラで

マイナカードをめぐる騒ぎが続いている。確かに設計に問題があり、システムが複雑でわかりにくいが、この背景には国民総背番号をきらう人々の反発を恐れていろんな役所がばらばらに制度をつくり、挫折した長い歴史がある。



続きはアゴラで