コラム :AI競争「大規模が優位」に幕、枯渇する訓練用データ

コラム:AI競争「大規模が優位」に幕、枯渇する訓練用データ
 人工知能(AI)の分野には多くの不確実性があるが、明確だと思われていたことが1つだけあった。より大規模で高価なシステムほど優れた結果を生み出すということだ。写真は、アジア太平洋経済協力会議(APEC)CEOサミットに出席したOpenAIのサム・アルトマンCEO。2023年11月、米カリフォルニア州サンフランシスコで撮影(2024年 ロイター/Carlos Barria)
[ニューヨーク 13日 ロイター Breakingviews] - 人工知能(AI)の分野には多くの不確実性があるが、明確だと思われていたことが1つだけあった。より大規模で高価なシステムほど優れた結果を生み出すということだ。だから生成AI企業オープンAIは絶え間なく資金調達を行い、巨大IT企業はAIに多額の資金を投じてきた。しかし今、この原則が根底から崩れつつあるようだ。
ソフトウエアを訓練するための新しいデータが底を突き、研究者らは現在、問題により多くの資源をつぎ込むだけでより優れた結果を得ようと奮闘している。ゴールドラッシュの時期は終わりを迎え、より小回りのきく企業に新規参入のチャンスが生まれているのかもしれない。
テクノロジーの専門家らはつい最近まで、AIの「スケール原則」、つまり規模は大きいほど良いという考えで一致していた。2020年、サム・アルトマン氏率いるオープンAIの研究者は、いわゆる大規模言語モデルはデータ、コンピューティング能力、システム内のパラメータをより多く使って訓練すれば着実に改善することを示した。これは半導体とデータセンターの拡張競争を引き起こした。
厄介なのは、AIのスケール原則の根拠が崩れつつあるように見えることだ。最先端のシステムはすでに、世界中の有用で利用可能な訓練用データをほぼ利用し尽くしている。複数のAIラボが次世代モデルを改善させるのに四苦八苦している。
アルファベット(GOOGL.O), opens new tab、のスンダー・ピチャイ最高経営責任者(CEO)は最近のイベントで、主要なモデルが同程度の性能レベルに収束しており、さらなる改善の道はより険しくなったと述べた。オープンAIのアルトマン氏は同じ会議で「壁はない」と述べたが、規模を拡大すれば簡単に改善するという状況が消えつつあることを認めた。
一部の研究者は、これまでの力技的なアプローチではなく、今後はより優れたアルゴリズムから進歩がもたらされるようになると期待している。「テストタイム・コンピュート」と呼ばれる技術は推論プロセス、つまり顧客が実際にAIシステムを使用する段階の性能強化に重点を置いている。パターンを見つけたり、新しいデータを使用したりする時間をモデルにもっと与えることで、より良い結果が得られる可能性があるということで、これによって大きな問題を小さな問題に分割できるかもしれない。
ただ、これは有望である一方、「急激に改善するソフトウエア」というAI推進派のビジョンからは後退したものだ。また、モデルがいったん問題に対する可能な答えを全て検討し終えると、時間を追加しても必ずしも役立つとは限らない。AIシステムが長時間を要し過ぎるなら、ユーザーは他の答えを探すかもしれない。
Giant tech companies have sharply increased investment in the past few years.
AIの減速がささやかれても、アルファベット、アマゾン・ドット・コム(AMZN.O), opens new tab、メタ・プラットフォームズ(META.O), opens new tab、マイクロソフト(MSFT.O), opens new tab、エヌビディア(NVDA.O), opens new tabの株価は今のところ堅調だ。新しい時代の到来は、企業ごとに異なる影響を及ぼすだろう。
最も多くを失うのはエヌビディアだと考えられる。エヌビディアの画像処理装置(GPU)に対する狂乱的な需要が同社を潤してきた。その象徴的な例として、実業家イーロン・マスク氏のxAIが最近発表した、GPUを100万個搭載したスーパーコンピューターの構築計画がある。しかし企業は将来、より特化された、より安価な半導体を好むようになる可能性があり、そうなるとエヌビディアの3兆3000億ドルの株式時価総額はリスクにさらされそうだ。
オープンAIやアンソロピックのようなモデル開発企業は、おそらく複雑な心境だろう。 明るい面としては、より巨大なシステムを訓練する必要がなくなれば業績に好影響がもたらされるという点がある。 一方で、彼らが作ったモデルが進化を続けて最終的に世界の既存ソフトウエアの大半に取って代わる、という強気シナリオが一部崩れる。
巨大企業についても、状況は同様に複雑だ。
マイクロソフトなどにとっての朗報は、ライバル企業がどんなタスクもこなす超知能の巨大モデルを開発するという、自社存亡の危機を避けられることだ。AIのスケール化が無限に続くなら、これはあり得る事態だった。この競争に負ければ、史上最大の富を生み出す可能性を秘めた技術を逃しかねなかった。つまり、大当たりするチャンスは以前ほど大きくないかもしれないが、より強力なライバルに押しつぶされるリスクも小さくなったということだ。
そうした懸念から解放されたマイクロソフトのナデラCEOとアルファベットのピチャイCEOはアクセルを緩め、支出に見合うだけの売上高が得られるまで待つことができる。株主も満足するだろう。鉄道や通信のブームを振り返れば、新技術に対する過剰な熱狂は危険だと分かる。メタのマーク・ザッカーバーグCEOでさえ、各企業が過剰投資している可能性を認めている。研究グループのエポック・ドット・エーアイによると、最大規模モデルの演算コストは8カ月ごとに倍増しており、学習に必要な電力消費量は毎年倍増している。
しかし設備投資競争の終結は、参入障壁の低下も意味する可能性がある。膨大な演算能力がもはや必須でなくなれば、新規参入企業は、例えばメタが提供するオープンソースモデルを基に設計することで、最小限のコストで競争力のあるAI製品を開発できるはずだ。広く利用可能なシステムにひねりを加えることで、法律やプログラミングといった特定の業界に特化した企業用ソフトウエアを提供する新潮流が生まれる可能性もある。
どの企業が勝つにせよ、AI訓練費用がどんどん増加することに歯止めがかかるのであれば、投資家全体にとって歓迎すべきニュースだろう。推論プロセス、つまり訓練を終えたモデルを顧客が利用する際のコストは最近、一足先に急低下している。100万トークンのデータ処理にかかる費用は、3年前には60ドルだったが、ベンチャー企業アンドリーセン・ホロウィッツによると、現在は0.06ドルだ。
コストの低下は採用を促し、進歩の初期兆候を広めるのに役立つはずだ。例えばメタではオープンAIの生成AI「チャットGPT」が登場する前に比べ、四半期の広告収入が46%増加する一方、営業コストは5%しか増えていない。これはターゲティング広告の改善が原因かもしれない。
ゴールドラッシュが終わった後は、投資のリターンを証明し、目もくらむような投資家の期待に答えるという困難な作業が待ち受けている。
Ad revenue, depicted by an orange line, has risen far more quickly than operating costs since the start of the AI era in late 2022
(筆者は「Reuters Breakingviews」のコラムニストです。本コラムは筆者の個人的見解に基づいて書かれています)

私たちの行動規範:トムソン・ロイター「信頼の原則」, opens new tab

筆者は「Reuters Breakingviews」のコラムニストです。本コラムは筆者の個人的見解に基づいて書かれています。

トムソン・ロイター

Robert Cyran, U.S. tech columnist, joined Breakingviews in London in 2003 and moved four years later to New York, where he continues to cover global technology, pharmaceuticals and special situations. Robert began his career at Forbes magazine, where he assisted in the startup of the international version of the magazine. Before working at Breakingviews he worked as a market researcher and reporter covering the pharmaceutical industry. Robert has a Masters degree in economics from Birmingham University and an undergraduate degree from George Washington University.