ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦

テクノロジーカテゴリーの変更を依頼記事元:

379 usersがブックマークコメント

112

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated... ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである

mangabon これで先に5万基とか揃えてたら、それはそれで「令和の箱物行政！肝腎のソフトで出遅れ！」とか言われるんだ、知ってるんだよ。

2023/08/19 リンク

lein4921 そもそも同じようなものいくつも作ってどうすんだろ｡GPT以外のやつ大量に出てるけどマニアがおもちゃ感覚で一回触ってブログ記事にして終わりな現状

sny22015 “最初期にNVIDIAがH100の営業に来た時に「高いからいらない」と門前払いをした日本の企業や政府組織が多かった” 先見性のなさはいつものこと

haatenax GCでも辺鄙なリージョン選ばないとAIモデル用のGPU不足してて割り当てされない…国家戦略としてリアルな計算資源持つことの大事さは分かる

2023/08/20 リンク

BlueSkyDetector 同じ常識を共有する集団ごとに異なるLLMは必要だと思うよ。身近な例だと、投稿の健全性チェッカーに使うにしても、ヤフコメと5chとはてブだと異なる基準が必要なはず。少なくとも国や文化圏ごとに必要だと思うな。

hagakuress 30年間昭和を追い求め続ける日本の自称エリートリーダー達は自分達の生活が揺らぐ訳ではないウチは何も変える気はないし、戦力の逐次投入で負け続けるのはWW2からの伝統ですよ。

tfurukaw 敗戦って一体誰と戦ってるんだろう？　アメリカと張り合あって勝てる気でいるつもりの人は、コンピュータ触る前に、一般教養として明治以降の歴史～第2次世界大戦の反省したほうが良いと思う。

agricola 富岳のA64FXにも機械学習用の拡張命令とかがないわけじゃないんだが、CPUとHBM2メモリがセット、かつ1ノードあたりのメモリが32GBしかない。メモリ容量だけ単純比較してもA100に負けてるんだよねぇ。

2023/09/07 リンク

suzu_hiro_8823 数揃えれば良いという話ではないが、数を揃えてもダメな気がする。"国策"という時点でガーベジイン・ガーベジアウトという言葉に変換される(-_-)zzz

わりとどうでもいい米

fukuroiri 何の勝負なのか。ルールは？そもそもそんなルールの試合に日本は参加しているんですか？何でもかんでも単純に「勝ち／負け」で考えるのは認知的複雑性が低い証拠です。データドリブンでルールは自分で決めましょう。

2023/08/22 リンク

ookitasaburou “一方、日本で最大規模のディープラーニング計算資源は産総研が管理するABCI(AI橋渡しクラウド基盤)である。ただし、4世代前のV100を1088基と、3世代前のA100(40GB)を120基しかない。足してもわずか1208基である。”

2023/08/21 リンク

misshiki “ChatGPTを開発するのには1万基のNVIDIAのGPUが必要と言われている。先の記事によれば、GPT-4を開発するのに1万から2万5千基のGPUを使ったと想定されている。”

deb あんまり出荷台数とか公にされないのは、これ数基あれば核ミサイルや原爆のシミュレーション、数十台あれば核開発も可能だから…

rosiro とりあえず清水さん以上にAIに詳しいブクマカいるとはおもえん。あとエンチャントムーン小馬鹿にしてなんか関係あるの？くずだろ

mahinatan よくわかんないんだけど、新たに増やすとして稼働するための電力とか足りるんですかね？これ以上電気代上がると困るんだけど。

takeishi 1〜2年の遅れが死活問題になる会社（例えばGoogle）はGPU争奪戦を札束で戦ってもらうとして、そこまでじゃないがAI研究したい所は軍資金と相談しながらNVIDIA互換品を開発するか、AMDとintelに張るしか無いような。

myopia 記事にいくつか間違いがある。ABCIのGPU数は、V100は1088サーバ x4 (4352)、A100は120サーバ x8(960)。LLMのような大きなモデルは、80GBでも容量が足りず、モデルを分割して並列処理するので、メモリ容量は最重要ではない。

ooblog #スパコン #時短経済 #判断経済 #AI #LLM #ChatGPT #認知資源 #計算資源 #判断資源 #深層学習 #ディープラーニング #ビッグデータ #CPU #GPU #RAM #VRAM #NVIDIA 「GPT-4~大規模言語モデル~80GB~「単独のVRAM容量」~並列~複数のGPUに分散~「数」」