物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く｜shi3z

テクノロジーカテゴリーの変更を依頼記事元:

280users がブックマークコメント

物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く｜shi3z

物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3... 物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラン・ケイやアイヴァン・サザーランド、ドナルド・クヌースなど、コンピュータ科学者たちが堂々と受賞している。その割には本来マイクロチップの最初の設計者である嶋正利などが京都賞にノミネートされていなかったり、サザーランドの弟子であるアラン・ケイの

sds-page 物理学者の逆襲!?～俺はわずか3億600万パラメータで結果出しちゃうけど大金かけて1000億パラメータ級を作ってる人たち大丈夫？～

2024/10/14 リンク

chintaro3 「「エントロピー」をLLMの推論に応用することで、LLMの推論性能が劇的に上がる」「エントロピーとバレントロピーという二つの指標が鍵」／歴史的な瞬間に立ち会ってる感じがする。こんなことは人生で何度も無いだろう

これはすごい

2024/10/13 リンク

MIZ “要するにどう言うことかというと、これまでのLLMは「無駄に大きすぎ、無駄に学習しすぎていた」という可能性があるということだ”

operator 既存のLLMは言語モンスターで、言語操作能力だけなら人間を遥かに凌駕してる。それでもあれだけ間違うんだから、やっぱ開発の方向性とかアプローチは変えないとな。

RySa エネルギー効率が良くなっても真の推論が出来てるとは言えない。attentionだけでは関連性の学習しか出来なくて推論思考の一般化も出来ないし。まだそれっぽい答えを返してるだけ。もっとモデルの進化が必要。

byod 今年のノーベル物理学賞で物議を醸してるのは本来受賞すべき甘利俊一らが受賞していなくてパクった側が受賞しておりコンピュータ科学者から批判が起きてる件やろ

byaa0001 これについては言われるまでもがなというところであり、より"賢い"探索がコスパを左右していくとは思われる。将棋AIの頃からそう。PONANZAは量子化学計算の保木さんが発よ。各自鎬を削って、素晴らしいLLMを創造してくれ

l-_-ll "これまでのLLMは「無駄に大きすぎ、無駄に学習しすぎていた」という可能性があるということだ。重要なのは学習そのものではなく学習結果の探索の仕方であって、規模を拡大しても無駄に電力とお金を消費するだけだ"

2024/10/19 リンク

yojik モデルから得られる次の単語の出現確率から文章に採用する単語を選ぶ(サンプリング)するところで工夫を加えるだけでめちゃめちゃ性能アップという話。シンギュラリティは冗談としてもエッジでの実行に役立ちそう

2024/10/15 リンク

kanibasami77 不確実性の割合ごとに回答を用意できるってそれ人間ですね。記事の内容が難しいからわかりにくいけど、AIの「なんかへん」な感じがなくなることになる。はじまったな

tokyocat “「エントロピー」をLLMの推論に応用することで、LLMの推論性能が劇的に上がることが、「すべてのLLMにおいて」観測され始めているのだという”　どういうこと？？

napsucks 今のLLMの知識は膨大で何でも知ってるのに何にもわかってない回答を返してくる。この手法が大規模モデルに適用されてちゃんと知識を生かした回答ができるようになればもはやASIなのでは。

LM-7 LLMの推論においてエントロピーとバレントロピーを尺度とするサンプリング戦略を取ることで、推論精度を大きく向上できる。従来のLLMは無駄に大きすぎ無駄に学習させすぎていた

nreleariv いきなり確度の高い回答を得ようとするのではなくて、一旦様々なバリエーション（＝高エントロピー）の回答を出させて、その中で確度の高い回答を出力する、ということと解釈した事実ならシンギュラリティ来るか？

ata00000 重箱の隅だが ”エントロピーが高いがバレントロピーは低くなる(左上の第一象限)" 左上なら第二象限では？「左上」だけで通じるのだから第◯象限とか言わなければ良かったのに⋯

anigoka パラメーターの数と賢さの相関性が非線形で、探索方式を変えるとそのスイートスポットを利用出来るという話で、確率から推論ベースに移行したという話ではないらしい

Eiichiro これはやばい。評価指標にバレントロフイーとエントロピーの概念をいれるだけで、こんなことになるのか。(解釈あってるはず)デジモンへの夢がもうすぐなのかも。

T-norf 微妙についてけない。エントロピーとバレントロピー何を対象に計算してるのだろ。あとLLMの出力器がトークンを決めるとこだけ変えてる？　と、smolLMはこの出力機構で学習したモデル？？　天才じゃない人の解説欲しい

はてなブックマーク

物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く｜shi3z

記事へのコメント39件

関連記事