生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明　モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ） | テクノエッジ TechnoEdge

テクノロジーカテゴリーの変更を依頼記事元:

213 usersがブックマークコメント

生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明　モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ） | テクノエッジ TechnoEdge

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレ... 2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI 技術・研究をピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。今回は、大規模言語モデル（LLM）は自身が出力する「幻覚」（ハルシネーション）からは避けられない現象を指摘した論文「LLMs Will Always Hallucinate, and We Need to Live With This」に注目します。幻覚とは、事実と異なる出力をLLMが実行してしまう現象を指します。この研究では、LLMの幻覚が単なる偶発的なエラーではなく、これらのシステムに内在する避けられない特性であると主張しています。研究者らは、幻覚がLLMの根本的な数学的・論理的

kei_0000 幻覚を0%にするのが無理でも、1%を0.1%に出来れば大きな意味があると思う。平均的な専門家が間違える確率より減らせれば及第点では。

2024/09/17 リンク

dgen でも AI に求めるものは誤答０％なんだよね。まあこのまま統計的な学習方法だと回答が速いだけで人間の知能は超えられないし別のアプローチが必要。

atsushieno わからない質問に対して自分がわかっていないことを認識して「わかりません」と返せる能力は人間より劣っているのだが、その事実を無視して「人間と同じ」と主張する人間が多いのはこれもハルシネーションってこと?

nekomottin 人間にも誤動作はあるが、誤動作でしたで許されはしない。責任はついて回る。現状ではAIという道具を使った人間だけ、「そういうものだから」と免責されているように見える。そこを正さなければ実用に耐えない。

unijam “しかし、研究チームはLLMの幻覚が持つ二面性についても言及しています。事実からの逸脱を引き起こす予測不可能性が、同時に素晴らしい創造的能力をもたらすとしています。 ”

filinion 人工知能は無謬ではあり得ない、という話。まあそりゃそうだろ。人間だって、何かを学んで誰かの質問を聞いてそれに回答する各段階で誤解が生じ得る。問題はそれがどの程度なのかだよな。

linusvp ゲーデルが件の議論で言ったのは「関数を符号化できる系（ω無矛盾）では証明も反証も出来ない命題が作れる」（託宣機械の作成不可能性と等価）というだけの話で、ハルシネーションとは何の関係もないと思うが。

deep_one 人間が時々すごい思い違いをしているのと同じ。生成AIの問題点は、あれらがそんなところまで人間に似ていること。解決策は、学校に通わせること。

2024/09/19 リンク

YaSuYuKi 停止性問題が解けないことは不完全性定理と強く関係しているので矛盾はない。理学的に解けない以上、後は工学的にどれだけ実用上の問題を減らせるか、だが

2024/09/18 リンク

MzdA0w73tg ここがまだ人に価値を持たせている部分でもある。人は不確実な成果物に責任を持てる点で存在意義がある。本当に誤答しない全知全能のAIが出てきたらそれがシンギュラリティかな。

lyiase このロジックだと人間も当てはまるんではないか…？人間も100%の精度では情報取得もファクトチェックも話題の分類も出来ないじゃない。

naggg “これらの主張は、停止問題の決定不能性やゲーデルの不完全性定理などの計算理論の基本原理に基づいて証明されています。例えば、LLMが自身の出力を完全に予測できないことは、停止問題の決定不能性と密接に関連”

LM-7 完全排除なんて改めて論じるまでもなく無理に決まってるが、実用上問題にならないレベルまで抑止することはできるだろう。エラーだらけの人間で社会が回っているのだから

urtz 自信なさそうに間違ったこと言ったら許せる。自信満々に間違う奴は信じられん。LLMには自信のパラメータが欠けている

OkadaHiroshi この理論から人間や人間の集団もハルシネーションを起こし、そしてそれは原理的に排除不能である事が導かれると思うので、時として陰謀論が流行るのもしょうがないのかと思う。僕も自信満々で間違えると自覚すべき。

nakamura-kenichi まあまだ人間が「人間の理解出来る構成」で回してるからなｗ。AIがPDCA回すようになるまではしゃーないやで。

topiyama 自分で修正校正出来る範囲じゃないと使えないよなあ。／今期のTVアニメ「ATRI」「僕の妻は感情がない」でロボットのAIを描いているけど、ちょっと変・雑なくらいが良いんじゃね？って思うことにする

ata00000 人間と同じってコメントあるが、人間は自信がある回答とない回答で細かい言葉使いが変わったりするから受け手も相応の判断ができるけど、AIではそういうのがないからなぁ

aneet 実際には人間のミスする確率よりAIがミスする確率が少なければ十分実用にたる。ゲーゲルの不完全性定理なんて持ち出して証明するなら、すべてのコンピュータの数式に基づく動作にもこれは当て嵌めれるのでは？

uzusayuu ゼロにはできなくても目的や必要なクオリティーと比較して問題ないくらいに下げればいいので、実用が不可能ってわけじゃないよね

obotzcanai 「私は知らないということを知っている」いわゆる”無知の知”というものをAIはまだ知覚できていないのでしょう。我々は自分の知に限界があることを既に知っていますが、AIはそういった尺度をまだ得ていないのだと。

obsv 専門的な解説は理解できないが、この記事から受ける印象では、そもそも人間自身が数学・計算機理論によりハルシネーションから逃れられていないのでは？

AI
研究

はてなブックマーク

生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明　モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ） | テクノエッジ TechnoEdge

記事へのコメント70件

関連記事