RAGのハルシネーションを尤度で防ぐ

RAGのハルシネーションを尤度で防ぐ

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャ...概要を表示 導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、文章の尤度とドキュメントの配置位置、そして回答の精度の関係性を調査した論文について紹介します。 サマリー RAGにおいて、正解ドキュメントの文章の配置と、回答精度の関連性は以前から注目されていました。この関係性の原因が文章の尤度(文字同士のつながりをLLMがどの程度自然と捉えているかの指標)にあるとしたのが、この論文の大まかな趣旨です。 質問ないしは回答の尤度を用いることで以下のような機能が実現できます。１つ目は、回答の精度をLLMによる出力の前に事前に推測すること。２つ目は、生成された回答がどの程度正しいか推測すること。これらを検証した実験結果について紹介していきます。 問題意識 RAGの精度は

• AI