Google DeepMindがLLMの「事実性」と「根拠」を評価するベンチマークツールを公開

Google DeepMindがLLMの「事実性」と「根拠」を評価するベンチマークツールを公開

Google DeepMindは2024年12月17日（現地時間）、Google Reserachと共同で開発した大規模言語モデル（LLM...概要を表示 Google DeepMindは2024年12月17日（現地時間）、Google Reserachと共同で開発した大規模言語モデル（LLM）の事実性を評価する新ベンチマーク「FACTS Grounding」（FACTS）を発表した。 生成AIにおけるGrounding（グラウンディング）とは、AIの出力を検証可能な情報源にひも付ける仕組みを指す。このベンチマークは公開データセットを含む1719例を基盤に設計されており、LLMの「根拠に基づく長文回答生成能力」を測定するものだ。 Google DeepMindはFACTSについて「与えられた入力に関して事実として正確であるだけでなく、ユーザーのクエリに対して満足のいく回答を提供できるほど詳細な応答を生成する LLM の能力を評価するための包括的なベンチマーク」だと説明している。 FACTSは、1719の詳細な評価例から構成されるデータセットを