RAG評価フレームワークのragasを使ってみた - サーバーワークスエンジニアブログ

RAG評価フレームワークのragasを使ってみた - サーバーワークスエンジニアブログ

サーバーワークスの村上です。 このブログではRAGの評価フレームワークであるragasについて紹介します。...概要を表示 サーバーワークスの村上です。 このブログではRAGの評価フレームワークであるragasについて紹介します。 ragasとは RAGの評価イメージ ragasでできること概要（忙しい方向けのまとめ） このブログで検証したこと ragasの利用の流れ テストデータの作成 RAGアプリケーションの回答を取得 評価 具体的な実装 テストデータの作成 htmlのロード LLMの定義 プロンプトのカスタマイズ テストデータの作成 生成できる質問の数 生成したテストデータをCSVに保存 RAGアプリケーションの回答を取得 評価 データセットを作成 メトリクスを定義 メトリクスの算出 まとめ ragasとは ragasはRAG（検索拡張生成）を評価するためのフレームワークです（RAG Assessmentが由来）。 github.com RAGとは大規模言語モデル（LLM）の外部に情報の保管場所を作ってお