Top Evaluation Metrics for RAG Failures
Figure 1: Root Cause Workflows for LLM RAG Applications (flowchart created by author) If you have been experimenting with large language models (LLMs) for search and retrieval tasks, you have likely come across retrieval augmented generation (RAG) as a technique to add relevant contextual information to LLM generated responses. By connecting an LLM to private data, RAG can enable a better response
Introducing LlamaCloud and LlamaParse — LlamaIndex, Data Framework for LLM Applications
Today is a big day for the LlamaIndex ecosystem: we are announcing LlamaCloud, a new generation of managed parsing, ingestion, and retrieval services, designed to bring production-grade context-augmentation to your LLM and RAG applications. Using LlamaCloud as an enterprise AI engineer, you can focus on writing the business logic and not on data wrangling. Process large volumes of production data,
RAGを専門用語ã«å¼·ãã™ã‚‹æ‰‹æ³•ã€ŒGolden-Retrieverã€
æ ªå¼ä¼šç¤¾ãƒŠãƒ¬ãƒƒã‚¸ã‚»ãƒ³ã‚¹ã¯ã€ç”ŸæˆAIã‚„RAGを使ã£ãŸãƒ—ãƒãƒ€ã‚¯ãƒˆã‚’ã€ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズå‘ã‘ã«é–‹ç™ºæä¾›ã—ã¦ã„るスタートアップã§ã™ã€‚本記事ã§ã¯ã€RAGã®æ€§èƒ½ã‚’高ã‚ã‚‹ãŸã‚ã®ã€ŒGolden-Retrieverã€ã¨ã„ã†æ‰‹æ³•ã«ã¤ã„ã¦ã€ã–ã£ãã‚Šç†è§£ã—ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯ä½• ã“ã®è¨˜äº‹ã¯ã€RAGシステムを専門用語ã«å¼·ãã™ã‚‹ãŸã‚ã®æ‰‹æ³•ã€ŒGolden-Retrieverã€ã®è«–æ–‡[1]ã«ã¤ã„ã¦ã€æ—¥æœ¬èªžã§ç°¡å˜ã«ã¾ã¨ã‚ãŸã‚‚ã®ã§ã™ã€‚ 今回も「ãã‚‚ãã‚‚RAGã¨ã¯ï¼Ÿã€ã«ã¤ã„ã¦ã¯ã€çŸ¥ã£ã¦ã„ã‚‹å‰æã§é€²ã¿ã¾ã™ã€‚確èªã™ã‚‹å ´åˆã¯ä»¥ä¸‹ã®è¨˜äº‹ã‚‚ã”å‚考下ã•ã„。 本題 ã–ã£ãりサマリー Golden-Retrieverã¯ã€RAG（Retrieval Augmented Generation）をã€æ¥ç•Œç‰¹æœ‰ã®ç”¨èªžãƒ»ç¤¾å†…用語をå«ã‚€ã‚ˆã†ãªè³ªå•ã«å¼·ãã™ã‚‹ãŸã‚ã®æ‰‹æ³•ã§ã™ã€‚カリフォルニア大å¦ã®ç ”究者らã«ã‚ˆã£ã¦2024å¹´8月ã«æ案ã•ã‚Œã¾ã—ãŸã€‚ 従æ¥ã®RAGシステãƒ
RAGã§è¤‡æ•°ã®LLMを使ã†ã€ŒSpeculative RAGã€ã®è§£èª¬
æ ªå¼ä¼šç¤¾ãƒŠãƒ¬ãƒƒã‚¸ã‚»ãƒ³ã‚¹ã¯ã€ç”ŸæˆAIã‚„RAGを使ã£ãŸãƒ—ãƒãƒ€ã‚¯ãƒˆã‚’ã€ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズå‘ã‘ã«é–‹ç™ºæä¾›ã—ã¦ã„るスタートアップã§ã™ã€‚本記事ã§ã¯ã€ã€ŒSpeculative RAGã€ã¨ã„ã†æ‰‹æ³•ã«ã¤ã„ã¦ã€ã–ã£ãã‚Šç†è§£ã—ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯ä½• ã“ã®è¨˜äº‹ã¯ã€è¤‡æ•°ã®è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’利用ã—ã¦RAGã®å›žç”精度を上ã’る手法ã§ã‚る「Speculative RAGã€ã®è«–æ–‡[1]ã«ã¤ã„ã¦ã€æ—¥æœ¬èªžã§ç°¡å˜ã«ã¾ã¨ã‚ãŸã‚‚ã®ã§ã™ã€‚ 今回も「ãã‚‚ãã‚‚RAGã¨ã¯ï¼Ÿã€ã«ã¤ã„ã¦ã¯ã€çŸ¥ã£ã¦ã„ã‚‹å‰æã§é€²ã¿ã¾ã™ã€‚確èªã™ã‚‹å ´åˆã¯ä»¥ä¸‹ã®è¨˜äº‹ã‚‚ã”å‚考下ã•ã„。 本題 ã–ã£ãりサマリー Speculative RAG ã¯ã€è¤‡æ•°ã®è¨€èªžãƒ¢ãƒ‡ãƒ«ã§å›žç”生æˆ&最良ã®å›žç”ã‚’é¸åˆ¥ã™ã‚‹æ‰‹æ³•ã§ã™ã€‚Google DeepMindã®ç ”究者らã«ã‚ˆã£ã¦2024å¹´7月ã«æ案ã•ã‚Œã¾ã—ãŸã€‚Speculative RAGを使ã†ãƒ¡ãƒªãƒƒãƒˆã¯ã€å°ã•ã„モデルã§ã‚‚回ç”精度を高ãä¿ã¦ã‚‹ã“ã¨ã€ãã‚Œã«ã‚ˆã‚Šã€å›žç”
ã€Amazon Bedrock】AWSサービスã®ã¿ã‚’使ã£ãŸã‚·ãƒ³ãƒ—ル構æˆã®RAGアプリを作ã£ã¦ã¿ãŸ - NRIãƒãƒƒãƒˆã‚³ãƒ Blog
ã¯ã˜ã‚ã« RAGã¨ã¯ 構æˆå›³ 作æˆãƒªã‚½ãƒ¼ã‚¹ Lambda 1. PDFã‹ã‚‰æ–‡æ›¸æŠ½å‡º&Embeddingå–å¾—Lambda 2. 回ç”作æˆç”¨Lambda AWS SAM テンプレート Streamlit å‹•ä½œç¢ºèª ã¾ã¨ã‚ ã¯ã˜ã‚ã« ã“ã‚“ã«ã¡ã¯å ¤ã§ã™ã€‚ Amazon BedrockãŒGAã¨ãªã‚Šã€AWS内ã§å®Œçµã—ã¦LLMアプリケーションを構築ã§ãるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ 試ã—ã«RAGアプリケーションを作æˆã—ã¦ã¿ã‚ˆã†ã¨æ€ã„ã¾ã—ãŸãŒã€ç¾çŠ¶AWSã§Retrievalã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‚’作æˆã—よã†ã¨ã™ã‚‹ã¨ã€Amazon OpenSearch Serverless ã‚„Amazon Kendraを使用ã™ã‚‹ã—ã‹ã‚ã‚Šã¾ã›ã‚“。ã“れらã®ã‚µãƒ¼ãƒ“スを使ã†ã®ã¯ã‚³ã‚¹ãƒˆã‚‚ãã‚Œãªã‚Šã«ã‹ã‹ã‚Šå°‘ã—ãƒãƒ¼ãƒ‰ãƒ«ãŒé«˜ã„ãªãƒ¼ã¨æ€ã£ã¦ã„ãŸã‚‰ä»¥ä¸‹ã®ãƒ–ãƒã‚°ã‚’見ã¤ã‘ã¾ã—ãŸã€‚ aws.amazon.com 構æˆå›³ã‚’見るã¨åˆ†ã‹ã‚‹ã‚ˆã†ã«ã€S3ã«embedding
ãƒãƒ¼ã‚«ãƒ«LLMã¨RAGã§è‡ªåˆ†ã®å¤–部記憶を強化ã—よㆠ- VA Linux エンジニアブãƒã‚°
ã¯ã˜ã‚㫠自宅PCç·¨ 会社サーãƒç·¨ æ„Ÿæƒ³ç‰ åŸ·ç†è€…：ä½è—¤å‹æ˜ ※ 「ディスアグリゲーテッドコンピューティングã¨ã¯ä½•ã‹?ã€é€£è¼‰è¨˜äº‹ä¸€è¦§ã¯ã“ã¡ã‚‰ ã¯ã˜ã‚㫠作æ¥ãƒã‚°ã‚„検討メモã€å‚ç…§ã—ãŸå®šåž‹è«–文や書ç±ã€ãƒãƒƒãƒˆä¸Šã®è¨˜äº‹ã€è¦–è´ã—ãŸè¬›æ¼”やウェビナーã®ãƒ¡ãƒ¢ç‰ã€æ—¥å¸¸ã‚’記録ã™ã‚‹æƒ…å ±ã¯æ—¥ã€…増ãˆã¦ã„ã。ã“れらã®æƒ…å ±ã¯ã§ãã‚Œã°å¾Œã«å½¹ç«‹ã¦ãŸã„ã¨æ€ã†ãŒã€ç†è€…ã®å ´åˆã€ãªã‹ãªã‹ä¸Šæ‰‹ãã„ã‹ãªã„。自分ã®å¤–部記憶をç´è§£ã„ã¦ã¿ã‚‹ã¨ã€è¨˜éŒ²ã—ãŸã“ã¨ã™ã‚‰å¿˜ã‚Œã¦ã—ã¾ã£ã¦ã„ã‚‹é …ç›®ãŒå¤§åŠã§ã‚る。本稿ã§ã¯ã€ãƒãƒ¼ã‚«ãƒ«LLMã¨RAGを用ã„ã¦è‡ªåˆ†ã®å¤–部記憶ã«ã„ã‚ã„ã‚ã¨è³ªå•ã§ãるよã†ã«ã™ã‚‹æ–¹æ³•ã‚’入門的ã«ç´¹ä»‹ã™ã‚‹ã€‚決ã—ã¦ãƒ™ã‚¹ãƒˆãƒ—ラクティス的ãªå†…容ã§ã¯ãªã„。 自宅PCç·¨ ã¾ãšã¯ã€æ™®æ®µè‡ªå®…ã§ä½¿ç”¨ã—ã¦ã„ã‚‹Linux PCを実験å°ã¨ã—ã¦ä½¿ãˆãã†ã‹è©¦ã—ã¦ã¿ã¦ã‹ã‚‰ä¼šç¤¾ã®ã‚µãƒ¼ãƒã«é©ç”¨ã—ã¦ã¿ã‚‹ã“ã¨ã«ã™ã‚‹ã€‚ 第一ã®è¦ä»¶ã¯ã€ãƒãƒ¼ã‚«ãƒ«ç’°å¢ƒã§å‹•ä½œã™ã‚‹ã“ã¨ã§ã‚ã‚‹ã€‚æƒ…å ±ã®æ€§è³ªã«ã‚ˆ
MTEB Leaderboard - a Hugging Face Space by mteb
Discover amazing ML apps made by the community
Retrieval-based LM (RAG system) ã–ã£ãã‚Šç†è§£ã™ã‚‹
自分用ã®æ•´ç†ãƒ»å‹‰å¼·ä¼šç”¨ã¨ã—ã¦ä½œæˆã—ãŸè§£èª¬è³‡æ–™ã§ã™ã€‚内容ã®æ£ç¢ºæ€§ã«ã¤ã„ã¦ã¯ä¿è¨¼ã—ã‹ãã¾ã™ã®ã§å¿…ãšè«–文をå‚ç…§ã—ã¦ãã ã•ã„。誤りや引用æ¼ã‚Œç‰ãŒã‚ã‚Šã¾ã—ãŸã‚‰ @catshun_ ã¾ã§ã”指摘ã„ãŸã ã‘ã¾ã™ã¨å¹¸ã„ã§ã™ã€‚
LLMを用ã„ãŸRAGシステムã®æ‹¡å¼µäºˆæ¸¬ - Qiita
RAGã®åŸºç¤Žçš„ãªä»•çµ„ã¿ RAG（Retrieval-Augmented Generation）システムã¯ã€LLM（Large Language Model）ã¨å‘¼ã°ã‚Œã‚‹å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã¨ã€Retrieval（文書検索モデル）を組ã¿åˆã‚ã›ãŸã€è³ªå•å¿œç”（QA）を行ã†ãŸã‚ã®è‡ªç„¶è¨€èªžå‡¦ç†ï¼ˆNLP）システムã®ä¸€ç¨®ã§ã™ã€‚ãã®ä¸»ãªæ©Ÿèƒ½ã¯ã€å¤§é‡ã®æƒ…å ±æºã‹ã‚‰å¿…è¦ãªæƒ…å ±ã‚’å–り出ã—ã€ãã®æƒ…å ±ã«åŸºã¥ã„ã¦å›žç”を生æˆã™ã‚‹ã“ã¨ã§ã™ã€‚ 毎日ã€ç§ãŸã¡ã¯ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã‚’利用ã—ã¦ç„¡æ•°ã®æƒ…å ±ã‚’èª¿æŸ»ã—ã€æƒ…å ±ã‚’æ‰‹ã«å…¥ã‚Œã‚‹ãŸã‚ã«Webページをクリックã—ã€è¨˜äº‹ã‚’èªã¿ã€æƒ…å ±ã‚’åŽé›†ã—ã¾ã™ãŒã€ãã®éŽç¨‹ã¯æ™‚é–“ãŒã‹ã‹ã‚Šã€ã¾ãŸæƒ…å ±ã‚’è¦‹ã¤ã‘出ã™èƒ½åŠ›ã‚‚個々ã®ã‚¹ã‚ルã«ä¾å˜ã™ã‚‹å½¢ã«ãªã£ã¦ã„ã¾ã™ã€‚RAGを使ã†ã“ã¨ã§ã€æ©Ÿæ¢°å¦ç¿’モデルãŒå¤§é‡ã®æƒ…å ±æºã‹ã‚‰å¿…è¦ãªæƒ…å ±ã‚’è¦‹ã¤ã‘出ã—ã€ãã®æƒ…å ±ã«åŸºã¥ã„ã¦ç”ãˆã‚’生æˆã—ã¦ãれるã¨ã„ã†ä½“験ãŒå®Ÿç¾ã•ã‚Œã¾ã™ã€‚ RAGシステムã¯å¤§ãã二
Azureã§RAGをガンガン試行錯誤ã—ã¦ã¿ã¦å¾—ãŸãƒŠãƒ¬ãƒƒã‚¸ã‚’紹介ã—ã¾ã™ï¼/Azure RAG knowledge share
2024/1/31ã«é–‹å‚¬ã•ã‚ŒãŸã€StudyCo×KAGコラボ】Azure・AWSã§LLMアプリ開発レベルアップï¼äº‹ä¾‹ï¼†ãƒãƒ³ã‚ºã‚ªãƒ³ã§ç™ºè¡¨ã—ãŸè³‡æ–™ã§ã™ã€‚ Azureã§RAGã«ã‚ˆã‚‹ç¤¾å†…æ–‡ç« æ¤œç´¢ã‚’ã‚„ã£ã¦ã¿ã¦ã•ã¾ã–ã¾ãªè©¦è¡ŒéŒ¯èª¤ã‚’通ã—ã¦å¾—ãŸãƒŠãƒ¬ãƒƒã‚¸ã‚’共有ã—ã¾ã™ï¼
RAGã®æ€§èƒ½ã‚’改善ã™ã‚‹ãŸã‚ã®8ã¤ã®æˆ¦ç•¥ | Fintan
è¿‘å¹´ã€OpenAIã®GPT-4ã‚„Googleã®Geminiã€Metaã®LLaMAã‚’ã¯ã˜ã‚ã¨ã™ã‚‹å¤§è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ï¼ˆLarge Language Model：LLM）ã®èƒ½åŠ›ãŒå¤§å¹…ã«å‘上ã—ã€è‡ªç„¶è¨€èªžå‡¦ç†ã«ãŠã„ã¦å„ªã‚ŒãŸçµæžœã‚’åŽã‚ã¦ã„ã¾ã™[1][2][3]。ã“れらã®LLMã¯ã€è†¨å¤§ãªé‡ã®ãƒ†ã‚ストデータã§å¦ç¿’ã•ã‚Œã¦ãŠã‚Šã€ã•ã¾ã–ã¾ãªè‡ªç„¶è¨€èªžå‡¦ç†ã‚¿ã‚¹ã‚¯ã«ãŠã„ã¦ã€ã‚¿ã‚¹ã‚¯ã«å›ºæœ‰ãªãƒ‡ãƒ¼ã‚¿ã‚’用ã„ã¦ãƒ¢ãƒ‡ãƒ«ã‚’ファインãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã™ã‚‹ã“ã¨ãªãã€ã‚ˆã‚Šæ£ç¢ºã§è‡ªç„¶ãªãƒ†ã‚スト生æˆã‚„ã€è¤‡é›‘ãªè³ªå•ã¸ã®å›žç”ãŒå¯èƒ½ã¨ãªã£ã¦ã„ã¾ã™ã€‚ LLM-jp-eval[4]ãŠã‚ˆã³MT-bench-jp[5]を用ã„ãŸæ—¥æœ¬èªžLLMã®è©•ä¾¡çµæžœã€‚Nejumi LLMリーダーボード Neoよりå–得。 大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã¯è¿‘年急速ãªé€²æ©ã‚’é‚ã’ã¦ã„ã¾ã™ãŒã€ã“れらã®é€²æ©ã«ã‚‚ã‹ã‹ã‚らãšã€è£ä»˜ã‘ã®ãªã„æƒ…å ±ã‚„çŸ›ç›¾ã—ãŸå†…容を生æˆã™ã‚‹ç‚¹ã«ãŠã„ã¦ã¯ä¾ç„¶ã¨ã—ã¦èª²é¡ŒãŒã‚ã‚Šã¾ã™ã€‚ãŸã¨ãˆ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Best Practices for LLM Evaluation of RAG Applications
{{#tags}}- {{label}}
{{/tags}}