導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。 今回は、LLMの幻覚を検知するための仕組みとしてGoogleが紹介する「RIG(Retrieval Interleaved Generation)」について解説します。 ちなみにこのRIGは2024年の9月には公開されていたのですが、最近再びポストされていたので、せっかくのこの機会に紹介できればと思います！ サマリー LLMはその性質上ハルシネーションを完全に避けることが難しいです。このため、LLMの利用には利用者側がある程度正確に情報を判断する必要があります。 しかし、その生成された文章の中に情報の参照元があるだけで、真偽の判断の難易度はぐっと下がります。「RIG」はLLMをファインチューニングする

Microsoft⁠⁠、GraphRAG 1.0をリリース ―セットアップやCUIを改善し処理効率もアップ Microsoftは2024年12月16日、複雑な情報を処理できるよう強化拡張されたRAG「GraphRAG」の正式版GraphRAG 1.0のリリースをアナウンスした。 Moving to GraphRAG 1.0 – Streamlining ergonomics for developers and users -Microsoft Research Blog GraphRAGはRAG（Retrieval-Augmented Generation：検索拡張生成）をより効率よく処理できるようにする技術。LLMを使用して検索、取得したデータセットから「ナレッジ グラフ」を作成し、これを元に複雑な情報を分析してRAGのナレッジベース検索・応答のパフォーマンスを大幅に向上させることがで

LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 環境構築の方法などは前回の内容を参照ください。 トークン数計算 Langfuseにはトークン数と価格を計算する機能があります。Bedrockのモデルの場合は少し設定が必要です。 Modelsメニューを開きます。 モデルごとの価格が設定されています。LangfuseのデフォルトではOpenAIのGPT-4やAnthropicのClaudeなどが登録されています。 モデル名の正規表現で対応するモデルがある場合にトークン計算が行われますが、Bedrockで使用できるClaudeの場合はマ

Microsoft ResearchによってGraphRAGのライブラリが公開されました。GraphRAGは知識グラフを利用した検索拡張生成Retrieval Augmented Generation; RAG手法です。 知識グラフを利用することでRAGの検索部分を改善し、従来のベクトルベースの手法に比べてより関連性の高いコンテンツを取得できるとされます。 今回は公開されたMicrosoftのGraphRAGと以前から公開されていたLangchainによる知識グラフを活用したRAG手法を比較し、どのような違いがあるかを検証していきます。 参考：Welcom to GraphRAG[1] Microsoft GraphRAG の特徴 GraphRAGはLLMを用いてドキュメントから知識グラフを構築し、クエリに着目した要約(Query-Focused Summarization; QFS)を行

For an AI model to be useful in specific contexts, it often needs access to background knowledge. For example, customer support chatbots need knowledge about the specific business they're being used for, and legal analyst bots need to know about a vast array of past cases. Developers typically enhance an AI model's knowledge using Retrieval-Augmented Generation (RAG). RAG is a method that retrieve

初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ

Microsoft Researchは2024年7月2日（米国時間）、「RAG」（Retrieval-Augmented Generation：検索拡張生成）の精度を強化する「GraphRAG」と、Microsoft Azure上でGraphRAGを実行するためのソリューションアクセラレータリポジトリをGitHubで公開した。 GraphRAGは、Microsoftが2024年2月に発表した新たなRAGのアプローチだ。Microsoft Researchは、従来のRAGの問題点や、GraphRAGの特徴、RAGとGraphRAGの比較結果を次のように述べている。 従来のRAGの問題点 LLMの最大の課題は、LLMの能力を「プライベートデータセット」（LLMのトレーニングに活用されていない未知のデータを指す。企業の独自研究やビジネス文書、通信などが含まれる）にも適用させることだ。 そこで注目

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに TISは、生成AIを活用した開発を推進しています。そして、その一環として自社データと連携する社内専用のChatGPT環境である「TIS AIChatLab」の開発を進めています。本記事は「TIS AIChatLab」のプロジェクトメンバーへのインタビューを通して、TISにおけるLLMやRAGに関する取り組みを紐解く企画です。全4回のシリーズ記事となります。 インタビュアー 水谷：会員制メディアAIDBの運営者。LLMなど機械学習の知見を論文ベースで紹介している。 サマリ 社内のAIチャット環境「TIS AIChatLab」の応答精度の改善を2024年1月から開始 組織横断のチームで、RAGアーキテクチャの刷新と応答精度の向上を実現 RAG応答評価の継続改善のノウハウと仕組みを獲得した プロジェクト開始 ーTIS AIChatLabプロジェクトはどのような流れで開発が進んできました

はじめに TISは、生成AIを活用した自社データと連携する社内専用のChatGPT環境である「TIS AIChatLab」の開発・利用を進めています。これは、大規模言語モデル（LLM）を基盤とし、企業固有の情報を活用できるよう拡張したシステムです。本記事は「TIS AIChatLab」のプロジェクトメンバーへのインタビューを通して、TISにおけるLLMやRAGに関する取り組みを紐解くシリーズの第2回です。 今回は評価の仕組み、作業プロセス、指標などの評価部分にフォーカスしてお届けします。 インタビュアー 水谷：会員制メディアAIDBの運営者。LLMなど機械学習の知見を論文ベースで紹介している。 サマリ 社内専用のAIチャット「TIS AIChatLab」の開発では、RAGASを活用したAIの応答を定量的に評価している。これにより、パフォーマンスを客観的に測定し、継続的な改善を可能にしている

安野たかひろ事務所 技術チームの角野です。前回の投稿ではAIあんのにおける返答生成技術の詳細に触れましたが、今回は返答生成に用いるデータの整備に焦点を当てて解説します。 なぜデータの整備が必要なのか？AIあんのでは政策に関する質問に対してLLMで返答の生成を行っていますが、元のLLMには安野の政策に関する知識が含まれておらず、そのままでは政策に関する質問には回答できません。 そこで、前回の記事でも解説しましたが、AIあんのではLLMに入力するプロンプト中に政策に関する知識を注入することで、政策に関する質問に回答できるようにしています。当然知識がない質問に対しては回答できないため、ユーザーの質問に対して正確に回答するには政策に関する知識をデータとして整備することが重要となります。 返答生成に利用しているデータAIあんのでは、次の2種類のデータを返答生成時に利用しています。 今回の記事では、私

こんにちは、AI製品開発グループのファイサルです。 この記事では、Know Narrator Searchで使用されている文章参照手法、Retrieval-Augmented Generation（RAG）の精度向上方法について紹介します。 はじめに ChatGPTを始めとした大規模言語モデル（LLM）の登場により、AI業界、特に自然言語処理分野で多くの素晴らしい応用先が提案されるようになりました。 LLMは素晴らしい技術であることは間違いないですが、同時に幻覚（Hallucination）という問題を抱えています。 このHallucinationという問題は、LLMが事実と異なる情報をあたかも真実であるように回答するというもので、LLMの発表当初から指摘されていました。 この問題を解決するために、さまざまな手法が存在しますが、よく用いられるのが「Retrieval-Augmented G

自分用の整理・勉強会用として作成した解説資料です。内容の正確性については保証しかねますので必ず論文を参照してください。誤りや引用漏れ等がありましたら @catshun_ までご指摘いただけますと幸いです。

「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。 今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」（松尾研）も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。 なぜ、ごみ出し案内をChatGPTに託したのか？ 三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というも

こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'