先日、Claude Codeの開発者でありAnthropicのエンジニアでもあるBoris Cherny氏が、「初期のClaude CodeではRAG＋ローカルベクターDBを使っていたが、最終的にAgentic Searchの方が圧倒的に良いと分かった」 という発言がありました 私はBoris氏のこの投稿を見たとき「やっぱ、そうだよな」と思いました。なぜなら私もRAGで検索システムを作った際に似たようなことを考えていたからです。この記事ではこの騒動の背景を整理しつつ、なぜClaude CodeがRAGを捨ててAgentic Searchを選んだのかを説明します。 Boris Cherny氏について Boris Cherny氏はAnthropicのエンジニアであり、Claude Codeの創設者 でもあります。また『Programming TypeScript』の著者でもあり、複数の技術系ポ

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、過去の対話情報をもとに、LLMと一貫した会話を続けられる仕組み「Hindsight」について紹介します。 サマリー RAGの代表的な活用方法の一つとして、過去のメールやチャットを情報源に、それまでのやり取りを前提とした会話を成立させる手法があります。 しかし、やり取りのデータは時間とともにどんどん増えていきます。さらに事実と意見が混在したデータも多く存在するため、標準的なRAGを導入してもうまく会話を成立させることができません。 「Hindsight」は、過去のやり取りを構造化し検索性を上げることで、高い精度で関連する情報を検索しつつ、LLMが認識しやすい形で情報を渡すことができるようになっています。 課題意識 会話データとRAGの相性 一般的なRAGは、大量の情報の中から、いかに正解の情報を効率よく見つけるか、に焦点が当て

こんにちは、松尾研究所 データサイエンティストの浮田です。この記事は、松尾研究所Advent Calendar 2025の記事です。 RAG (Retrieval-Augmented Generation) と聞くと、「ベクトルDBを構築する」という話に意識が向きがちです。もちろんベクトルDBはRAGの基盤になる重要な要素ですが、実際に使われるRAGプロダクトを作ろうとすると、ベクトルDB構築以外にも様々な工夫が必要となります。 本記事では、私が実務でRAGプロダクトを構築する中で遭遇した様々な障壁とその対応を紹介します。 プロダクト概要：社内プロジェクト検索ボット 松尾研究所は様々な企業様と共同でプロジェクトを進めています[1]。過去・現在を含めて多くのプロジェクトがあるため、自分が担当していないプロジェクトの理解はどうしても浅くなってしまいます。もちろんお互いのプロジェクトを共有する活

本記事では、RAGの基本的な仕組みを理解するために、Pythonを使ってゼロからRAGを実装する手順をざっくり解説します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事では、非エンジニアでも、手元のPCで「RAG」を動かせるというところまで解説したいと思います。 こんな感じでRAGを構築できます。入門から解説します 最近、非エンジニアでも、RAGに興味を持つ方が増えました。 ただ、一方で、RAGの「基本」についての記事は、だいぶ減っています。このままだと、「RAGに詳しい人だけが、さらに詳しくなっていく」という状態になってしまいます。 そこで今回は、入門者向けに、「やってみた」形式で、RAG技術のざっくり解説をしていきます。なるべく簡単に行きます↓ そもそもRAGとは？ RA

以下の記事が面白かったので、簡単にまとめました。 ・Introducing the File Search Tool in Gemini API 1. はじめに本日、「File Search Tool」をリリースしました。Gemini APIに直接統合されたフルマネージド型RAGシステムで、検索パイプラインを抽象化することで、開発者はアプリケーション構築に集中できます。 すべての開発者が「File Search Tool」をシンプルかつ手頃な価格で利用できるように、クエリ時のストレージと埋め込み生成は無料です。料金が発生するのは、ファイルを最初にインデックス化する際の埋め込み生成時のみで、100万トークンあたり0.15ドル (gemini-embedding-001) の固定料金です。 2. File Search Tool のしくみ「File Search Tool」は、RAGの複雑な処

📑 What is PageIndex? PageIndex is a vectorless, reasoning-based RAG (retrieval) framework that simulates how human experts navigate and extract knowledge from long, complex documents. Instead of relying on vector similarity search, it transforms documents into a tree-structured index and enables LLMs to perform agentic reasoning over that structure for context-aware retrieval. The retrieval proce

Human-like Document AIPageIndex is a reasoning-based RAG engine for long documents that mirrors how humans read, delivering traceable, explainable and accurate retrieval, without vector databases or chunking.

三井住友フィナンシャルグループは10月6日、社内向けAIアシスタントツール「SMBC-GAI」に、RAG技術を活用し、約130万件のファイルを学習させた社内情報検索機能を搭載したと発表した。 三井住友銀行の従業員向けに導入し、グループ各社への展開を検討する。「国内企業のRAG活用事例として、学習ファイルの量や使用人数において最大級の規模」とアピールしている。 RAG（Retrieval-Augmented Generation）は、AIが学習済みの情報群から関連性の高い情報を検索・参照し、それをもとに自然言語で回答を生成する技術で、より正確かつ文脈に即した回答を生成できる。 今回の導入では、社内規程や通達、業務マニュアルなど約130万件にわたるファイルを対象に、体系的にインデックス化。「SMBC-GAI」上で横断的に検索・参照ができ、回答生成時に参照元を提示することも可能だ。 SMBC-G

この記事は何 ナレッジセンスでは、エンタープライズ向けにRAGサービスを提供しています。その中で「RAGは簡単に作れるけど、精度を上げるのは難しい」という課題に日々向き合っています。本記事は、2024~2025年に公開された研究や事例をもとに、RAGの回答精度を高める代表的なアプローチを ざっくりまとめたものです。 ざっくりサマリー この記事では、企業の社内データを利用したRAG、特に大企業で「エンタープライズRAG」での実装手法についてざっくり理解します。まず、エンタープライズRAGでのよくある課題をお伝えします。その上で、2025年現在の最新動向を踏まえ、評価手法のような基本戦略から、ちょっと高度なテクニックまで、RAGの精度を向上手法を概観します。 （エンタープライズRAGとは、社内の膨大なデータをLLMが活用可能にするためのソリューションのことです。） RAG、実装は簡単。しかし、

はじめに こんにちは。データ分析エンジニアの木介です。 今回はAmazon Bedrock Knowledge BasesベクトルDB（検索エンジン）として利用できるものの比較を行っていきたいと思います。 前回はS3 VectorsとOpenSearch Serverlessの比較を行いましたが、ハイブリッド検索が必要な内容だと、精度の差が大きく出ました。 acro-engineer.hatenablog.com 現状、Bedrock Knowledge Base でハイブリッド検索に対応しているのは、以下のベクトルDBがあります。 OpenSearch Serverless OpenSearch Managed Cluster Aurora Serverless V2（PostgreSQL） MongoDB Atlas 今回、その中でも利用頻度が高いと思われる、OpenSearch Se

はじめに はじめまして。株式会社neoAIの研究開発組織 (neoAI Research) の山本勇太です。 昨今、RAG（Retrieval-Augmented Generation）の実用化が急速に進展しています。RAGは、入力クエリをもとに検索器（Retriever）が文書データから関連文書群を取得し、それに基づき大規模言語モデル（LLM）などの生成器（Generator）が回答を作成する手法です。 LLMは多様な組織から頻繁に新しいモデルが公開されており、RAGの実用上優れているモデル選定のニーズは高いです。したがって、RAGにおけるGenerator選定のための、実用上の能力評価は重要な課題であると言えます。 RAGを実際の現場で使う際は、Genaratorには、Retrieverが取得した関連文書から根拠を正確に抽出する能力だけでなく、複数の関連文書からの根拠の取得及び統合・多

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ここ最近、Amazonにて RAG（Retrieval-Augmented Generation）の精度改善 をテーマにした書籍を出版しました。 書籍はこちらからご覧いただけます： 本を書くきっかけ これまでRAG精度改善に関する記事をいろいろ書いてきましたが、そのなかで「改善の手法って本当にたくさんあるな」と実感しました。 論文や記事で中身を紹介しているものは多いけれど、実際に全部試して「どれが有効だったのか」まで踏み込んで整理されているものは少ないんですよね。 そこで、自分が実際に試して効果を感じた方法をまとめて紹介しようと思い、こ

arXivには1日あたり全体では800件ほどの論文が投稿されます。Quantum Physicsカテゴリだけでも50~100件ほどです。これだけの量を自力で追うのは現実的ではないでしょう。そこで、投稿論文をLLMで要約してRAGのナレッジベースに蓄積し、全体の動向を把握しやすくするシステムを実験的に構築しました。正直前の記事と思いっきり内容が被っているのですが、1つ1つの論文を詳しく読むというよりも、全体の動向を把握することに重点を置いたシステムであるという点では違いがあります。 この記事のコードはGitHubで公開しています。 システム全体図 このシステムはDocker Compose上で動作させることを想定しています。主要なコンテナは3つ(RAGFlow, Ollama, Python worker)です。この他に補助的なコンテナ(ElasticSearchやMySQL)もいくつか動い

本記事では、RAGの性能を高めるための「REFRAG」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 この記事は何 この記事は、RAGの回答を爆速にする手法「REFRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 本題 ざっくりサマリー REFRAGは、RAGの回答速度を上げるための新しい手法です。「巨額報酬での人材引き抜き」で話題になったMeta社の「Superintelligence Labs」[2]の研究者らによって2025年9月に提案されました。 通常のRAGでは、外部のデータベースから検索した関連文書を、そのままLLMに渡します。しかし、

はじめに こんにちは。メールディーラーAI開発課のmarronです。エンジニアブログ初投稿となります。よろしくお願いします。 私が所属しているメールディーラーAI開発課では、主にメールディーラーに搭載されるAI機能の開発を担当しています。 現在は10月にリリース予定の回答自動生成エージェントの開発を進めています。 この機能を開発するにあたって、新たにベクトルDBを利用したナレッジの検索機能が必要となりました。 本記事では、ベクトルDBでの検索精度を上げるために導入したハイブリッド検索についてご紹介します。 はじめに ベクトルDBの選定 ベクトルDBとは メールディーラーで採用したベクトルDB 密ベクトルを用いた検索 Qdrantでの密ベクトル検索 密ベクトル検索の欠点 疎ベクトルを用いた検索 疎ベクトルとは Qdrantでの疎ベクトル検索 両方の検索結果を組み合わせるハイブリッド検索 密ベ

本記事では、RAGの性能を高めるための「PageIndex」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、RAGで「ベクトルDB」を使わずに回答精度を上げる手法「PageIndex」[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます（参考）。 本題 ざっくりサマリー PageIndexは、RAGの精度を上げるための新しい手法です。Vectify AIによって開発されました。 通常のRAGでは、文章をベクトル化して、類似度が高いものを検索して参照します。しかし、これだと「意味は似ているが、文脈は違う」情報を取ってきてしまい、回答精度が落ちます。 そこで、PageInde

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は、RAGの認知の階層を分析して、ハルシネーションを防ぐ手法「LFD」について紹介します。 サマリー 以前の我々のブログでLLMに無関係な文書を渡すことでRAGの性能が向上する、という突拍子もない論文を紹介したことがありました。 今回紹介する論文では、その無関係な文書がLLM内部でどのような役割を担っているのかを分析し、原因を突き止めました。さらにそこから一歩踏み込み、無関係な文書を渡すことなく、同等の性能を向上させる手法「LFD」を発見しました。 課題意識 RAGのハルシネーション RAGはユーザーの知りたい情報を検索して、検索結果をLLMに渡すことで、LLMの知らない情報も回答できるようにする為の技術です。しかし、LLMは自身の知る知識と検索結果を明確に区別できないために、たとえ正確に情報を検索できたとしても、正しい情報を回

スライド概要 ソースコードから目的の情報を得ることは簡単ではありませんが、特定の手法を用いることで効率的に情報を取得できます。まず、ソースコードを関数やクラス単位に分割し、それを数値列に変換します。質問内容も数値列に変換して類似度を計算し、その結果をもとに回答を得る流れを説明します。また、LLMを活用することで検索クエリの改善や、情報取得の結果を精度高くする手法についても触れます。