こんにちは👋 2025年7月15日、AWSからS3 Vectorsと呼ばれる機能がプレビュー公開されました。 Amazon S3 Vectors は、ベクトルの保存とクエリをネイティブにサポートする初のクラウドオブジェクトストアです。Amazon S3 に保存されたコンテンツの AI エージェント、AI 推論、セマンティック検索のために、コストに最適化された専用のベクトルストレージを提供します。 元々AWSでRAGシステムを構築する場合は、KendraやOpenSearch Service、Aurora(pgvector)などの高コストなベクトルDBを用意する必要がありました。OpenSearch Serverlessなどはサーバレス...と謳っているものの、実態は起動時間によるOCU単位での従量課金であり、個人でRAGシステムを構築する際の大きな障壁となっていました。 今回発表されたS

Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT（GPTs）でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT-4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版

前回はDoclingというドキュメントコンバートツールを紹介しました。その後、他の変換ツールを探していた所、MicrosoftさんのGitHubにMarkItDownというツールがある事がわかりました。用途はDoclingと大きく変わりませんが、対応フォーマットが特殊ものもあり、こちらも見逃せないなということでメモを取っています。 MarkItDownは、様々なファイルをMarkdownに変換するユーティリティで、インデックス作成、テキスト分析などにも対応しているようです。 github.com インデックス作成機能により、RAGでの検索への活用も期待できます。また、対応するファイルフォーマットも以下のように多様なのですが、このなかで便利そうなのがAudio、XML、ZIPファイルでしょうか。Audioファイルの箇所にspeech transcriptionと記載されているので、かなり守備

Google Cloud Japan Advent Calendar 2024 Gemini 特集版 25 日目です。 こんにちは、カスタマーエンジニアの下門 (しもじょう) です。 2024 年は RAG (Retrieval-Augmented Generation) が非常に盛り上がりましたが、そんな年の締めくくりに Vertex AI の RAG Engine というサービスが GA (正式版) になりましたので RAG Engine + Gemini API を利用して簡単に RAG を構成する方法を紹介いたします。 RAG Engine の概要 RAG Engine は、カスタム RAG アプリケーションを簡単に実装するためのフルマネージドなデータフレームワークおよびランタイムです。 元々は Google I/O 2024 のタイミングで LlamaIndex on Verte

大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ

from pathlib import Path import requests import re def replace_heading(match): level = len(match.group(1)) return '#' * level + ' ' + match.group(2).strip() # Wikipediaからのデータ読み込み wiki_titles = ["オグリキャップ"] for title in wiki_titles: response = requests.get( "https://ja.wikipedia.org/w/api.php", params={ "action": "query", "format": "json", "titles": title, "prop": "extracts", # 'exintro': True, "exp

動画コンテンツの消費が爆発的に増加する現代において、動画分析の重要性は日増しに高まっています。YouTube、Instagram、TikTokといったプラットフォーム上での動画の普及は、教育、エンターテイメント、セキュリティなど、あらゆる分野における情報処理の方法を根本から変えつつあります。 この変化の中心にあるのが、マルチモーダルRAG（Retrieval-Augmented Generation）技術です。AIと機械学習の最前線を行くこの技術は、テキスト、画像、ビデオなど複数のデータソースから情報を統合し、新しいコンテンツを生成する能力を持っています。しかし、この技術がどのように機能し、私たちの日常やビジネスにどのような影響を与えるのか、その全貌はまだ十分には理解されていません。 本記事では、マルチモーダルRAG技術の基本原理から、その応用事例、さらには将来性に至るまで、幅広く解説しま

RAG Day2 はLCELでのRAG実装についてです。 LCELとはLangchainのLLMアプリケーション開発を簡素化するためのLangChainフレームワークの一部で、チェーンを簡単に組むことができます。 LCELには以下のような特徴があります。 チェーンのシンプルな表現 ストリーミングのサポート 非同期のサポート バッチのサポート RetrievalQAをそのまま使うとチェーンが組みにくくて使いにくいので今後は基本的にLCELを使っていくことになります。 早速実装 DAY1でやったRAGの実装をLCELで実装していきます。 ソースコードはこちらです。 下準備 Day1と共通している箇所です。 ドキュメントのロード ~ retrieverの作成・プロンプト・LLMインスタンスの作成などは共通しているので、説明は省略します。 from langchain_community.docu

「 LLMに専門的な知識を持たせてぇ」 ChatGPTを代表としたLLMがビジネスで使われるようになり、様々なチャットボットが開発されてきました。 しかし、そういったChatbotをビジネスで使用するには「社内独自のマニュアルやルール」、「医学・薬学などの専門知識」、「LLMが知らない最新のニュース」などLLMが知らない知識を答えてほしいというニーズが生まれてきます。 しかし、fineTuningは知識を覚えさせるのが難しく、LLM全体の事前学習は並の会社には手に負えるようなものではありません。 そんな中で、外部知識を検索してその検索結果を元にLLMに回答させる手法である"RAG"は最近注目されてきて、様々な手法やテクニックが日々論文などで発表されています。 そこで、今後RAGが来るのではと思い本腰を入れて、色々論文や参考文献を読んで勉強進めてきました。 勉強を始めて2週間。RAGの理解が

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

最終回の第3回は、昨今注目を集める生成AI（人工知能）の活用におけるAIガバナンスをどう実践するか、どのように改善できるかについて説明する。 前回、AIガバナンスの実践として運用監視体制の構築と分析のプロセス化についてお話しした。生成AIに特化したガバナンスの構築方法だが、基本的には企業がすでに運用しているITガバナンス、AIガバナンスの上に、生成AIに特有の要素を加味していけばいいと考えている。 私が勤務するDataRobotでは、企業のAI導入プロジェクトにおいて「テーマの定義」「AI開発」「AI運用」の3つのプロセスで考えることを勧めている。それぞれのステップでチェックポイントを設け、適切な指標を基に検証していくことで、AIプロジェクトの落とし穴を回避しつつ価値を実現する。このように分析のプロセスを定義しておくことで、プロジェクト推進時の抜け漏れを抑えられるだけでなく、分析の標準化に

以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基

自分用の整理・勉強会用として作成した解説資料です。内容の正確性については保証しかねますので必ず論文を参照してください。誤りや引用漏れ等がありましたら @catshun_ までご指摘いただけますと幸いです。

RAG (Retrieval Augmented Generation) を活用！LLMで外部データを参照する方法を解説 はじめに はじめまして、DX Technology Unitの芹澤です。普段はAI関連技術を用いた研究開発に携わっています。 昨今、ChatGPTを初めとした大規模言語モデル (Large Language Model; 以下LLM) が話題になっており、様々な質問に対して非常に優れたアウトプットが得られるようになりました。一方、LLMを企業で使用する場合、社内特有のデータを参照する必要があるため、社内特化LLMシステムを構築することが必須となります。 弊社では、社内の業務効率化を目的とした生成AIの活用を促進する「生成AIプロジェクト」が立ち上がり、ChatGPTをはじめとしたLLMの検証作業を進めています。その中で生成AIが社内情報を参照できるようにする方法について

Azure AI Search が RAG の課題を満たすしくみ Azure AI Search には、これらの RAG の課題に特化して設計された 2 つのアプローチが用意されています。 エージェント検索 (プレビュー): LLM 支援クエリ計画、マルチソース アクセス、およびエージェントの使用に最適化された構造化応答を備えた完全な RAG パイプライン。 従来の RAG パターン: ハイブリッド検索とセマンティック ランク付けを使用した実証済みのアプローチ。より単純な要件や、一般公開 (GA) 機能が必要な場合に最適です。 以下のセクションでは、各アプローチで特定の RAG の課題がどのように解決されるかについて説明します。 クエリ理解の課題の解決 問題を： ユーザーは「2023 年以降に採用されたリモート ワーカー向けの PTO ポリシーとは」と尋ねますが、ドキュメントには "休暇"