こんにちは、CCCMKホールディングス TECH LAB三浦です。 ここのところ本当に暑い日が続いています。暑いと自分が思っている以上に体に負担がかかっているんだな、と感じます。外に出る時はなるべく日差しを避けて歩くようにしないと、と意識するようになりました。 さて、Large Language Model(LLM)を使っていると結構頭を悩ませるのがプロンプトを作成する過程です。ちょっと言い回しを変えるだけでガラッと出力結果が変わってしまい、さっきまで上手くいっていたのに一気におかしくなってしまった！といった具合に、安定しない点に苦労することが多いです。 そんな折にDSPyという興味深いフレームワークを知りました。 dspy-docs.vercel.app DSPyは機械学習モデルを学習する時の様に、LLMに与えるプロンプトをパラメータとして最適化することが出来ます。ドキュメントでも言及さ

久しぶりの投稿になりますが 情報(と頭の)整理を兼ねて、興味があった4月25日に公開されたNemo Guardrailsについて周辺情報も含めて簡易的に纏めてみたいと思います。 まずは動かしてどのようなものか理解したい。具体的なインストール方法から実行方法までざっくり知りたいという方は、以下のクラスメソッドさんのブログがとても分かりやすく纏まっているのでオススメです。 はじめに 本ブログの元情報は主に以下の3つになります。もし本まとめ記事で気になった部分があればぜひ以下のリンクから詳細をご確認下さい。 https://github.com/NVIDIA/NeMo-Guardrails Technical Blog: NVIDIA Enables Trustworthy, Safe, and Secure Large Language Model Conversational Systems

60行スクリプトシリーズ第二弾。前回はこちら この記事はMultiAgent作成フレームワーク「LangGraph」に興味がある人が手っ取り早く動かしてみることを目標にした記事です。 この記事を見てできること 指定のお題に対して、関数で定義したツール実行（Web検索など）をする。 実行結果を元に答えを返す。答えがわかるまでツール実行を繰り返す。 このワークフローの拡張性も意識して、組み込みのワークフローは利用しない方針で作成しています。 まずはセットアップ # 必要なライブラリをインポート import argparse from langchain_community.tools.tavily_search import TavilySearchResults from langchain_openai import ChatOpenAI from langgraph.checkpoin

こんにちはChoimirai Companyのサンミンです。 0  はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は

はじめに この記事で想定している読者の方 LangChain経由でLLMを用いたchainを使用している方 LangChainと共に使用するLLM実験管理ツールを迷っている方 「LangChain」はLLMをシステムに組み込む際に非常に便利なライブラリであり, 実際に開発に用いられている方も多いと思います。ですが, LLMの性質上プロンプトやchainの構造を変化させての実験が多くなってしまい, 記録・管理が大変になりがちです。そんな場合に使用したいLLMの実験管理ツールについて前編の記事にてLangChainから使用するために選定したLangSmithとLangfuseについて今回は実装を行った上で比較して行こうと思います! TL;DR 今回は以下の画像のデモアプリを作成し3種類のchainについて実際に記録しLangSmithとLangfuseの比較を行いました! デモアプリの入力画面

前提 多くの文書には、テキスト、表、画像など、様々な種類のコンテンツが混在 このような半構造化データの解析は従来のRAGにとって困難な場合が多い 👎テキストを分割すると表が分断され、検索時にデータが破損する可能性がある。 👎表を埋め込むと、意味的類似性検索が困難になる可能性がある。 👎画像に含まれる情報は通常失われる。 手法 Unstructuredというlangchain,llamaindex外部のAPIを使い、ドキュメント（PDF等）から画像、テキスト、表を解析する。 multi-vector retrieverを使って、生の表、テキスト、（オプションで）画像を、検索用の要約とともに保存する。 選択肢（各選択肢が下画像のoptionに対応） 選択肢1： CLIPなどのマルチモーダルモデルを使い画像とテキストを埋め込み、類似性検索を使って両方を取得。生の画像とテキストチャンクをマル

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメインでの用語を応答する Slack ボットをさくっと作ってみたので共有します。 本コード一式は、以下の GitHub レポジトリに保管しています。 github.com 使い方 コード解説 アーキテクチャ RAG の仕組み ヒューマンインザループによる継続的品質改善 まとめ We Are Hiring! 使い方 事前準備として｛用語集スプレッドシートの作成・Slack アプリの初期設定・各種

導入：LlamaIndexとは？ LlamaIndexは、Large Language Models（LLMs）の機能を拡張するために特別に設計された高性能インデックス作成ツールです。単なるクエリ最適化ツールではなく、応答合成、組み合わせ性、効率的なデータ保存など、高度な機能を提供する包括的なフレームワークです。複雑なクエリに対応し、文脈に合った高品質の応答を必要とする場合、LlamaIndexが最適なソリューションです。 本記事では、LlamaIndexのコアコンポーネント、高度な機能、プロジェクトへの効果的な実装方法について、テクニカルな詳細を解説します。また、LangChainなどの類似ツールと比較して、LlamaIndexの機能を完全に理解していただけるようにします。 最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをチェックしてください！ LlamaIndexとは

はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く

TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） github.com はじめに こんにちは、データサイエンティストの坂元です。ABEJAアドベントカレンダーの13日目の記事です。世は大LLM時代ということで、ありがたいことにABEJAでも複数のLLMプロジェクトを推進させて頂いています。私自身もいくつかのLLMプロジェクトに参画しています。LLMといえばLangChainが便利ですね。OpenAI APIの利用だけでなく、各種ドキュメントのパースが出来たり、HuggingFaceやインデックスDBを扱う他のライブラリとインテ

ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が向上し、多くの注目を集めています。とくにRAG（Retrieval Augmented Generation）と呼ばれる手法を使って、手元のデータを生成時に活用する手法がよく使われていますが、その性能を改善する方法は様々あります。その中でも、この記事ではRAG内部の検索性能を改善するためのクエリ変換に着目し、HyDEと呼ばれる手法の効果を日本語の検索用データセットを使って検証した結果を示します。 記事の構成は以下のとおりです。 HyDEとは 実験設定 実験結果 実装の詳細 参考資料 HyDEとは HyDE（Hypothetical Document Embeddings：仮の文書の埋め込み）は、入力されたクエリに対して仮の文書を生成し、その文書を埋め込み、検索に使用する手法です[1]。典型的な文書検索では、ユーザーが入力したク

以下の記事が面白かったので、かるくまとめました。 ・Applying OpenAI's RAG Strategies 1. はじめに「Open AI」はデモデーで一連のRAG実験を報告しました。評価指標はアプリケーションによって異なりますが、何が機能し、何が機能しなかったかを確認するのは興味深いことです。以下では、各手法を説明し、それぞれを自分で実装する方法を示します。アプリケーションでのこれらの方法を理解する能力は非常に重要です。問題が異なれば異なる検索手法が必要となるため、「万能の」解決策は存在しません。 2. RAG スタックにどのように適合するかまず、各手法をいくつかの「RAGカテゴリ」に分類します。以下は、カテゴリ内の各RAG実験を示し、RAGスタックに配置する図です。 3. ベースライン距離ベースのベクトルデータベース検索は、クエリを高次元空間に埋め込み（表現）し、「距離」に基

はじめに 株式会社スマートショッピングで SRE をしているbiosugar0です。 先日、2023 年 10 月 23 日に行われた Amazon Bedrock Prototyping Camp というイベントに参加してきました。 そこでは Bedrock の紹介から始まり、Claude のハンズオン、実際にプロダクト反映を目指したプロトタイピングを行うという内容でした。 今回はその中で検証、実装した社内用の Slack bot に弊社ヘルプページを参照させる事例を紹介します。 Retrieval Augmented Generation (RAG) Retrieval Augmented Generation (RAG)は、LLM を用いた処理において、外部のデータベースや文書と連携してより精度の高い回答を生成するためのテクニックです。 GPT-4 のような LLM は、学習に使用さ

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 弊社では今 LLM をプロダクトに活用しているのですが、実際にユーザに提供するクオリティのものを作る・運用しようとすると様々な課題が立ちはだかってきました。 そんな数々の課題を解くために LangSmith というツールが活躍してくれた、また今後の活用・発展にもかなり期待ができるため、本記事ではそんな LangSmith について解説していきます。 LLM を使ったプロダクト開発において課題を感じている方々の参考になれば幸いです。 出てきた課題 まず LangSmith 自体の解説に入る前に、我々が直面した・ほぼ間違いなく今後するであろう課題たちをサラッとご紹介しようと思います。 大まかには次のような課題がありました。 プロンプトがアプリケーションコード内に書か

Generative Agents の論文を読んで、その仕組みをドキュメント問い合わせシステムとして応用してみたOpenAI箱庭ChatGPTlangchain モチベーション こちらで紹介されていた「Generative Agents: Interactive Simulacra of Human Behavior」という論文を読み、大変興味を持ちました。 AIによって生成された２５名のエージェント(ChatGPT: gpt3.5-turbo)が人間の行動をシミュレートして、社会的な行動が創発されたそうです。 この論文での創発の定義は以下でした。 情報拡散(Information Diffusion) 関係性の記憶(Relationship memory) 調整(Coordination) また、このような創発を起こすためのエージェントの仕組みは、以下あたりでと解釈しました。 外部記憶（

The Quick-start Guide Isn’t Enough "Retrieval augmented generation is the process of supplementing a user’s input to a large language model (LLM) like ChatGPT with additional information that you (the system) have retrieved from somewhere else. The LLM can then use that information to augment the response that it generates." – Cory Zue LLMs are an amazing invention, prone to one key issue. They ma

Editor's Note: This post was written in collaboration with the Ragas team. One of the things we think and talk about a lot at LangChain is how the industry will evolve to identify new monitoring and evaluation metrics that evolve beyond traditional ML ops metrics. Ragas is an exciting new framework that helps developers evaluate QA pipelines in new ways. This post shows how LangSmith and Ragas can

It can often be useful to store multiple vectors per document. There are multiple use cases where this is beneficial. For example, we can embed multiple chunks of a document and associate those embeddings with the parent document, allowing retriever hits on the chunks to return the larger document. LangChain implements a base MultiVectorRetriever, which simplifies this process. Much of the complex

これはなに？ 新しくリリースされた ChatGPT (GPT-3.5 Turbo) の Fine-tuning を試してみたメモ。 ChatGPTに最新の知識や専門知識を注入できるかどうかをテストしてみた。 結局、自分が想定した動きにはできなかったので記事にして供養します🙏 tl;dr 一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning はうまく動かなかった。 OpenAIが提示している想定のユースケースとずれている利用方法なので、もう少しトライしても上手くいかないんじゃないかなと思う。 学習データに入れた質問をそのまま投げてあげると回答できることもある程度だった。(このままでは到底使えない…) 出力のトーンや言語の指示にプロンプトの文字数を大量に使っていて、それを大幅に削減したい、という時には使えそうだなという印象だった。 学習データの自動生成

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?