前提 Difyのバージョンは Dify：0.6.11 Dify：0.6.13です。 今の最新バージョンで現状できないことをまとめてみました。 いろんな人がXでDifyでできることをあげていってくれていますが、あまりできないことをまとめている人はいなかったのでまとめた次第です。 「探索に時間を費やしたけど結局できなかった...」となる人が少なくなること祈って書いています。 ループ処理の制限 現在のDifyでは、特定の条件を満たすまでループを回す処理の実装が困難です。例えば、Self-RAGのような自己反復型のRAGの実装ができません。 一時的解決策 現状見つかっていないです。実装方法あったら教えてください。 モニタリングツール（LangSmith、Langfuse）との連携 (0.6.12からできるようになりました) できるようになったので、混乱を与えないため内容は削除しました。 AIモデル

【Dify初心者講座】RAGの作り方 RAG(Retrieval Augmented Generation)とはLLMに情報検索機能を与え、特定の情報源を元に回答を生成させる手法です。 RAGによって特定のWebページや資料を元にハルシネーションの危険性を最小限に抑えた回答をさせることができます。 DifyにはRAGを簡単に構築する機能が備わっています。 ここではRAGを使った簡単なチャットボットとワークフローを作成し、その作り方を学んでいきます。 ナレッジデータベースの作り方まず、RAGに必要なナレッジデ

本記事は Qiita Dify Advent Calendar 2024 の 5日目の記事です。 最近OSSのLLM開発プラットフォームであるDifyをちょいちょい触っています。 github.com AWS上でホストしたり、Difyにコントリビュートし始めたりしているのですが、今後 Deep Dive するためにDifyのアーキテクチャを理解しておこう、ということで自分なりに整理してみました。 なおインフラ視点での整理のため、AP実装には深くは踏み込みません。 今回の記事の内容は主にGitHubのソースコードや、Docsを元にしています。 docs.dify.ai また設定パラメータがいくつか存在しますが .env.example を見ると非常にわかりやすく理解が進むのでおすすめです。 github.com 目次 目次 Difyのアーキテクチャ 1. Reverse Proxy 2. F

プログラミングでは、1文字でも打ち間違いがあればエラーの原因になってしまいます。 そこで似たような文字、例えば数字の「1」（いち）とアルファベットの「l」（エル）、数字の「0」（ゼロ）とアルファベットの「O」（オー）などを容易に見分けられるようなフォントを使うことが、ミスを防ぐことにつながります。 コードを表示させたときに整然として見やすく、エディタ上でカーソルを上下に移動させてもカーソル位置が左右にぶれずに表示されるように文字の幅が等幅に揃っていることも必要でしょう。 日本語の場合には、「－」（マイナス記号）と「ー」（音引き）の区別や、コード内に全角空白が紛れ込んだとしてもすぐに見分けられることなどの特徴を備えていることもプログラミングに適したフォントに求められる条件だといえます。 この記事では、そうした特徴を備えたプログラミングに適したフォントをまとめました。 ここで紹介されていない日

TOPフォーカス「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 「もっと読みやすくできるはず」。白源、Bizin Gothic作者が日本語入りプログラミングフォントを手がけ続ける理由【フォーカス】 2024年6月12日 プログラミングフォント制作者 たわら プログラミングフォント制作者。コーディングに適した欧文・英数字フォントと、日本語フォントを合成し、新たなフォントを生み出す手法に定評がある。2019年5月に「白源（HackGen）」を公開したのを皮切りに、毎年のペースで合成フォントを手がけている。本業ではインフラエンジニアやWebプログラマなどを経て、現在ではSaaS企業にてSREを担う。自身の息子に「プログラミングを教えて」と頼まれた時、まずはプログラミングフォントの重要性を説いた。 X GitHu

ChatGPTの登場からこれまでAIの活用は主流はチャット、すなわち「プロンプト」と呼ばれる自然言語による対話的な指示によって行うことでした。適切なプロンプトを考えて与えることがAIを活用するための大事なノウハウでした。 そうした中で、2024年後半からAIサービスを提供する主要各社はAIの新たなサービス形態として「エージェント」化を進めています。 何を持ってAIエージェントなのかは企業ごとに主張が異なるためAIエージェントの厳密な定義はありませんが、おおまかに言えば、あらかじめタスクやミッションを与えておくことで自律的にAIが作業や処理を行い、適切なタイミングで人間に結果を提供してくれる、というものです。 要するに、生成AIがさらに人間のスタッフのように働いてくれる、というわけですね。 例えばマイクロソフトは2024年10月、AIプラットフォーム「Copilot Studio」に、自律型

年頭のご挨拶：2025年のPublickeyも、読者が安心して記事を読めるように適切な広告だけを掲載します 新年明けましておめでとうございます。本年もPublickeyをどうぞよろしくおねがいいたします。 さて、昨年（2024年）6月にPublickeyの広告掲載方針として「読者が安心して記事を読めるように、Publickeyでは適切な広告だけを掲載しています」という記事を公開したところ、大変多くの賛同や支持をいただきました。 おかげでメディアとしてこのような広告運営に関する方針を明らかにすることが大事であることを認識できました。 2025年の最初の記事として、Publickeyは今年もこの広告掲載の方針を変えることなく、不快な画像の広告や誤クリックを誘うような邪魔な広告、さらには詐欺サイトへ誘導するような広告などが掲載されないように運営していくことをご報告させていただきます。 具体的には

nnn 次元ベクトルは（この記事では）実数を nnn 個並べたものだと考えて下さい。 高校数学で習う2次元ベクトル（平面ベクトル），3次元ベクトル（空間ベクトル）の一般化です。 （実数上のベクトル空間 VVV に対して） 任意の xundefined,yundefined∈V\overrightarrow{x},\overrightarrow{y}\in Vx,y​∈V と任意の実数 aaa に対して以下の3つの性質を満たす関数 ∥∗∥\|*\|∥∗∥ をノルムと呼ぶ： ∥xundefined∥=0  ⟺  xundefined=0undefined\|\overrightarrow{x}\|=0\iff \overrightarrow{x}=\overrightarrow{0}∥x∥=0⟺x=0 ∥axundefined∥=∣a∣∥xundefined∥\|a\overrightarro

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答

以前、以下のような記事を書きました。 https://dodotechno.com/llamaindex-wikipedia-chat/ 簡単に説明すると「AIは知らない事を聞いた時に嘘をつく（ハルシネーション：幻覚）のでプロンプトで質問と一緒に正確な知識を渡せばいいよね」という記事です。 この方法はRAG（Retrieval-Augmented Generation）というもので、AIが知らないような専門的な知識について回答させたい場合に、専門知識が記載されたドキュメントやWEBページの情報などをプロンプトに一緒に与えることによって、正確な情報を得る方法です。 ただ、この記事で使用したLlamaindexというフレームワークの仕様が変更されて現在のバージョンでは記事投稿時のソースが動作しません。（後、記事中の説明のための用語の使い方が微妙・・） そのような理由から最新のバージョンでソース

この本では、初心者・入門者の方に向けて、RAGの知識や使い方を体系的にまとめました。少し難易度の高い内容になりますが、本書の中で事前に学んでおくべき項目を示しているため、ご安心ください。 【概要】 ・内容：RAGの概要【入門者向けの基礎知識】、RAGの処理フロー【In-Context Learning / Embedding / Vector Search】、RAGのビジネス活用ロードマップ【大企業向け】、RAGの実装アプローチ、RAGの大分類【Document RAG】、RAGの大分類【SQL RAG】、RAGの大分類【Graph RAG】、RAGの精度評価アプローチ、RAGの精度評価方法【LangChain Evaluation】、RAGの精度評価方法【Ragas】、RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】、RAGの精度改善のためのLLMOps概論、LL

🚀 fnm（Fast Node Manager） はWindowsユーザの方に一番おすすめなNode.jsのバージョン管理ツールです。 Windowsでは少々インストール作業が細かいので、実際の使い方も含めてこちらにまとめておきます。 なお、どんなツールも公式のREADME.mdが最も信頼できる正しいドキュメントなので、そちらも併せてご覧ください🌟

前々回と前回の記事で、CDIの基本的な部分であるスコープとインジェクションについて解説した。 今回は、インジェクション候補のクラスが複数ある場合の様々な対処方法を紹介する。 実装や継承関係がある場合のスコープ指定 実装や継承関係がある場合は、実際にインジェクションしたい具象クラスにスコープを指定する。 例えば、次のようなインターフェースがあるとする。 public interface SomeIf {} インターフェースや抽象クラスに対してはスコープを指定できないため、SomeIfを実装する具象クラスに対してスコープを指定する。 @RequestScoped public class SomeBean implements SomeIf {} インジェクションの指定は、インターフェースや抽象クラスに対しても行える。次のようにSomeIfに対して@Injectを指定すると、CDIコンテナはS

はじめに O/R マッピングとは O/R マッピングとは、一言で言えば、オブジェクト指向プログラミング言語においてリレーショナルデータベースのレコードを通常のオブジェクトとして操作する方法である。より詳細な定義を述べるより、実際のコードを見たほうがわかりやすいだろう。以下に、低レベルの JDBC API の利用例と、高レベルの O/R マッピングフレームワークの代表格である JPA の利用例を挙げる。 public List<Issue> findByProjectId(long projectId) { String query = "select id, title, description from issue where project_id = ?"; try (PreparedStatement ps = connection.prepareStatement(query))

本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を7年ぶりに改訂したものです。 筆者自身もコミッターとして関わるJavaのDB永続化ライブラリ「uroboroSQL」の紹介です。 https://github.com/future-architect/uroborosql はじめにエンタープライズシステム開発では、まだまだJavaで作られていることが多く、システム特性上、やはりRDBを利用するケースが多いですよね。 Amazon AuroraやCloud Spannerといったプロダクトに注目が集まるのも、時代の変化とともにDBも並列分散型でスケールアウトはしたいけれども、トランザクションもSQLも使いたいというCAP定理を覆す特徴を持っていることが要因だと思います。 2016/12/24にクリスマス・イブにCockroachDBに

2つの期間 A〜B と X〜Y が重なっているかどうかを判定したい場合。 のように4つのパターンがある。これを単純に、 A <= X && Y <= B || X <= A && Y <= B || A <= X && B <= Y || X <= A && B <= Yのように判定してはいけない。 Xは青い線の上を、Yは赤い線の上を動くとき、A〜B と X〜Y は重なり合う。この条件は、 X <= B && A <= Yこれで4つのパターンをカバーできる。ORは不要。始点と終点をわかりやすく書くと以下になる。 始点2 <= 終点1 && 始点1 <= 終点2アルゴリズムに名前がありそうな気がするけど、見つけられなかった。 (追記) 矩形の重なり判定の方が情報が見つかった。 * Life is beautiful: ビル・ゲイツの面接試験－私の場合 * 長方形の重なりを判定する問題 - ザ