概要 Dify v0.6.11で利用可能になったFirecrawlでWebサイトのナレッジ登録が可能に SaaS版のFirecrawlは無料だと500回のリクエスト制限がある OSS版のFirecrawlは無制限でリクエストが可能 この記事ではローカルでOSS版のFirecrawlを立ち上げDifyと繋げる方法を紹介 前提 DockerやGitコマンドが使える ローカル上にDifyが既に起動している OSS版Firecrawlをローカル起動 クローン OSS版Firecrawlは下記で活発に開発が行われています。 このリポジトリをローカルにクローンします

生成AIが文章校正において強力なツールとなるのではないかという期待があり、去年からいろいろツールを作って試している。 私がノイズっぽい文章の投稿をしていたとしたらそれは実験の結果であることが多い。 口調や一人称がちょいちょい変わってるし。 その過程で出会った『まったく新しいアカデミック・ライティングの教科書』の中で紹介されている「エリック・ヘイヨットのパラグラフ解析手法”Uneven U”」は、チャット型エージェントを使ったパラグラフライティングと相性が良いと感じた。 『まったく新しいアカデミック・ライティングの教科書』ではヘイヨットのパラグラフ解析について以下のように説明されている。 ヘイヨットのパラグラフ解析の手法は、センテンスを抽象度に応じて１から５までのレベルに分類するというものだ。 レベル１は完全に純粋なデータ、エビデンスであり、いわば抽象度ゼロのファクトである。 それにたいして

この記事では、Difyで社内ナレッジFAQボットを作成し、GASでSlackと連携する方法を紹介します。 この記事を読んでいただければ、下記の２つをまとめてご理解いただけます！ Difyを用いてRAGを構築する方法 Difyで作成したチャットボットをSlackに連携する方法 この２つを理解していただければ、下記のようなことができてしまいます！ ①社内規定に関してのFAQボットをSlack内に実装チャンネル内で使用している様子②議事録に基づいて回答するボットをSlack内に実装社内ナレッジの代わりに、議事録を学習したチャットボットを作成した場合、写真のように、担当プロジェクトのチャンネル内で、活用することもできてしまいます！ Difyで社内ナレッジFAQボットを作ってみようそれでは早速、Difyを使って社内ナレッジFAQボットを作成してみましょう。 DifyにログインまずはDifyのウェブサ

はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

ChatGPTをはじめとする生成AIの登場により、私たちは人工知能と対話しながら様々なタスクをこなせるようになりました。 しかし、AIから望む回答を得るには、適切な「プロンプト」（指示文）を与えることが重要です。 今回は、ChatGPTの出力精度を上げるためのプロンプトテクニックを基礎編と応用編に分けてご紹介します。 (参考記事:https://platform.openai.com/docs/guides/prompt-engineering)

この記事では、gpt-4o-miniをファインチューニングして織田信長のような人格で会話するAIを作成する方法を紹介します。 ファインチューニングとは？ファインチューニングとは、AIモデルを特定のタスクやキャラクターに合わせてカスタマイズする技術です。 例えば、下の画像は、織田信長AIとの会話データをもとにファインチューニングされたgpt-4o miniモデルに「自己紹介してください」と指示した時の出力です。 このように、ファインチューニング済みモデルは、複雑なプロンプトによる指示なしでも、織田信長らしい口調と性格を再現できています。 ファインチューニングでできることファインチューニングを行うことで、他にも以下のようなことが可能になります。 特定の出力をより確実に生成: AIに特定のタスクを実行させる際の信頼性を向上させることができます。例えば、商品名や日付などの情報を正確に抽出するように

はじめに最近、AIを活用したスライド作成の新しい方法として、「MarpとAI」の組み合わせがXなどで話題になっています。 従来のスライド作成では、PowerPointやGoogle Slidesが一般的でした。ChatGPTなどのAIツールを活用する方法も登場しましたが、ビジネスで使えるクオリティやデザイン面で改善の余地がありました。 MarpとChatGPTやClaudeなどのAIを組み合わせる方法には、以下のような特徴があります： 高品質なコンテンツ生成が可能 デザイン面でも優れている 編集がしやすい 本記事では、MarpとClaudeを使ったスライド作成の方法を解説していきます。 それでは早速みていきましょう！ Marp（Markdown Presentation Ecosystem）は、Markdownを使ってプレゼンテーションスライドを作成できるツールです。日本人開発者のYuki

はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ

以下の記事が面白かったので、簡単にまとめました。 ・Long context  |  Gemini API  |  Google for Developers 1. Gemini のロングコンテキスト「Gemini 1.5 Flash」には100 万トークン、「Gemini 1.5 Pro」には200万トークンのコンテキストウィンドウが付属します。歴史的にLLMは、一度にモデルに渡すことができるテキスト (またはトークン) の量によって大幅に制限されていました。ほぼ完璧な検索 (>99%) を備えた「Gemini 1.5」のロングコンテキストウィンドウにより、多くの新しいユースケースと開発者パラダイムが実現できるようになりました。 2. コンテキストウィンドウとは「Gemini 1.5」を使用する基本的な方法は、情報 (コンテキスト) をモデルに渡し、その後モデルが応答を生成するというもの

以下の記事が面白かったので、簡単にまとめました。 ・Mistral NeMo | Mistral AI | Frontier AI in your hands 1. Mistral NeMo の概要「Mistral NeMo」は、Mistral AI と NVIDIA が共同で学習した 12Bの事前学習済み生成テキストモデルで、サイズが小さいまたは同等の既存のモデルよりも大幅に優れています。最大128Kトークンのコンテキストウィンドウを提供します。標準アーキテクチャを採用しているため、使いやすく、「Mistral 7B」を使用するあらゆるシステムで簡単に置き換えることができます。 研究者や企業での採用を促進するために、Apache 2.0の下で、事前学習済みのベースチェックポイントと指示チューニング済みのチェックポイントをリリースしました。「Mistral NeMo」は quantisat

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

マルチステップエージェントの安定化についてAIでマルチステップエージェントを作る際、安定した挙動にすることが難しいという話をよく耳にします。多くの人はRAG（Retrieval-Augmented Generation）に知識を入れていますが、プロセス情報を先に入れたRAGを作る方が良いのではないかというコンセプトについて考えてみました。 プロセス情報を先にRAGに入れる例えば、XXしたいときの手順を以下のように構成します： 調査: どこを調べるべきか 考慮: どう考えるべきか ツールの使用: どのツールを使うべきか 保存: 結果をどう保存するか このように、エージェントのプロセス情報をRAGとして用意しておくことで、エージェントの処理が安定し、結果的にエージェントの回答も安定します。 このプロセス処理の安定性がRAGで保証されると、AIエージェントが「印刷する」みたいな、自分でできないタ

SITUATIONAL AWARENESS The Decade Ahead Leopold Aschenbrenner https://situational-awareness.ai/ の全文和訳。 2024年6月、元OpenAIの技術者からとんでもない文書が公表されました。 彼は、汎用人工知能（AGI）の実現が、そう遠くない将来、今後わずか数年で達成されると予想しています。 AI開発について、幅広い知見、深い洞察、そして何より現場の技術者によるファクトベースの見解がすばらしい名著です。 人類史においても極めて重要な著述だと考えるので日本語に緊急で翻訳しました。 大量のテクストトークンが入力可能、かつ現時点でアクセスできる Google Cloud Vertex AI Studio Gemini-1.5-Pro を翻訳に利用しています。 このモデルの翻訳性能は素晴らしく高く、和訳自体に

1. はじめに 先日、Azure OpenAI Embedding モデルを利用し最も関連性の高いドキュメントを見つける方法 について説明しました。これを利用する事で、最も関連性の高いドキュメントを見つける事ができます。 この記事では、この機能を利用し PDF ファイルを Azure Blob Storage にアップロードすると、自動的に PDF ファイルをテキストに変換し、Azure OpenAI Embedding モデルを利用して、ベクトル検索を行う方法について説明します。 このサービスを利用すると、社内ドキュメントも、各種論文も PDF ファイルであれば何でも、Azure の Storage にアップロードするだけで、自動的にそのドキュメントを検索できるようにして、実際に検索をすると該当箇所を　ChatGPT が該当部分をまとめて表示してくれるようになります。 1.1 サービスの

pgvector(pgvector/pgvector: Open-source vector similarity search for Postgres)はベクトルデータの類似性検索機能を提供するPostgreSQLの拡張機能です。データベース内にベクトルデータを格納し、特定のベクトルと最も近い要素を検索できます。近似値の算出はユークリッド距離、内積、コサイン距離による距離計算が提供されており、大規模なデータセットでの検索を高速化するためのインデックス機能も提供されています。レコメンデーションシステムや画像や文章の類似コンテンツ検索などのアプリケーション開発で有用になります。 pgvectorのインストールとセットアップ PostgreSQLにpgvectorをインストールします。OSはRocky Linux release 9.6、PostgreSQLは公式リポジトリからインストールし

Create an account and your first index in 30 seconds, then upload a few vector embeddings from any model… or a few billion. Perform low-latency vector search to retrieve relevant data for search, RAG, recommendation, detection, and other applications. Pinecone is serverless so you never have to worry about managing or scaling the database. from pinecone import Pinecone, ServerlessSpec # Create a s