はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる

はじめに Insight EdgeのLLM Engineerの藤村です。 昨今、企業のDX推進に伴い、社内に蓄積された大量の画像データや文書の効率的な活用が求められています。弊社では、実務でLLMを活用する際、画像や表形式、複雑な図を含むドキュメントの理解が大きな課題となっています。この課題は多くの企業でも同様に直面していると考えられ、その解決は業務効率化において重要な意味を持ちます。 例えば： PowerPointの表やグラフの内容理解 手書きのホワイトボード写真からの情報抽出 複雑な組織図の階層関係の把握 スキャンした文書の図表部分の解釈 これらの課題に対して、以下の2点を検証しました： 最新のマルチモーダルLLMでどこまで対応できるのか GPT-4oのファインチューニングによってどの程度改善できるのか 目次 はじめに 目次 マルチモーダル大規模言語モデルとは 1. 主要マルチモーダル

End of service for LINE Notify Thank you for your continued support of LINE Notify. We've been offering the LINE Notify service to developers since September 2016, but we are regrettably discontinuing this service as of March 31, 2025 in order to focus on providing you a superior service with a similar product that has inherited its management resources. We'd like to express our sincere gratitude

筆者はPythonのパッケージ管理ツールとしてpip、バージョン管理ツール（仮想環境）としてpyenv / virtualenvを利用していますが、 要求されるパッケージのバージョンが衝突する、全体の環境が汚れていくなど色々不便さを感じています。このような悩みはPythonユーザーあるあるではないでしょうか？ そこで今回は、2024年時点で非常に使いやすいと噂のRyeやその他ツールを改めて導入し、 各ツールの利用方法や使い心地などを確認することにしました。 この記事によってできること Pythonの新規プロジェクト立ち上げが容易に行える パッケージ管理、バージョン管理、仮想環境管理を単一のパッケージで行える Pythonのコードに対して思い通りのコーディング規約を定義でき、規約通りに自動修正が入れられるようになる その他、エラー表示などが分かりやすくなり開発体験が向上する 導入 パッケージ

IT Leaders トップ ＞ 経営課題一覧 ＞ データ活用 ＞ 事例ニュース ＞ NTTドコモ、Python GUIライブラリ「Streamlit」でデータ可視化アプリを内製開発 データ活用 データ活用記事一覧へ [事例ニュース] NTTドコモ、Python GUIライブラリ「Streamlit」でデータ可視化アプリを内製開発 データ抽出/分析にかかるコストを54％削減 2024年2月22日(木)日川 佳三（IT Leaders編集部） リスト NTTドコモは、全社規模でデータ活用を推進する中で、データ可視化アプリケーションを容易に開発するため、オープンソースのPython GUIライブラリ「Streamlit（ストリームリット）」を導入した。導入効果として、開発に着手してから8営業日でアプリを運用開始している。また、開発したアプリの利用により、データの抽出や分析にかかるコストを54％

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

この記事は確率的プログラミング言語 Advent Calendar 202317日目の記事です。 ゼミで勉強したStanとRでベイズ統計モデリング（通称：アヒル本）著者である @hankagosa 氏の開催するアドベントカレンダーに参加でき嬉しく思います。このような機会を用意していただきありがとうございます。 それでは本題に入ります。 はじめに 2023/4/6にPyMC-Marketingが発表されました。PyMCの派生ライブラリでマーケティング領域に特化しています。 PyMC Labs is excited to announce the initial release of PyMC-Marketing. Unlock the power of marketing analytics with PyMC-Marketing – the open source solution for

Practical Tips for Bootstrapping Information Extraction Pipelines

TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） github.com はじめに こんにちは、データサイエンティストの坂元です。ABEJAアドベントカレンダーの13日目の記事です。世は大LLM時代ということで、ありがたいことにABEJAでも複数のLLMプロジェクトを推進させて頂いています。私自身もいくつかのLLMプロジェクトに参画しています。LLMといえばLangChainが便利ですね。OpenAI APIの利用だけでなく、各種ドキュメントのパースが出来たり、HuggingFaceやインデックスDBを扱う他のライブラリとインテ

TL;DR 個人の意見ですが LangChain は不必要にコードが複雑で、設計が悪いので production での採用をおすすめしません LangChain とは LangChain とは、大規模言語モデル(LLM) に対して簡単なインターフェイスを提供するライブラリです。またその機能は多岐に渡り、Index (ベクタ DB を通して PDF などの外部データを用いるための機能) や Chains (一連の処理を連続実行する機能)などのモジュールを含みます。 LangChain とは - Hakky 長所として、以下が挙げられます。 OpenAI などの LLM Provider を使ってプログラムから回答を生成するのには良い チュートリアルに沿って動かすのは高速に終わる 複数の LLM Provider やベクタ DB に対して統一されたインターフェイスを提供するため、差異を吸収でき

ベクトルの準備 次にタイトル文章をベクトル化していきます。 OpenAIのアカウントを作成し、こちらからAPIキーを取得し、それを環境変数OPENAI_API_KEYに設定した後、次のコードを実行するだけで、入力文章のベクトルを取得できます。 import os import openai openai.api_key = os.environ["OPENAI_API_KEY"] client = openai.OpenAI() def get_embedding(text, model="text-embedding-ada-002"): text = text.replace("\n", " ") return client.embeddings.create(input=[text], model=model).data[0].embedding get_embedding("入力し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

月がきれいな季節になってきましたが、花より団子なので月見団子や月見バーガーに目移りしてしまう菅野です。 前回ブログでは、diagramsを用いてAWSの構成図を描いてもらうPythonスクリプトを作成してもらいました。 acro-engineer.hatenablog.com そこでも記載した通り、Advanced Data Analysis（旧Code Interpreter）環境ではdiagramsのライブラリがインストールされていないため、Advanced Data Analysis上で構成図の生成はできませんでした。 しかし、ライブラリを自前でアップロードすることで、そのライブラリをAdvanced Data Analysisでも利用可能にできるようになるようです。 そこで今回は、やり方を変えて、Advanced Data Analysisを利用してAWS構成図の作成まで実行しても

以下の記事の内容は2023/9/22に実行しています。Open Interpreterは執筆時点でも開発が進められており、同じように動かない可能性があります。また、ローカルで動かすため、予期しないデータ消失等のリスクもあります。動かす場合は十分慎重に実施するようにお願い致します。本記事の内容によりデータ消失等が起きても責任は負いかねますことを予めご了承下さい。 Open Interpreterとは Pythonなどのコードを大規模言語モデル（LLM）を活用してローカルで実行できるオープンソースのツールです。Open Interpreterは特別な登録など不要です。インストールすればすぐに利用可能です。ローカルで動くため、インターネットへの接続やローカルファイルへの接続がより簡単にできそうです。今回は、このOpen InterpreterをAzure OpenAI ServiceのGPTモデ

Processing and narrating a video with GPT's visual capabilities and the TTS API

OpenInterpreter はデフォルトだと GPT-4 が使われるが、ローカルの Code Llama を使うこともできるということで、 試しに設定して使ってみました。 設定をする上で何点かつまづいたので、解決に繋がったものをメモします。 今回使ったハードウェア環境は、M1 Macbook Pro 16GB です。 ローカルの Code Llama を使うにはOpenInterpreter は、ローカルの Code Llama を使うことができます。 ローカルの Code Llama を使うには、以下のようにします。 interpreter --local使いたいモデルのパラーメータを聞かれるので、今回は「7B」「Medium」「GPU あり」を選択しました。 Open Interpreter will use Code Llama for local execution. Use