Azure AI Studio の Prompt flow の評価メトリクス紹介 ― ChatGPT どう評価する？AzureAzureMachineLearningChatGPTGPT-4 Azure Machine Learning / Azure AI Studio に Prompt flow が搭載され、パブリックプレビューが開始されました。Prompt flow は大規模言語モデル (LLM) を利用した AI アプリケーションの開発サイクル全体を合理化するように設計された新時代の開発ツールです。 Prompt flow には作成したフローのパフォーマンスを評価する機能が搭載されており、現在は 9 つの評価フローをギャラリーテンプレートから選択可能です。 本内容は「LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保-」イベントで登壇した

昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発…

はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri

RAGは非常に有用なツールですが、PDFの論文などを扱う際には、表データを正しく読み取れない場合があります。 表の構造を適切に処理することは難しく、いくつかの改善策が提案されています。 例えば、RAGを構築するのに使われるライブラリであるLlamaIndexのドキュメントに以下のような情報があります。 このドキュメントでは表を含むデータを扱う方法として、PDFを一旦すべて画像データに変換し、画像として表の形式を保持したままGPT-4Vでデータを解析することを提案しています。 ただ、PDF1ページ分の画像をそのままGPT-4Vに解析させても精度はあまり良くないようで、後述するTable Transformerを使って表部分の画像のみ抽出してから解析を行うことで、より良い結果が得られたのことでした。 本記事では、この方法を用いてPDF内の表の解析を試してみます。 手順としては 1. PDFの全

2024/1/31に開催された【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンで発表した資料です。 AzureでRAGによる社内文章検索をやってみてさまざまな試行錯誤を通して得たナレッジを共有します！

はじめに Microsoft Ignite 2023でのAzure AIのアップデートをまとめました。 まずは下記ブログの翻訳を中心にしています（ほぼ翻訳です）。 Ignite 2023: What’s new in Azure AI Platforms – Charting the Future with Innovative AI and ML - Microsoft Community Hub 主要なアップデート Azure AI Studioのパブリックプレビュー サティヤ・ナデラの基調講演で、Azure AI Studioのパブリックプレビューが発表されました。これは、生成型AIアプリケーションとコパイロット開発を簡素化する最先端のプラットフォームです。Azure AI Studioは、急速に成長しているモデルカタログ、ツール、サービスをシームレスに統合し、統一された開発体験を提

ファインディが、ChatGPTを活用する際に気をつけたこと 松本勇気氏（以下、松本）：佐藤さんが気をつけたことと、ベストプラクティスをお願いします。 佐藤将高氏（以下、佐藤）：僕の観点から言うと、ChatGPTのAPIを使う時に、OpenAIなのかOpen APIなのか「今どっちを言ったっけ？」とわからなくなるので、そこがすごく気をつけたほうがいいことの1個目です。 松本：だいぶしょうもない（笑）。 （一同笑） 佐藤：それは冗談で、僕らがリリースした当初にものすごく気をつけたことを言うと、海外の深夜帯ですかね。（深夜帯）になると、実はOpenAI社のところで使用量がものすごく上がったりしていて、「夜中にサーバー障害が起きているから使えないものがあるんですけど」みたいなことがありました。最近はもしかしたら解消しかけているのかもしれませんが、直近でOpenAI社のAPIを使うと発生する課題があ

はじめに ChatGPT Code Interpreter いいですよね。でもAzure OpenAIではまだまだ使えなさそう(そもそも使えるようになるのか？)なので、Jupyter Notebookと組み合わせて同じようなことを実現してみました。 Function Callingが使えるようになれば、ちょっと実装を変えたほうがよいところもありますが、とりあえず生ChatGPTで進めます。gpt-35-turbo(0613)です。お安くできますね。 環境準備 Jupyter Notebookを使える環境はお好みの方法でご用意ください。 あと、openai、matplotlib, pandas, numpyとか必要なものもお好きな環境にどうぞ。なお、日本語でグラフを作成したいので、japanize-matplotlibはいれておいてください。 Code Interpreterを実現する関数

株式会社クラウドネイティブは、Azure OpenAIで自組織専用のChatGPTの構築を支援するサービスを展開しています。ChatGPTとAzure AD OpenAI Serviceの取り組みや事例、支援… IDチームの前田です。今日は生成AI(ChatGPT)と音声認識モデル(Whisper)を利用した会議アシスタントツールに関する投稿になります。 (追記) 作ったツールはGitHub上で公開しており、Dockerを利用してすぐに試せるようになってます。 https://github.com/cloudnative-co/mtg-ai-assistant 2023年8月30日現在Azure OpenAIにてWhisperが利用出来ていないため、OpenAI Whisper APIを利用した試験段階のものになります。近日中にAzure OpenAIにてWhisperが利用出来るとアナウ

こんにちは、Happy Elements 株式会社でエンジニアをしておりますryoooです。 先日、以下の記事で弊社における社内ルール等に対するチャットシステムをご紹介いたしました。 Function calling機能を使って、こちらのチャットツール上で自然言語でGoogleカレンダーを操作する機能を追加しましたので、本記事では実装時の工夫を紹介させていただきます。 この機能により、以下のようなことが可能となっています。 自然言語でカレンダー予定を作成 自然言語でカレンダー予定を取得 Function callingとは 簡単にいうとGPT-4に対して「あなたはこういう関数を利用できるから、利用したい場合は引数をレスポンスしてね」と伝えて、GPT-4とバックエンドサーバーで何度かやり取りをしながら、ユーザーの要求を解決していく仕組みです。 (参考) Microsoftのドキュメント ht

Boost Your Performance and Developer Productivity with Jakarta EE 11

import openai openai.api_type = "azure" openai.api_base = "https://<???>.openai.azure.com/" openai.api_version = "2023-03-15-preview" openai.api_key = "???" import openai from langchain.callbacks import get_openai_callback from langchain.chat_models import AzureChatOpenAI from langchain.schema import AIMessage, HumanMessage, SystemMessage with get_openai_callback() as cb: chat = AzureChatOpenAI( c

独自ナレッジをノーコードでChatGPTに連携！Azure OpenAI「Add your data」 「「やってみた」記事はもう十分」という方はもう少し詳しくみてみるセクションからご覧ください！ 先月のMicrosoft Buildで発表されて注目を集めていた、Azure OpenAIでコーディングなしで社内のナレッジを組み込んだ回答をするChatGPTが作成できる機能「Add your data」がパブリックプレビューになりました🎉🎉🎉🎉 今まではこのようなアーキテクチャを独自で構築する必要があったため、なかなかハードルが高いものでした。 こちらのアーキテクチャはサンプルとして公開されているのでご興味があれば見てみてください。 やってみる ではセットアップしてみましょう。 今回はすでにCognitive Searchのリソースがある前提で進めます。 Azure OpenAIのプ

三井住友海上火災保険は7月14日、日本マイクロソフトが提供する生成AIチャット利用環境を、5月17日から全社員で使い始めたと発表した。OpenAIのGPT-4／3.5など大規模言語モデル（LLM）をMicrosoftのクラウドで利用できる「Azure OpenAI Service」を活用した。 自社専用の安全なAIチャットツール「MS-Assistant」を構築。社員の情報検索や質問、文章作成・校正、要約、翻訳、ブレインストーミングなどを対話でサポートする。 地域や部門ごとの利用ログをデータサイエンティストが分析し、業務プロセスの改善につなげていくという。 今後は、自社のマニュアルや約款にに応答できる機能の拡充や、当保険代理店への提供を計画している他、社員向け活用支援ポータルサイトの整備や活用アイデアコンテストを開くなど、活用を広げていく。 関連記事 「自社版ChatGPT」をグループ全社

ジョン ローチ (John Roach) ※本ブログは、米国時間 2023 年 5 月 23 日に公開された ”Microsoft outlines framework for building AI apps and copilots; expands AI plugin ecosystem” の抄訳を基に掲載しています。 ソフトウェアがインターネットに接続されていなかった頃を覚えていますか？もう覚えていないのではないでしょうか。マイクロソフトのチーフテクノロジオフィサー、ケビン スコット (Kevin Scott) によれば、数年後には、インテリジェントなコパイロットアシスタントが付属していないソフトウェアにも同じことが当てはまるようになるでしょう。 コパイロット (copilot、副操縦士) とは、最新の AI と大規模言語モデルを使って、複雑なタスクを支援してくれるアプリケーション

はじめに Azure Cognitive Search は オープンソースの全文検索エンジンライブラリである Apache Lucene をベースに開発されており、多くの有用なモジュールを Cognitive Search に取り入れています。その中には日本語アナライザーも含まれており、Cognitive Search では日本語アナライザーとして、Lucene の日本語アナライザーと Microsoft Bing をベースとしたアナライザーの 2 種類から選ぶことができます。 パートナー様からよく質問されるのが、Lucene と Microsoft のどちらのアナライザーを利用したほうがいいのかというものです。Microsoft のアナライザーは詳細な仕様が公開されていないということもあり、詳細を説明することが難しいので、仕様が公開されている Lucene の日本語アナライザーの構造をベ

はじめに 5月23日〜25日にアメリカ シアトルで開催されたMicrosoft Build 2023はAI関連の発表が多くされ、世界的に注目を集めていました。 過去最高レベルの注目度だったのではないでしょうか。 その中で発表されていた「Prompt Flow」機能が最近Azure AI Studio上でパブリックプレビューとしてリリースされました。 記事執筆時点ではこれを実際に触ってみた人の記事が日本語/英語で見当たらなかったので、本記事では早速触ってみた感想を書いていきたいと思います。 そもそも 「Prompt Flow」とは 「Prompt Flow」は、Azure Machine Learning上に追加された新機能で、Azure AI Studio上で提供される大規模言語モデル（LLM）を利用したAIアプリケーションの開発サイクル全体を効率化するために設計された開発ツールです。 皆

この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope