OpenAIが提供するChatGPT Visionは画像の認識や分析に長けた機能 （要：$20/月のChatGPT Plusアカウント） 例えば、バグが起こっている様子をスクショして送れば、AIがソースコードの問題箇所を検出し、訂正したコードを送ってくれます。 ほかには手書きの文字を読み込んでテキストデータにしたり、画像を認識してその状況を文章化したりといった使い方も可能です。 生成AIの発展によって現在プロンプトエンジニアリングは注目を集めていますが、この技術を上手く活用できればプロンプトを書く手間すらも減らしていけるかもしれません。

2022年11月にOpenAI社のChatGPTがリリースされて以来、ChatGPTは世界中のさまざまな分野に大きな影響を与えました。 たとえば、SEOに強いAIライティングツール「トランスコープ」は、OpenAI社のGPT-4を搭載したを搭載しており、SEOに強い文章作成が可能なAIツールです。ChatGPTはさまざまなビジネスに応用され、業務効率化・サービス改善と活用の幅が広いです。 そして、2023年9月25日、OpenAI社は新機能として「GPT-4V」の導入を発表し、世間から注目を集めています。 リリース以降も進化し続けるChatGPTのおかげで、私たちの生活や仕事はたった1年で便利になりました。 本記事では、ChatGPT有料版ユーザーの皆様に向けて、新機能であるGPT-4Vの概要や活用事例10選をご紹介します。 ネット上では「ChatGPTに目ができた」と表現されており、新た

1. はじめに ついに ChatGPT-4V が使えるようになりました！ これまでGUIを作成するときには、ChatGPT に 「まず左上にテキストボックスがあって、その右にボタンがあって...」 とちまちま指示する必要があったのですが、GPT-4V により画像を渡せるようになります。 この記事では、ChatGPT-4V を使うと GUI 作成がどのくらい楽になるのかを検証してみたいと思います！ 作成するGUIはこちらのものです。 2. GPT-4V の読み取り精度の確認 2.1. 日本語のポンチ絵 まず、元の記事で使用した日本語のポンチ絵を渡して、どのように読み取れるのかを確認します。 GUIの各要素の位置はなんとなく読み取れている感じがしますが、日本語の読み取り精度はあまり高くないようです。 2.2. 英語のポンチ絵 先ほどのポンチ絵を英語に変換してみます（左下だけ詳しく書き直しました

こんにちは。ISID 金融ソリューション事業部の若本です。 先日、GPT-4から発展し、画像も扱うことができるGPT-4 with vision（GPT-4V）が発表されました。GPT-4Vは大規模マルチモーダルモデル（LMMs: Large multimodal models）と呼ばれるAIモデルの一種であり、GPT-4の入力として「画像」を拡張したものになります。 今日は Microsoft Researchの論文[1]を中心に、Open AIの発表したSystem Card[2]も踏まえ、GPT-4Vでできることや苦手とすること、そして実用上の制限について解説します。 GPT-4Vの特徴 ① 画像とテキストを入力にできる GPT-4Vでは、GPT-4のテキスト入力に加えて画像も入力することが可能になりました。 画像は複数枚入力することが可能であり、かつ、画像とテキストを任意に交互に組

AGIラボは、最高のAI情報をお届けするためのマガジン・コミュニティです。GPTsを筆頭にClaude 3やSoraなど注目のAIについても詳しく解説、今日から使えるAI活用情報を一番わかりやすくお伝えします。他に限定コミュニティへのアクセス、限定イベントへの参加権が含まれます。

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-

Open Interpreterのライセンス、バージョンアップのタイミングでMITからAGPL-3.0に変更されていますので注意ください。 Open Interpreterが凄い 凄いの出ちゃいましたね。Open Interpreterの凄さとか、可能性とかは、以下のshi3zさんのブログ記事で感じていただければと思います。こういうエモい文章はshi3zさん最高に上手ですね。 自分としては、Advanced Data Analysis（旧ChatGPT Code Interpreter）を触っていて「こりゃ凄いな」と思っていたものの、少し制約に窮屈さを感じていたところだったのでバッチリのタイミングでした。 Open InterpreterをDocker環境を動かす Open Interpreter凄いのですが、問題は凄すぎる点ですね。ガンガンコマンドを実行するので、ローカルで動かしたら凄い

一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを　openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです　https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて

1. インストール 1pip install open-interpreter ターミナルで次のコマンドを実行して、Open Interpreter をインストールします。 2. 対話型チャットの開始 インストール後、次のコマンドを実行して、ターミナルで対話型チャットを開始できます。 1interpreter Python で対話型チャットを開始するには、次のコマンドを実行します。 1import interpreter 2interpreter.chat() 2. OpenAI APIキーの設定 OpenAIのAPIキーを利用する場合は設定が必要ですが、OpenAIのキーを使用しない場合は、Code-Llamaを利用することができます。 これで、Open Interpreterを利用する準備が整いました。 Open Interpreterの使い方 タスクの依頼・実行 Open Inter

凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot

Photo by Mariia Shalabaieva on UnsplashBackgroundAllowing non-technical users to ask questions from a database has been a problem of interest in academia and industry for years. The recent advances in Large Language Model (LLM) technology, such as GPT-4, have improved the accuracy of proposed solutions. However, since the most advanced LLMs have not been open for fine-tuning, recent work in the sp

米OpenAIは8月15日（現地時間）、「Using GPT-4 for content moderation」（コンテンツモデレーションにGPT-4を活用する）と題するブログを公開した。コンテンツポリシーの開発とモデレーションにGPT-4などのLLM（大規模言語モデル）を使えば、ラベル付けの一貫性が高まり、迅速なポリシー改善が可能になり、人間のモデレータの関与を軽減できると主張している。 問題のあるコンテンツを判定し、ラベル付けするために、多数の人間が低賃金で長時間、暴力的など問題のあるコンテンツを視聴させられることが問題になっている。 OpenAIは、こうした問題に対処するためにLLMの使用を検討しているという。GPT-4は自然言語を理解して生成するので、モデレーションに適用できるとしている。GPT-4のシステムを使えば、コンテンツポリシーの開発とカスタマイズにかかる時間が、従来の数カ

意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ

著者のアルベルト・ロメロ（Alberto Romero）氏はスペイン在住のAI技術批評家で、AINOWでは同氏の記事を多数紹介して来ました。同氏がMediumに投稿した記事『明らかになったGPT-4の秘密』では、OpenAIがGPT-4のアーキテクチャおよび詳細を非公開にしたビジネス上のメリットが解説されています。 「競争と安全上の理由から」学習データやアーキテクチャが非公開だったGPT-4について、2023年6月になってリークがありました。そのリーク内容とは、同モデルは2,200億パラメータの専門家モデルが8つ連結された「専門家混合モデル」だったというものです。このアーキテクチャ自体は、Googleが2021年に発表している何ら革新性のないものです。 実際には既存技術を活用して開発していたGPT-4の詳細を非公開としたOpenAIのビジネス戦略について、ロメロ氏は以下のような3つのメリッ

ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。最後に、視聴者からの質問に回答します。前回はこちらから。 データを国外に出してはいけない企業は推論用のサーバーは利用できないのか 司会者：残り短い時間ですが、質疑応答に移りたいと思います。その前に、事務側から「最初のほうの通信品質が悪かったり、アクセスできない方が何名かいた」と聞いています。大変申し訳ございませんでした。 また、「資料が欲しい」とか、「アーカイブ動画が見たい」といった質問を多くいただいています。こちらもなるべく早い段階で公開していこうと思っているので、今し

ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。さらに、AIネイティブなアーキテクチャの有効活用のためにおすすめな従来の用途固定AIモデルの整理と、GPTを活用するためのシステムの参考アーキテクチャについて話します。前回はこちらから。 今後はAIネイティブなアーキテクチャが登場するだろう 蒲生弘郷氏（以下、蒲生）：ここまで言ったところで、GPT自身にいろいろなものを食わせるというところもあったと思いますが、（今後）よりAIネイティブなアーキテクチャが（登場することが）予想されます。 例えば「社内独自の技術である○○につ

GitHubは、GTP-4ベースのAIを用いた開発支援機能「GitHub Copilot Chat」を、GitHub Copilot for Businessユーザー向けに限定パブリックベータとして公開すると発表しました。 GitHub Copilot Chatは、今年3月に発表された同社のビジョン「GitHub Copilot X」で登場が予告されていた機能の1つです。 現在提供されているGitHub CopilotはGPT-3のAIをベースに、コードエディタ内でプログラマがコメントを記述するとそれに基づいてコードを自動生成する機能などを提供しています。 「GitHub Copilot X」では、強化されたAIであるGPT-4を用い、さらに高い精度でのコード生成やバグの指摘などを始めとする、以下のさまざまな新機能などを備えると説明されていました。 コードエディタ内でAIとテキストチャット

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert