やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる

昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna

概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）

このnoteのターゲットChatGPTを使ってるけど、イマイチ使いこなせていない人 ChatGPTにどんな指示をしていいか迷っている人 このnoteで得られることゴールシークプロンプトの概要を理解できる ゴールシークプロントの使い方が分かる ゴールシークプロンプトとは聞き慣れない単語だと思うので、まずはそれぞれの言葉を説明しますね。 ■ ゴール：AIを使ってユーザーが達成したい目標 ■ シーク：探す, 探し求める ■ プロンプト：AIに指示するために入力する文章 つまり、ゴールシークプロンプトとは「ゴールを自ら探しに行ってくれるプロンプト」のことです。 ゴールシークプロンプトがすごい理由ゴールシークプロンプトがすごい理由は、以下の３点。 1. 曖昧なゴール設定でも、AIが明確なゴールを探してくれる 2. AIと対話しながらゴールを探せる 3. 汎用性のある形に変更もできる ChatGPTに

3月14日、OpenAIから大規模言語モデルGPTの最新バージョンであるGPT-4が公表され、すぐにChatGPT有料版でも利用できるようになりました。 GPT-4は、その抜きん出た性能で一躍話題になる一方で、まるで事実であるかのような嘘をつくというハルシネーション（AIの幻覚)の欠点は、まだ克服されていません。 今回は、このGPT-4のハルシネーションについて、これまでよりも深く調べてみました。 １．ハルシネーションが起こる理由AIのハルシネーションとは、AIが生成する情報や文章が実際の事実や知識とは異なる架空の内容になってしまうことを言います。 文章生成AIがハルシネーションを引き起こすのは、学習した知識やデータに基づいてAIが情報を生成する過程で、いくつかの理由により、現実とは異なる結果を生み出してしまうことがあるためです。 主に以下の理由により、AIのハルシネーションが発生します。

OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。AIは文章を読み書きするとき「トークン」という単位で認識を行うのですが、普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。 OpenAI API https://platform.openai.com/tokenizer Tokenizerの画面はこんな感じ。テキストを入力する必要がありますが、いったん「Show example」をクリックして例を見てみます。 英語の場合、252文字の文章で64トークンとなる模様。下部にて文字がトークンのまとまりごとに色分けして表示されています。 「TOKEN IDS」をクリックするとそれぞれの数値も確認できます。人間が見てもなにがなんだか分かりませんが、G

資料を和訳したのは、HRテック事業などを手掛けるギブリー（東京都渋谷区）の取締役を務める新田章太さん。翻訳作業にもGPT-4を活用したとし「日本語翻訳をよりナチュラルにできるよう、プロンプティングしながら作業したので、実質の翻訳作業はたった1日で終わった」と説明している。 関連記事 東大松尾教授が答える、ChatGPTとは何なのか？　一問一答 国内におけるAIの権威である東京大学の松尾豊教授は、ChatGPTをどう見ているのか？　ChatGPTは、一時的なトレンドか技術的転換点か、AI研究者から見てChatGPTは？　日本もLLMを作ったほうがいいのか？　といった問に答えた GPT-4にGPT-4の発表を要約させてみた　人間よりも良い記事になるか？　超長文をChatGPTに読ませる方法も 米OpenAIの大規模言語モデル「GPT-4」。言語処理性能がずば抜けているというが、ではGPT-4は

当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め

ChatGPTを代表に高性能なチャットAIが続々と発表されていますが、チャットAIの多くはオンラインで使う必要がある他、オフラインで動作するチャットAIも高性能PCを求めるものがほとんどです。そんな中、高性能GPUを搭載していないPCでも動かせる「GPT4ALL」が登場しました。実際に使ってみたところグラフィックボードを搭載していないモバイルノートPCでも動かせたので、使い方をまとめてみました。 GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue https://github.com/nomic-ai/gpt4all GPT4ALLは、Nomic AIが開発したチャッ

250以上の記事が全て読み放題。AGIラボはGPTs Difyなど、最前線のAI活用情報に特化したマガジン・コミュニティです。実践的なプロンプトを含む記事で得られる知見で業務の効率化、自動化から創造的なプロジェクトまですぐに活用可能。生成AI革命の最前線をお届け。

250以上の記事が全て読み放題。AGIラボはGPTs Difyなど、最前線のAI活用情報に特化したマガジン・コミュニティです。実践的なプロンプトを含む記事で得られる知見で業務の効率化、自動化から創造的なプロジェクトまですぐに活用可能。生成AI革命の最前線をお届け。

こんにちは、株式会社ACESでインターンをしている篠田 (@shino__c) と申します。普段は博士課程の学生としてNLPの研究をしています。 ここ数ヶ月で ChatGPT に加えて GPT-4 等の大規模言語モデル (LLM) が次々とリリースされていますね。 ChatGPT (gpt-3.5-turbo) はAPIの使用料が安いことから、多くの人が気軽にLLMを使用できるようになり、AI、特にNLPを売りにしている多くの企業は技術的にどうやって競争優位性を築けばいいのか模索しているのではないでしょうか。 その問いに対する１つの答えになりそうなものに、Retriever というものがあります。 例えば、社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、ChatGPT のような LLM の訓練にはそのようなデータは使われていないため、prompt

3/24にアップした資料が含まれますが、 ベーシックなとこから全部入りにした資料です。 ・今までのAIとGPT ・GPT関連ニュースリリース ・OpenAIとMicrosoftの関係 ・Azure OpenAI Serviceの位置づけ ・ChatGPTなど言語生成モデルの挙動イメージ ・…

AI企業のCerebrasが、オープンソースでパラメータ数1億1100万～130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低く、消費電力が少ないのが特徴とのことです。 Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/ cerebr

東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデル…

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転…

最近「ChatGPT」というワードがSNSを賑わしているようです。 筆者は技術に対しては非常にミーハー(？)なので、ChatGPTが何なのか？また、どれほど凄いのか試してみたくなりました。 さっそく ChatGPT を使ってみたいと思います。 (ChatGPTの利用登録の方法については、解説サイトがたくさんありますのでそちらを参照ください。Googleアカウントを持っていればGoogleアカウントと連携してログインすることも可能です) ChatGPTに登録してログインすると以下のような画面が表示されます。 Examplesを使って、いくつかの問いかけに対する応答を確認することが出来ます。 試しにExamplesの一番上にある「Explain quantum computing in simple terms」を選択して ChatGPT へ問いかけをしてみます。 (問いかけの内容は「量子コン