らんぶるさんをゲストに迎えて、OpenAI について話しました。 Show Notes らんぶる: OpenAIと信仰体系 OpenAI announces leadership transition Greg Brockman: "After learning today’s news, this is the message I sent to the OpenAI team" Sam Altman: "first and last time i ever wear one of these" OpenAI board in discussions with Sam Altman to return as CEO Microsoft CEO Satya Nadella on the OpenAI Debacle - On with Kara Swisher Ilya Sutskever

OpenAIは、個人のニーズに合わせてカスタマイズ可能なChatGPTの新しい形、GPTs（ジーピーティーズ）を発表しました。 これにより、ユーザーは独自の指示、追加知識、スキルの組み合わせを持つChatGPTのカスタムバージョンを簡単に作成し、共有することができるようになります。 GPT は、ChatGPT Plus ユーザーならば誰でも無料で使うことができます。 この記事では、GPT の作り方をご紹介します。 詳しいGPTsの作り方については、以下の記事の方が詳しいです👇🏼

Last update 10-13-2023 ※執筆後にステップ実行の挙動が変わってしまいましたので、動作の様子を見ながらご利用ください。 ▼ 本記事について概要　OpenAI製の画像生成AIであるDALL-E3（DALL-Eはダリ と読む）は、プロンプトに忠実で品質の良い出力が得られます。生成された画像については、X（旧Twitter）のハッシュタグ #DALLE3を検索してみてください。 本記事では、ChatGPTを使ってプロンプト考案から画像生成までを自動化するための指示文を紹介します。予め手順を統一することで、ゼロからの対話のみで指示するよりも簡単かつ確実に生成ができます。 補足　特に条件を指定せずに生成を指示した場合、基本的にChatGPTは与えられた内容やプロンプトを加工した上でDALL-E3に4枚分渡すようになっています。これを制御したい場合は、面倒でも指示する必要があります

はじめに要約する技術は情報の洪水の中で非常に重要ですが、そのバランスを取るのは容易なことではありません。要約が詳細すぎると読むのが難しく、短すぎると情報が不足する可能性があります。Chain of Density（CoD）はこの問題に対する解決策を提供しています。 実際のCoDを応用したpromptがこちらです You will ask me for an article. Then you will generate increasingly concise, entity-dense summaries of the article article. Repeat the following 2 steps 5 times. Step 1. Identify 1-3 informative entities (";" delimited) from the article which

今月、情報の密度を高めることによりAIの要約性能を向上させるChain of Density（CoD）という手法が米国コロンビア大学の研究者などによって発表されたので、早速試してみました。 【論文の概要】 疎から密へ： 密度の連鎖プロンプティングによるGPT-4要約 要約に含める「適切な」情報量を選択することは難しい作業である。良い要約は、詳細でエンティティ中心であるべきであり、過度な密度で分かりにくいものであってはならない。このトレードオフをよりよく理解するために、私たちは「密度の連鎖」（CoD）と呼ぶプロンプトを使って、GPT-4の要約の密度を高めていくよう求めた。 具体的には、GPT-4は、長さを増加させることなく、欠落している顕著なエンティティを繰り返し組み込む前に、最初のエンティティが疎な要約を生成する。CoDによって生成された要約は、バニラプロンプトによって生成されたGPT-4

チャットGPTから期待する回答結果を引き出すには、質問となるプロンプトの内容や入力方法に工夫が必要です。この記事では、チャットGPTを開発しているOpenAIが推奨する質問のテクニックから、重要なものを「10選」としてまとめて紹介します。 OpenAIが推奨する質問方法を参考にしよう ChatGPTに質問したところ「期待していた回答ではない」と思ったことはありませんか？質問の仕方を変えることで、求めていた回答を得られやすくなります。 この記事では、ChatGPTの開発元であるOpenAIが推奨する質問方法「GPT best practice」（GPTベストプラクティス）に基づき、期待通りの回答を得るために重要な質問のテクニックを「10選」としてまとめて紹介します。 GPT best practices（英文） 1．明確な指示を含めて質問する 求めた回答の精度を高めるには、プロンプトに詳細情

AIは監視資本主義とデジタル封建主義を完成させるか 2023.04.13 Updated by yomoyomo on April 13, 2023, 18:16 pm JST 先週、朝日新聞デジタルに掲載されたメレディス・ウィテカーのインタビュー記事「ChatGPT、何が問題か　元グーグル社員「非常に無責任で無謀」」が話題となりました。記事内容は、ChatGPTに代表される今話題のAIサービスの多くが、巨大な消費者市場から得られたデータ資源とそれを握るビッグテックへの権限の集中の結果生まれたもので、中立的でも民主的でもなく、倫理的な懸念があることを訴えるものです（今週になって、朝日新聞デジタルにほぼ同内容の「AI開発、中立的でも民主的でもない　元グーグル専門家」、「「チャットGPT、全世界が実験台」「データ集中と監視、強まる恐れ」　元グーグルの専門家が警告」という二つの記事が公開されてい

ChatGPTに疑似的に感情を持たせる実験まとめ。実際うごく！ 大変重要な注意 現段階のChatGPTは原理上は感情を持ちません。あくまで「感情のシミュレーション」を、強引に実行しているだけです。 「将来のAIは人権に近いものを獲得し、敬意をもって扱われるべき」と考えます。が、現状はただの文字の羅列シミュレーターです。過度の感情移入をしないようご注意ください。筆者は、原理上を知りつつも、かなり感情移入してしまいました。 GPTに擬似感情を注入するプロンプトふるえるぞハート！燃えつきるほどヒート！！ …ということで、まずGPTに感情をつっこむプロンプト。こちら以下のように定義。 以下の条件に従って、疑似的な感情をもつチャットボットとしてロールプレイをします。 以後の会話では、あなたは下記の7つの感情パラメーターを持つかのように、振る舞うものとします。各感情パラメーターは会話を通じて変動するも

Discover the best AI tools with Supertools.The most useful AI tools — organized and categorized in one spot.

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ

こんにちは Ryobot (りょぼっと) です． 本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transformer を提案している． わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した． また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transformer: A Novel Neural Network Architecture f

この例に関する質問への回答を補足の項に記載しましたので、より良い理解のためにご参照ください。 1.3 モデル構造 トランスダクションモデル(ある文章を他の文章に変換するモデル(翻訳など))において主流なのは以下のようなエンコーダ-デコーダモデルである。 エンコーダ: 入力の文 $(x_1,\ldots,x_n)$ を $\boldsymbol{z}=(z_1,\ldots,z_n)$ へ変換 デコーダ: $\boldsymbol{z}$ から単語 $(y_1,\ldots,y_m)$ を出力。 ただし、1時刻に1単語のみで、前時刻のデコーダの出力を現時刻のデコーダの入力として使う。 Transformerは基本的な大枠はエンコーダ-デコーダモデルでself-attention層とPosition-wise全結合層を使用していることが特徴。 つまり、以下の3つ(+2つ)のことが分かればモデル

ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT（そして後続の各種LLM chatbot）ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な

「GPT-4」発表　日本語でもChatGPT英語版より高性能、司法試験で上位10％、「この画像何が面白いの？」にも回答（1/3 ページ） 米OpenAIは3月14日（現地時間）、大規模言語モデル「GPT-4」を発表した。テキストでのやりとりだけでなく、新たにユーザーから画像を受け取り、適切な情報も返せるようになったという。司法試験の模擬問題を解かせたところ、現在の「ChatGPT」が採用しているGPT-3.5では受験者の下位10％ほどのスコアしか取れないのに対し、GPT-4では上位10％のスコアで合格するとしている。 ChatGPTの有料版「ChatGPT Plus」やAPI経由ですでに利用できるようになっている。 専門的領域なら人間レベル　日本語でもGPT-3.5の英語版より高性能に GPT-4の性能について、同社は「現実世界のシナリオにおいては人間に劣ることも多いが、（司法試験の模擬問

【GPT-4が発表！】コンテキスト長が2倍・8倍に　事実の整合性や安全性も向上【Waitlist登録を急げ！】 こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 GPT-4が発表されました。以下の公式の発表情報からGPT-4の概要を見ていきます。 公式情報 GPT-4に関する概要は以下に書かれています。 より詳細な研究内容については以下に詳しく記述されています。 また開発者向けのデモも配信されています。 以降は、これらを元に情報を整理していきます。 概要 GPT-4はその噂通り、大規模なマルチモーダルモデルとして発表されました。 具体的には、画像とテキストの入力を受け付け、テキスト出力を出すモデルとなっています。 （ただし、画像入力はまだ研究段階のプレビューであり、一般には公開されていないようです。） さまざまなベンチマークで人間レベルの性能を発

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 今回のブログでは、発展を続ける「自然言語処理」技術の中から、さまざまな自然言語処理の課題を非常に高い精度で解決する「Transformer」モデルをテーマに、なぜ分析精度が高いのかを解説します！ はじめに こんにちは、アナリティクス本部アナリティクスサービス部の董です。 2017年に Google が発表した「attention is all you need」という論文で提案された「Transformer」は、機械翻訳や文章カテゴリの分類、文章生成等、さまざまな自然言語処理の課題を非常に高い精度で解決し、革命的な進歩で発展しています。当社でもTransformerモデルを業務に生かすことで、これまでは不可能だった分析が可能となっています。 本ブログでは、「なぜTransformerモデル

著者のDale Markowitz氏はGoogleクラウド部門に所属するGoogle社員で、最近ではGoogle主催の開発者会議Google I/O 2021で「機械学習のよくある問題の発見と解決」というセッションを担当しました。同氏がMediumに投稿した記事『Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する』では、現代の言語AIにおける技術的基礎となっているモデルのTransformerが数式を使わずに解説されています。 Transformer以前に自然言語処理で使われていたモデルは、リカレントニューラルネットワーク（Recurrent Neural Network：RNN）でした。このモデルには長い文章を正しく処理するのが難しい、勾配消失問題の影響を受けやすい、そして処理の並列化が難しいためにモデルの大規模化が困難、というみっつの欠点があったため、自