OpenAIの最新モデル「o1」が登場 孫正義氏：GPTはいろんな言葉、これをトークンと呼びますけれども、圧倒的な数のトークン・言葉に「この言葉とあの言葉は近しい」と、関係性の近しい度合いにそれぞれ全部ベクトルのインデックスを付けて、それを処理して、言葉と言葉の数珠つなぎをして理解をするということなんです。 質問をしてChatGPTが答えてくれるんですが、理解もしているみたいだと。でも、考えているんだろうかというと、考えているかのように見えるんですが、言葉の数珠つなぎですから、必ずしもChatGPTは考えているわけではなかったということであります。 今日のメインテーマは「考える」です。圧倒的な進化がありました。先週から世に見えてきました。この「考える」ということは、Reasoningという手法で考えることなんですが、ここで聞きたいと思います。 Reasoningをする、考えるという機能を使

日本で生成AIと言えば、OpenAIのChatGPTがその代名詞。この傾向は日本でのオフィス開設も加わって、さらに高まっているが、そのOpenAIやGeminiをはじめとする多様なAIサービスを提供するグーグルと並んで存在感を示している企業がある。 このジャンルに注目している方ならばご存知だろうが、AnthropicというAI専業ベンチャーである。AnthropicはOpenAIの運営方針に異を唱えるメンバーがスピンアウトした2021年創業の生成AIスタートアップで、アマゾンとグーグルが巨額を出資していることでも知られる。 滑らかな文章を生成するClaude 同社の大規模言語モデル“Claude（クロード）”はその性能の良さから注目されていたが、特に注目を集めるようになったのは、今年3月4日に発表されたClaude 3からだろう。特徴的な性能や機能もさることながら、印象的だったのは生成する

はじめに ChatGPTブームがひと段落した感がありますが、周りのエンジニアでChatGPTを活用している姿をあまり見みません。 基本的なテクニックを理解すれば、エンジニアこそChatGPTを活用できると思うので、普段使用しているテクニックをいくつかピックアップして紹介します。 プロンプトの記載方法 Markdown記法で指示する 色々なところで紹介されていますが、回答や処理の精度を上げる方法としてChatGPTへの指示にMarkdown記法を使用することがオススメされています。 例えば下記のような文章による指示を行おうとした場合

背景 LLMは、人の好みに合わせて調整することで、より便利で一貫性のある文章を作れるようになってきました。しかし、モデルのサイズや学習データには限界があり、単純に大きくすることで性能を上げるには莫大な費用がかかります。 一方で、LLMは種類によって得意なことが違います。例えば、複雑な指示に従うのが得意なモデルや、コードを書くのが得意なモデルなどがあります。 そこで、研究者たちは新しいアイデアを思いつきました。それは、異なる得意分野を持つLLMを組み合わせることです。 例えば、複雑な指示を理解するのが得意なモデルと、プログラミングコードを生成するのが上手なモデルを組み合わせれば、より高性能で柔軟になるのではないか、と考えたのです。 これまでにも、複数のLLMを組み合わせて使う方法はいくつか提案されてきました。例えば、出力された文章の順位を変えたり、どのモデルを使うかを選んだりする方法がありま

OpenAIは5月30日、同社のチャット型AI「ChatGPT」無料版ユーザーに向け、制限付きながら最新の大規模言語モデル「GPT-4o」および、これまで有料版ユーザーしか利用できなかった多くの機能を公開した（発表時のニュース記事）。 情報がとても多いので、今回の変更で無料版ユーザーは「なにができるようになったか」、そして「なにができないのか」を使い方中心にまとめた。 1. GPT-4oは回数制限あり チャット型AIアプリの心臓とも言える大規模言語モデル（LLM）、これまで無料版ユーザーは「GPT-3.5」という旧世代モデルしか利用できなかったが、今回の変更で回数制限（具体的な回数は明記されていない）はあるものの、最新モデルのGPT-4oが使えるようになった。 GPT-4oの利用に特に設定などは必要なく、無料アカウントにログインして普通に質問すればOK（使い方はちょっとわかりにくいのでこち

米OpenAIで人間よりもはるかに賢いAI「Superintelligence」（超知能）の制御を目指して昨年結成されたSuperalignmentチームのトップ、ヤン・ライケ氏は5月17日（現地時間）、退社するとXで発表した。 「私がOpenAIに参加したのは、ここが超知能の研究を行うのに世界で最適だと思ったからだ。だが、OpenAIの幹部チームと中核的優先事項についてずっと同意できず、限界点に達した」という。 Superalignmentチームはライケ氏と、共同創業者でチーフサイエンティストのイリヤ・サツケバー氏が率いてきた。サツケバー氏は14日に退社を発表している。 ライケ氏は、「超知能の構築は本質的に危険な取り組み」であり、「OpenAIは人類全体に大きな責任を担っている」が、「安全性が輝かしい製品の開発より後回しになっている」と警鐘を鳴らす。 OpenAIは昨年2月、AGI（Ar

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

今までで最もインパクトのあるGPTsが完成しました。 その名も、「GAS Interpreter」です。 このGPTは名前の通り、Code Interpreter のように Google Apps Script コードを生成し、その実行までを行います。 他者に使ってもらうものではなく、自分専用のプライベートGPTです。 人によっては、Code Interpreter よりも便利です。なぜかというと、インターネットアクセスができることに加えて、GAS の便利で豊富なライブラリやリソースが活用できるためです。 例を示します。 GAS Interpreter の可能性以下に示す、いくつかの業務フローの実例をGAS Interpreterで行い、業務活用への可能性を示します。 今日の予定を聞きます今日の予定を教えて下さい 正確に今日の予定を教えてくれました。 会議参加者の相手に連絡したいので、その

こんにちは、Technology部のジョシュです。 今日は、最近バズっている生成AIモデル「Claude 3」と「GPT-4」を比べてみましょう！ 生成AIが絶え間なく進化し続けるなかで、2024年3月に登場したAnthropic社の大規模言語モデルClaude 3。OpenAI社のGPT-4と比較され、多くの議論を呼び起こしています。 この記事ではこれら2つのモデルを深掘りし、それぞれの特徴、能力、そして生成したコードの結果を比較しながらご紹介します。生成AIのトレンドを知りたい方やAI開発に関心を持つ方々のご参考になれば幸いです。 GPT-4とClaude 3の概要 OpenAI社が開発した言語モデルGPT-4は生成AIを広めたモデルとして非常に有名で、様々なタスクをこなす能力があります。そんな中で3月に登場したAnthropic社のClaude 3は、いくつかの分野ではGPT-4を上

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され

OpenAIは1月10日、カスタムバージョンのGPTを作成できる「GPTs」機能で作成した多様なGPTを探索できる「GPT Store」の公開を予告通り開始した。今回はストアーのラインアップから画像生成系の「DALL·E」カテゴリーを取り上げてみよう。 「DALL·E」カテゴリー 「DALL·E」カテゴリーには言うまでもなくOpenAIの画像生成AI「DALL·E 3」を便利に使うために作られたカスタムGPTが掲載されている。今回は上位6個のGPTを使ってみることにする。 まずは「DALL·E」カテゴリーのトップ「image generator」というGPTを試してみよう。説明欄には「プロフェッショナルかつフレンドリーなトーンで画像を生成し、洗練させることに特化したGPT（A GPT specialized in generating and refining images with a

今日は、ローカルにてRAG(Retrieval-Augmented Generation)を使って、あるPFDについて質問するチャットを作ろうと思う。 OpenAIを使うので、無料ではないので注意されたい。 今回のソースは LangChain 完全入門 という本を参考にしていて、とても勉強になるので購入をお勧めする。 行いたいこと ローカルでPDFを読み込ませて、内容を質問したり、要約させること。 大きな流れ 環境準備 チャットアプリの土台の作成 プロンプトを定義 アップロードされたPDFファイルを分割 内容をベクトル化し保存 入力された質問とPDFから抽出した適した文をOpenAIに送信 回答を得る。 詳細 環境準備 環境構築 Python : 3.11.6 pip ライブラリ chainlit==1.0.101 チャット画面を簡単に作るライブラリ chromadb==0.4.22 ベク

米UIUC（イリノイ大学アーバナ・シャンペーン校）に所属する研究者らが発表した論文「LLM Agents can Autonomously Hack Websites」は、大規模言語モデル（LLM）を用いたAIエージェントに、自律的にWebサイトをハッキングさせる攻撃手法を提案した研究報告である。LLMエージェントがWebサイトに存在する脆弱性を事前に知らなくても、自動検知してのハッキングが可能となる。 ▲自律型LLMエージェントを使ったWebサイトのハッキングの模式図 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 Webサイトを自律的にハッキングするようLLMエージェントを活用するには、エージェントのセットアップと、目標に向けてのプロンプトによる指示という2つのステップが必要である。エージェントによるハッキングでは、関数呼び出し、文書

企業「ChatGPTは使っちゃダメ」→じゃあ自分のスマホで使おう──時代はBYODから「BYOAI」へ：事例で学ぶAIガバナンス（1/3 ページ） 会社はChatGPTを禁止しているが、自分のスマートフォンからChatGPT（しかも有料契約している高性能版）にアクセスして、使ってしまえば良いではないか――。生成AIのビジネス活用が進む中で、そんな発想が生まれつつある。 サイバーセキュリティ企業の米BlackBerryが2023年8月に発表した調査結果によると、職場でChatGPTやその他の生成AIサービスの禁止を実施、検討している企業の割合は、世界全体で75％に達するそうだ。調査後にはChatGPT、生成AI全般への注目度がさらに高まっていることを考えると、この割合はその後さらに上昇している可能性が高い。 従業員が、社内の機密情報をChatGPTなどを入力した場合、それらの情報が外部サーバ

Youtubeで配信しながら全プロンプトを実行しましたので、各節へのリンクを整理しました。時間のところにYoutubeへのリンクになっています。 もしずれていたら、その時間まで移動して視聴ください。 はじめに (4:00) 1章 ChatGPTの基礎知識 (5:50) 2章 ChatGPTの基本的な使い方 (6:28) 3章 ChatGPT Plusのセットアップ (7:32) 4章 ファイルのアップロードとダウンロード (12:40)4.1 アップロード・ダウンロード (13:03) 4.2 扱うことができるファイル (16:02) 5章 繰り返し作業を一瞬で (16:55)5.1 文字列操作 (17:20) 5.2 正規表現でのパターンマッチ (25:36) →54ページの正規表現でできることの例の説明 (29:09) 5.3 ファイルの一括操作 (46:20) 5.4 QRコード作成