ChatGPTの「GPT」はGenerative Pretrained Transformerの略であり、TransformerというのはGoogleが2017年に発表した『Attention is all you need』という論文で提案されたディープラーニングの画期的なアーキテクチャで、その論文のタイトル通り「Attention」という機構だけを使い倒している点が特徴的である。 ……という話は色々なところで紹介されているのだが、私のような素人が読むと誤解してしまうような記述も少なくない。 「仕組みを分かっていない人がいい加減な説明をしている」というよりは、「仕組みをよく知っている人が、素人の気持ちをあまり考えずに説明している」という感じで、悪気は全くないと思うし誤解するのは不勉強なこちらが悪いのだが、読むほうとしては困ることも多い。 そこで、にわか機械学習ユーザである自分がall y

Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re

東京大学の研究室内で，今井がChatGPTの知見を共有するために使用したスライド資料です． 特に以下のような話題，技術について解説しています． ・ChatGPTの凄さ ・ChatGPTの技術 ・言語モデル ・プロンプト ・GPTとは ・InstructGPT ・言語モデルと強化学習Read less

はじめに ChatGPTのインパクトが個人的にすごかったので、どういった学習が行われているのか、どういう課題があるのか等を理解しようと思い、OpenAIの記事をベースに情報をピックアップしてざっとまとめました。 あくまで私なりの解釈で情報を整理してまとめたものになりますので、いくつか専門性の低い分野に対しては曖昧な記述になっていたり、理解を誤って記載しているかもしれません。 もし間違い等がありましたらご指摘いただけると大変ありがたいです。 ChatGPT: Optimizing Language Models for Dialogue 参考 ChatGPTは、OpenAIによって開発された、対話に特化した言語モデルである。 特徴としては、 前の対話内容に続く質問への回答が可能。 間違いを認めることもできる。 正しくない前提に対する異議を唱えることもできる。 不適切なリクエストには応じない。

高性能な人工知能（AI）を開発するためには、膨大なデータが必要であるとされている。しかし昨今では、少ないデータで効率的にAIを学習させるための研究が相次いで発表されている。 マサチューセッツ工科大学（MIT）とIBMの研究チームは、5月に開催されたAIカンファレンス「International Conference on Learning Representations（ICLR）」で、「Neuro-Symbolic Concept Learner（NSCL）」という新しい人工知能を公開した。これは、これまで異なるアプローチであるとされてきた「エキスパートシステム」と「機械学習」の技法を組み合わせたものとなる。 NSCLはまず、一部のデータから学習を通じて対象の特徴を抽出。それらをエキスパートシステム技法と結合して問題解決を行うという。ふたつのツールの結合により、従来よりもはるかに少ないデ

人工知能（AI）を投資判断に活用し、有望銘柄を探そうとする投資信託が増えてきた。高収益を期待した個人投資家の資金を集めたが、足元の成績はいまひとつだ。なぜなのか。日興リサーチセンターが、AIを投資判断に活用して株式に投資する国内販売のアクティブ投信（為替ヘッジなし）15本のうち、6月末時点で設定から1年以上たった投信10本を対象に直近1年間の基準価格（分配金再投資ベース）の騰落率を調べたところ

ちょっと前に『採用選考に「AI」を導入しようとしたが、断念した会社の話が面白かった。』と言うエントリーが話題になっていた。ブログ主は医者であってエンジニア等ではないから仕方が無いのだが、ちょっと誤解があると言うか、人工知能に採用判断を、少なくとも一任すべきでは無い真の理由が見落とされていた。それは、人工知能が「なぜこの人を選んだのか。なぜこの人を選ばなかったのか」を説明できないからではない。 1. 機械学習の判断理由を見ることもできる 人工知能と言っても色々とあるのだが、最近の流行は教師つき機械学習なので、この事例においてもそれを使っているであろう。そして、機械学習では（ここでは採用不採用を決定する）分類器を構成する事ができるのだが、分類器がどういう特徴を持っているのかは、把握し難いところがある。しかし、把握する方法が無いわけでは無いし、そもそも把握する必要は無いかも知れない。 機械学習の

人工知能(AI)を用いて既存のポルノに有名女優の顔を合成する「フェイクポルノ」が登場して以来、ここ数か月でさまざまな有名女優を使ったフェイクポルノが急増しています。そして、実在する人間で作るフェイクポルノに飽き足らず、今度はゲームの中に登場するキャラクターの顔を使ったフェイクポルノが増えはじめています。 People Are Putting Video Game Faces On Real Porn, The End Is Nigh https://kotaku.com/people-are-putting-video-game-faces-on-real-porn-the-e-1822567065 AIを用いて実在する有名女優の顔を既存のポルノ映像に合成する「フェイクポルノ」が話題になったのは、2017年12月に海外掲示板のreddit上に登場した、映画「ワンダーウーマン」の主演女優ガル

ATRと京都大学、fMRIで測定した人間の脳活動のみから、その人が見ている画像を機械学習を用いて再構成する提案を発表。心の中でイメージした内容の画像化にも成功 2018-01-14 ATR（国際電気通信基礎技術研究所）と京都大学の研究者らは、fMRI（機能的磁気共鳴画像法）によって測定された人間の脳活動のみから機械学習を用いて視覚像を再構成する提案を論文にて発表しました。 Deep image reconstruction from human brain activity 著者：Guohua Shen, Tomoyasu Horikawa, Kei Majima, Yukiyasu Kamitani （左が見ている画像、右が再構成された画像） 本稿は、人間が見ている画像を、fMRIで測定した脳活動パターンのみで知覚内容を視覚化する機械学習を用いた手法を提案します。 提案手法では、画像を見

この記事は、前出の本に入れる予定だったコラムのうちの一つです。 正確にいうと、本に入れる予定だったけど、メイン側で締め切りをぶっちぎっていたら、コラムを追加できるような空気じゃなくなって、書くのをやめたものです。 本の宣伝を兼ねて、没にしたコラムに日の目を見させて、あわよくば第二版で入ればいいなー、という内容です。 データサイエンティストの頭の中「偉い人たちは頭がおかしい」と言っても、それは相対的なものであるため、比較対象であるデータサイエンティストの頭の中を覗いてみましょう。 データサイエンティストは組織におけるデータ活用状況について、レベル分けして考えます。そして、基本的に前のレベルが実現できなくては、次のレベルに進むことはできないと考えています。 以下のレベル分けは私が適当に思い描いているものですが、同業者なら大よそ一緒なんじゃないかと思います。 Lv0: データ収集、ログ設計Lv1

中国、杭州に住むAI技術者、31歳の鄭家嘉（Zheng Jiajia）氏は、最近1歳のインイン（Yingying)という女性と結婚した。だがこの女性、彼が作った女性ロボットなのだ。 鄭氏は人工知能の修士号を取得して、2011年に浙江大学を卒業し、3年間、中国のテクノロジー企業ファーウェイに勤めていた。それから、杭州ドリームタウンのインターネットの基礎や技術の立ち上げに参加し、AIの仕事にたずさわった。 去年、人型スマートロボットの製作に取り組み、最終的に自分の妻を作り出したというわけだ。 Chinese Man Builds And Marries Robot Wife | What’s Trending Now! この女性ロボット、インインは、いくつかの簡単な単語はしゃべることができ、漢字や図形を認識することができるらしい。体重は30キロ、鄭氏本人によると好みの女性をモデルにしているとい

昨日、フランス大使館を筆頭に内閣府や森美術館が主催した日仏フォーラム「人工知能は社会をどのように変えるのか？」に参加した。終日にわたる時間を費やした内容の濃いフォーラムであった。得るものは大きかった。フォーラムの紹介文書はいまだPDF形式でダウンロードできる(参照PDF)。 また、この手のフォーラムにありがちな英語=国際語ということもなく、進行案内はすべてフランス語でなされた（ただしフォーラム司会は日本語）。つまり、日本語とフランス語のみのフォーラムだったのである。その点でも興味深いものだった。熱く語れるフランス語の議論を聞いていると、フランス国内ではこうした熱意で日々弁論が交わされているのだろと確信された。 このフォーラムのパネリストの一人が本書の著者ジャン=ガブリエル・ガナシア教授である。発言が興味深かったので、もう少しその思索について知りたいと思っているところ、会場で同書が販売されて

AI（人工知能）による産業構造の激変が始まった。 売り上げ規模など従来の序列は全く関係ない。対応できない既存勢力は没落する。強固なピラミッドを持つ自動車産業とて安泰ではない。AIによる自動運転の実用化が、激変の号砲となる。 5月10日にトヨタ自動車とAIによる自動運転で提携したのは、半導体世界シェア10位以下の米エヌビディア。自動車業界と半導体業界にとって、序列の崩壊を象徴する提携である。 エヌビディアは長らく、ゲーム用半導体というニッチ産業のプレーヤーの1社に過ぎなかった。まさに「知る人ぞ知る」存在だった同社は、AI時代の寵児になりつつある。 ただし、同社のAI用半導体メーカーとしての実力はいまだベールに包まれている。4月、日経ビジネスはメディアとして世界で初めて、米エヌビディアを密着取材した。 AIによる世界制覇の攻防──。特集第1回は、その主役の1社であるエヌビディアの実像を詳報する

人工知能（AI）の開発者が研究開発に当たって留意すべき原則「AI開発ガイドライン（仮称）」の素案を策定するため総務省が設置した産官学会議から、AIスタートアップのPreferred Networks（PFN）が離脱していたことが明らかになった。 Preferred Networksは深層学習（ディープラーニング）開発のスタートアップ企業で、深層学習フレームワーク「Chainer」の開発元としても知られる。 総務省 情報通信政策研究所は、同ガイドライン素案策定のための産官学会議「AIネットワーク社会推進会議」を主催している。2016年12月には、素案策定に向けた論点整理を公開した。 この素案は、日本政府がOECD（経済協力開発機構）などに提案することを目的に策定するもので、「日本の法制度に直接反映させることを想定したものではない」（同研究所）という。 だがこの方針に対し、2017年1月まで同