GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク

回答 (22件中の1件目) ohhh…No読んでて悲しくなりました。 それは「一般的」ではありません、「男性的に」なのです。 私(女)は若い女性から良い匂いを全く感じません、どちらかといえばその香は不快です。 自分以外の女性の匂いは苦手です。 他の女性はわかりませんが、私にとって良い匂いとは30〜40代の男性の首筋やおでこあたりから出ている匂いです。 風呂上がりのソープまじりの体臭や、Tシャツに染み込んだ匂いなどは私をくつろがせ安心させます。大人の男の匂いは実はフローラル系です。 一方で男性からしたらこの匂いはおそらく快ではないと思われます。 単に性フェロモンの指向性の話か...

twitterでは社会学批判が喧しいが、当然ながら社会学内部からも同様の批判はある。それをメモ代わりにまとめておく。 太郎丸博：査読文化の欠如 「社会学者からの社会学批判」として昨今のインターネットSNSで最も引用されているのは、2009年の太郎丸博氏のブログ記事「阪大を去るにあたって: 社会学の危機と希望」であろう。彼の主張を端的に表す部分を抜き書きすると下のあたりだろう。 「最後に日本の社会学に対する危惧を一つ述べておきます。日本の社会学の特徴は、アカデミズムの軽視だと思います。すなわち、学会報告や学会誌を軽視しているということです。学会発表もせず、学会誌に論文を投稿もせず、それでも社会学者づらして本を出版したり、さまざまなメディアで発言することができるのが、日本社会学の実情です。」 「アカデミズムを軽視し、本に好き勝手なことを書くことを理想とするようになります。研究そのものから降りて

ジェットコースターが腎臓結石の治療法になるかもしれません。 ミシガン州立大学の研究者たちが2016年に『American Osteopathic Association』で発表した論文によれば、腎臓結石を忠実に再現したシリコンモデルをディズニーランドのビッグ・サンダーマウンテンに60回乗せたところ、効果的な結石の排出が確認されたとのことです。 さらにこの研究は2018年にイグノーベル医学賞を受賞しています。 いったいアトラクションのうえで何が起こっているのでしょうか？ Validation of a Functional Pyelocalyceal Renal Model for the Evaluation of Renal Calculi Passage While Riding a Roller Coaster https://www.degruyter.com/document/d

山根信二さんのTwitter経由で知った情報(https://twitter.com/shinjiyamane/status/1362068833641504776)。 www.sciencemag.org 今回、問題になっているのは重慶南西大学の心理学者である张谦Qian Zhang氏。张氏は暴力的ゲームをすると暴力性が増加するといった研究や、暴力的な映画を観ると暴力性が増すといった論文を次々に発表しているが、データが捏造されたものだと指摘され、张氏の論文のうち2本は撤回されている。 どうやら、調査をせずに架空のデータで、分析も捏造し、論文を書いたようである。 ただ、撤回されたのは2本だけで、今年に入ってからも张氏は精力的に論文を発表している。 ざっくりと翻訳してみた。 张氏は不正行為を否定しているが、2つの論文は撤回された。他の論文は雑誌にはまだ残っており、そのデータはメタアナリシスに

本で読んだ知識をドヤ顔で紹介したら、その実験には再現性がありませんでした。 そんな恥ずかしい記事を書いたブロガーは誰でしょう？ そう、私です。 ステレオタイプ脅威はありますん ちょっと前に「ステレオタイプ脅威」の記事が話題になっていた*1。 世の中には「女性は数学に弱い」というような負のステレオタイプがある。自分のアイデンティティがそれに該当していると意識してしまうと、実際にパフォーマンスが落ちるというものだ。これは様々な実験の結果によって示されている。というのが記事で紹介されていた話だった。 ところが現在、その「実験結果」は再現性が無いと言われている。ステレオタイプ脅威の根拠は実験結果にあるというのに、その土台は不確かなものであるのだ。 とくに、最近の研究ではほとんど再現性がないとされている「ステレオタイプ脅威」について、リベラルバイアスにも言及しながら議論しているのが印象的。 日本では

1515～1865年にアフリカ大陸から奴隷として南北米大陸へ連れて行かれた人数と目的地を示した図。(c)AFP 【7月27日 AFP】遺伝学的に残されたレイプの爪痕から、致命的な条件下で労働を強いられた人々が病気で滅びていった可能性まで、奴隷貿易の暗い歴史を明らかにする新たなDNA研究の結果が23日、米科学誌「アメリカン・ジャーナル・オブ・ヒューマン・ジェネティクス（American Journal of Human Genetics）」に発表された。 この研究では大西洋を隔てたアフリカ大陸と米大陸の両方で、同意を得た5万人の遺伝子データを収集。それらと、1515～1865年の間に1250万人の男女と子どもたちを運んだ奴隷船の詳細な記録を相互参照した。この間、奴隷船に乗った人々のうち約200万人は途上で死亡している。 その結果、アフリカの人々が遺伝的に大きく関与している点は、歴史記録に基づ

個人情報とクッキーの方針を更新しました本サイトの個人情報とクッキーに関する方針に重要な変更を加えました。これがあなたとあなたの情報にどう関わるか、こちらで説明します。 OK変更点を見る AMPのデータ取得に同意するか教えてください。本サイトおよび提携サイトは クッキー などの技術を使用し、あなたに最高のオンライン体験をご提供するためネット閲覧データを集め、あなたにあつらえてパーソナライズしたコンテンツや広告を表示します。これに同意するかお知らせください。 データ取得に同意して続ける設定を管理する AMPの同意設定を管理するこちらの設定はAMPのページにのみ使われます。AMPではないBBC.com上のページを開いた際には再度、環境設定を要求される場合があります。 閲覧いただいた軽量化モバイルページはGoogle AMP技術を使って構築されています。 必要不可欠なデータ取得サイト上ページの機能

計算機科学の分野において功績を収めた人物に贈られるチューリング賞を2018年に受賞した、Facebookの人工知能部門におけるチーフ研究者、ヤン・ルカン氏は、人工知能および機械学習における人種差別の議論で多くの非難を受け、Twitterアカウントを停止することを発表しました。 Yann LeCun Quits Twitter Amid Acrimonious Exchanges on AI Bias | Synced https://syncedreview.com/2020/06/30/yann-lecun-quits-twitter-amid-acrimonious-exchanges-on-ai-bias/ きっかけは2020年6月20日に、デューク大学が人工知能アルゴリズムを用いた高品質の画像生成に関する研究結果をTwitter上で公表したことから始まりました。 Face Depi

George Floydさんの死がきっかけとなり、最近のアメリカでは人種問題に関連した議論や抗議活動が盛んに行われている。 そんな中、あるデータサイエンティストが解雇される事件が起きた。 事の経緯はこんな感じだ。 彼はデータコンサルティング会社に勤務するデータサイエンティストで、民主党系の選挙キャンペーンへのかかわりで知られる人物である。 彼は最近政治学のトップジャーナルに発表された論文の内容を紹介するツイートをした。 大雑把にまとめると、この論文はマイノリティによる抗議活動がメディアの報道を通じて政治家や有権者に正の影響を与えられる (抗議活動の目的達成につながる) こと、しかし抗議活動が暴徒化した場合には逆効果になりうることを、1960～70年代の公民権運動をケースに丁寧に実証したものである。 ところが彼のツイートは人種差別的であるという批判を浴びてしまい、結果として彼は勤務していた会

ニンテンドースイッチ史上最大のヒットと言われる「あつまれ どうぶつの森（以下、あつ森）」。気ままな無人島暮らしが楽しめることが魅力のゲームだが、博物館や島の生態系などがかなり作り込まれており、これまでもネットを中心に大きな話題を呼んできた。 あつ森の博物館に関しては、国立科学博物館（以下、かはく）の化石研究員にインタビューしているのでそちらも確認してほしい（※関連記事参照）。 なかでも最近話題のひとつとなっているのが「青いバラ」だ。あつ森には「交配」と呼ばれる花どうしをかけ合わせて新しい花を生み出す方法があり、「青いバラ」はその交配で得られる花のなかで最も難易度が高い花とされている。 では、この「青いバラ」の交配の仕組みは実際どれほど作り込まれているのだろうか？　今回はかはくの研究員で、実際に青い花を専門に研究されている水野貴行さんに「青いバラ」についてのお話を聞いてみた。 青いバラって本

「あつまれ どうぶつの森」、通称・あつ森がニンテンドースイッチ向けソフトの売り上げで歴代トップになるなど、空前のヒットとなっている。あつ森は釣りをしたり化石を掘ったり、自分のペースで「無人島」での生活が楽しめることが魅力のゲームだが、見どころのひとつはなんといっても「博物館」だ。 博物館は、ゲーム上でつかまえたムシやサカナ、化石などを展示できるスポットだが、前作からかなりバージョンアップされ、建物の雰囲気から展示まで驚くほど本物の博物館そっくりに作られている。 なかでも「化石」の展示ゾーンは、東京・上野にある国立科学博物館を思わせるところが多く、ファンの間でも大きく話題となっている。というわけで今回は、あつ森の博物館を、実際に国立科学博物館、通称・かはくに勤める研究者と職員の方々に解説してもらい、その様子を前編・後編に分けてお届けする。 ―――こちらが「あつまれ どうぶつの森」の博物館のエ

こんなタイトルのエントリを書くというのは、正直、悩ましい。 というのも、ぼくは社会学の正規教育は受けておらず、自分が社会学者だとはちょっと名乗れないからだ（制度的な理由で学位は「法学」だ）。 とはいえ、社会学部に勤務しているのは確かだし、社会学的なものに親しみもある。以下の文章は、あくまでそういう中途半端な立ち位置から書かれた「個人の感想」だということをまずは述べておきたい。 ネット上での社会学の評判はよくない。大変によくない。 実のところ、ネット上で積極的に発言をしている社会学者の数はさほど多くないと思うのだが、通常は社会学者だとはカテゴライズされない人も、「政治社会に関する発言をしており、かつ多くの人びとから反発を買っている人文社会系の学者」は「社会学者」とみなされてしまうことが結構ある。 それではなぜ、ネット上で社会学者はこんなにも嫌われるのだろうか。 社会学者が嫌いな人からは当然、

トップ > ニュース一覧 > 『続・人類と感染症の歴史』の第9章「SARSとMERS」を公開します。 『続・人類と感染症の歴史』の第9章「SARSとMERS」を公開します。 2019年末より中国湖北省武漢市でコロナウイルスによる新型肺炎の感染が確認されました。2020年には日本国内でも感染が確認され、現在もその影響の拡大が報道されています。それを受けて小社では同じコロナウイルスが原因とされる感染症である、SARSとMERSに関する知見をより多くの方に提供することが、恐れ過ぎず、冷静な対応ができる一助になると考え、著者である加藤茂孝先生のご厚意により、2018年に刊行した『続・人類と感染症の歴史－新たな恐怖に備える』より「第9章　SARSとMERS－コロナウイルスによる重症呼吸器疾患」を公開いたします。 権利の関係で一部の画像を非公開にしております。2020年7月までの公開を予定していますが

２００年後にはネコが人間を淘汰し、地球を支配する――。千葉電波大学工学部のスーパーコンピューターが、こんなシミュレーション結果をはじき出した。研究結果は英科学誌「フェノメノン」バレンタイン直前号に掲載される。 千葉電波大の研究グループは昨年８月から、スパコンを使った実験を開始。生態系シミュレーションは、気象データから将来を予測するのが一般的だが、今回はこれらのデータに加えて、各国の人口動態や経済成長率など、人間の社会生活に関するデータも合わせて入力することで、生態系にどのような変化が生じるかを複合的に計算した。 同大が保有するスパコン「ディープ・ホワイトＸ（テン）」による計算の結果、現在懸念されている人口爆発は起こらず、西暦２１００年には５０億人に減少、２１５０年には２０億人、２２００年には１億人程度にまで減少する将来を予測した。 人口が減少する最大の要因として、ディープ・ホワイトＸは「ネ

私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。 この5年を振り返る良いタイミングだと思うので考えてみたいと思います。 1. Deep Learning Tsunami 多くの分野がこの5年間でDeep Learningの大きな影響を受け、分野特化の手法がDeep Learningベースの手法に置き換わることになりました。NLP（自然言語処理）の重鎮であるChris Manning教授もNLPで起きた現象を「Deep Learning Tsunami」[link] とよびその衝撃の大きさを表して

6年間通った職場 11月末付で6年勤めたNTTを退職しました。色々と話題のkumagiとは同期入社で同じ研究所、同じ部署、ブースは2個くらい離れたところでソフトウェアエンジニアをしていました。 kumagi.hatenablog.com 長いようで短かった日々ですが、本当に満ち足りた思いでいっぱいです、関係者の方々には大変お世話になりました。 振り返り 2012年に入社したときに配属になった先はクラウド基盤開発を行っている部署でした。てっきり研究ができるものだと思っていたので、どうしたものかと最初は戸惑っていましたが、気づけば開発の沼へとどっぷりと浸かり、なんやかんやあってOSS活動に目覚め、OpenStack Neutronのコミッタ（コアレビューア）になって、最近はコンテナ周りのネットワークなどを中心に活動しています。 研究所について NTTの持株と呼ばれる組織は研究所を持っています。

【広州=川上尚志】中国の南方科技大学（広東省深圳市）の研究者が、遺伝子を効率よく改変できる「ゲノム編集」技術をヒトの受精卵に使い、双子の女児が11月に誕生したと主張しているとAP通信などが26日報じた。事実なら、ゲノム編集で遺伝子を操作した子供が生まれたのは世界で初めて。【関連記事】「ゲノム編集女児」中国の研究者が発表大学側はホームページで「学内では報告されていない。学術倫理や規範に反する」と

午前中はいろいろメールを片付けたり学会の仕事をしたり。学会の仕事がいま最もプライオリティが低いのだが、自分が参加しているぶんは一応貢献したいとは考えている（逆にいうと、投稿したことない和文論文誌からの査読依頼は、基本的に断っている）。 午後は ACL（自然言語処理分野のトップカンファレンス）の原稿のコメント。8本同時にコメントを入れるのは大変だが、〆切まで1週間と少しとなり、そろそろ自分が見る部分は収束してきた（収束しないと英文校正に出せないので、1週間前には収束しているのが正しい）。 正直なところ、時短勤務で全ての仕事を十分にこなすのは無理で、何かを諦めるしかない（程度問題もある）わけだが、研究の時間も十分に取れていないので、いろいろと思うところがある。とはいえ、夫婦共働きでも（つまり男性側も女性側と同じくらい家事・育児をやり）ちゃんとパフォーマンスを挙げる、というのを我々の世代がやらな