by Suzy Hazelwood 人工知能を研究する非営利組織のOpenAIが開発したAIによる文章生成ツール「GPT-2」は、高精度のテキストを簡単に自動生成できるといわれており、開発陣が「あまりにも危険過ぎる」と危惧するあまり論文公開が延期される事態にまで発展しました。そんなGPT-2は2019年2月、5月、8月と段階的にパラメーターを増やしたモデルが公開されてきましたが、ついに15億個ものパラメーターを持つ最新版がリリースされました。 GPT-2: 1.5B Release https://openai.com/blog/gpt-2-1-5b-release/ GPT_2_Report.pdf (PDFファイル)https://d4mucfpksywv.cloudfront.net/papers/GPT_2_Report.pdf OpenAIはGPT-2が非常に高度な文章を生成する

(Image by Pixabay) この国では未だに訳の分からない、何も実態を反映しない「データサイエンティスト論」がそこら中に流布されている模様ですが、そんな中Harvard Business Reviewにこんな素晴らしい記事が出ていたのを見つけたのでした。 その公式日本語記事が先日出たので、こちらの方が読みやすいかもしれません。 正直言って、この記事の本文をお読みいただければ特に何も付け加えることはありませんし、全く同じ内容の提言は異口同音に（それこそこのブログも含めて）この5年以上に渡って散々喧伝されてきたので今更繰り返すような話でもない気がしますが、個人的には非常に的を射た内容の記事だと感じたこともあり、自分の経験と合わせて少しまとめて解説してみようかと思います。 そもそもデータサイエンティストとは何者なのか（だったのか） 今回のHBR記事の提言 データサイエンスを独自の部門と

2. １９４６： ＥＮＩＡＣ，高い計算能力 フォン・ノイマン「俺の次に頭の良い奴ができた」 １９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム 機械学習と人工知能の歴史 2 １９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け 第一次ニューラルネットワークブーム １９６３：線形サポートベクトルマシン １９８０年代：多層パーセプトロン，誤差逆伝搬， 畳み込みネット 第二次ニューラルネットワークブーム １９９２： 非線形サポートベクトルマシン （カーネル法） 統計的学習 線形モデルの限界 非凸性の問題 １９９６： スパース学習 （Lasso） ２００３： トピックモデル （LDA） ２０１２： Supervision （Alex-net） 第三次ニューラルネットワークブーム データの増加 ＋計算機の強化 １９６０年代前半： ＥＬＩＺＡ（イライザ）， 擬似心理療法士 １９８０年代

とある勉強会で「TensorFlowで統計モデリング」というタイトルで講義をしました。聴衆はPythonユーザが多く、データ量が大きい問題が多そうだったので、StanよりもTensorFlowで点推定するスキルを伸ばすとメリットが大きいだろうと思ってこのようなタイトルになりました。 発表資料は以下になります。 TensorFlowで統計モデリング from . . 発表資料の途中に出てくるtf_tutorial.htmlとmodeling.htmlの内容は、以下のipynbをhtmlで出力したものです（見づらかったらプログラム名のところをクリックしてGitHubに移動して見てください）。 ちなみに僕が紹介しているTensorFlowの書き方はEager Executionではなく、Define and Runのやや古い書き方です。あまり気にしていませんけど。 ここではTensorFlowを

Edward2,TFP import tensorflow_probability as tfp from tensorflow_probability import edward2 as ed bag_of_words = np.random.poisson(5., size=[256, 32000]) # training data as matrix of counts data_size, feature_size = bag_of_words.shape # number of documents x words (vocabulary) units = [100, 30, 15] # number of stochastic units per layer shape = 0.1 # Gamma shape parameter w2 = Gamma(0.1, 0.3, samp

by Pixabay 統合失調症はいまだ治療法が確立していない疾患であり、原因の究明や予防策の開発も急がれています。そんな中、ハーバード大学とエモリー大学の研究者が統合失調症や他の精神障害の前段階にある患者の発言を自動分析し、将来的に病気になる危険性を93％の正確性で予測する機械学習ツールを開発しました。 A machine learning approach to predicting psychosis using semantic density and latent content analysis | npj Schizophrenia (PDFファイル)https://www.nature.com/articles/s41537-019-0077-9.epdf eScienceCommons: The whisper of schizophrenia: Machine lear

著者のDaniel Shenfeld氏は、AI製品開発や企業のAI導入を支援するAIコンサルタントを個人で営んでいます。同氏がMediumに投稿した記事では、同氏がAIコンサルティングを通して学んだ8つの教訓がまとめられています。 学んだ8つの教訓は、それぞれに付けられた見出しを見ると大意がわかります。それらは、以下のようなものです。 製品を作るのであって、AIを作るのではない 考えるべきは問題であり、手段ではない データと製品のシナジーを探す データがはじめ、AIは後 効果的なコミュニケーションへの投資 早いが鈍くさいのは実は鈍くさくない 迷ったら、データを見せろ 信頼を築く なお、以上の教訓が解説されるにあたっては、本翻訳記事の元記事とは別のMedium記事で論じられた「製品とデータの適合」「モデル価値グラフ」「データ債務」といった概念が援用されています。こうした概念については、注釈を

GoogleのAI研究チームは6月7日、サッカーゲームをプレイするAIについての研究内容をブログにて公表した。AI同士をサッカーシミュレーションゲーム上で対戦させ、AIのテストを行っているようだ。また、AIのテスト環境や学習環境などが含まれる「Google Research Football Environment」のベータ版を、オープンソースでGithub上に公開している。 公開された動画では、サッカーコートを真横から見たゲーム画面が表示される。『FIFA』や『ウイニングイレブン』スタイルのサッカーゲームのように見える。プレイ画面では、ゲーム内の選手たちがボールを追って走り回り、小気味よいプレイを見せている。一見するとプレイヤーたちによるプレイ動画のように見えるが、しかしこれは人間と人間の対戦動画ではない。すべての選手がAIによって操作されているAI同士の対戦動画だ。パスを出し、シュート

この記事は、「数学カフェ」アドベントカレンダー19日目の記事です。 記事の趣旨 蔵本モデルでよく出てきた関数解析って? 「現実でどう役に立つの?」 これに尽きます。 ※なので今回は、関数解析的な証明は行いません（できません…の方が適切ですが…） ※誤植勘違い等もあると思いますが、温かい目でお願いします。 トピック 「関数解析は機械学習でどう役に立つの?」 カーネルトリック 今回のアドベントカレンダーで関数解析について触れてる記事 06日目_作用素のスペクトル理論 11日目_掛け算作用素でCompact作用素・Fredholm作用素の理論を展開する 13日目_関数解析復習会のその先「Weyl-von Neumannの定理」 15日目_Selberg trace formula 1 - pi 「関数解析は機械学習でどう役に立つの?」 機械学習における関数解析の使いどころ 再生核ヒルベルト空間