はじめに　当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。 そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と心療内科から診断を受け休職し、会社制度により退職することになりました。「え？そんなに素晴らしい環境なのにメンタル弱すぎでは？」と思われる方もいらっしゃることでしょう。返す言葉が全くありません。おっしゃる通りです。 しかし同時に、「何故鬱になったの？」と思われる方もいらっしゃるのではないでしょうか。本記事ではこの点について鬱を発症した本人の目線から「どうしてそんなことが起きてしまったのか」という点について考察

(Image by neo tam from Pixabay) 最近こんな記事が出ていたようですが、僕にとっては既視感満載の話題でした。何故かというと、実は現職に来る以前に既にここで書かれている面接方法を実務担当者面接の責任者として実践していたからです。ちなみにその方法は2013年ぐらい当時のテック系メディアで記事として取り上げられていたものなのですが、残念なことに現在どれほど検索してもその記事が見つかりません……。 その内容自体はしばらく前に英語版Quoraに書いていたり*1もっと遡ればTwitterに書いたりしていたのですが、そう言えばブログには書いていなかったなと思い出したので、改めてブログ記事にしてみようと思います。なお、ここに書かれている内容は僕の現在の職務とは一切関係がないことを予めお断りしておきます。 データサイエンティストに必要なのは「解決する力」であって「瞬発力」ではない

ウェブブラウザのFirefoxを開発しているMozillaの研究者らが、ブラウザの閲覧履歴だけを使用して高い精度で個人を特定することができたとの研究結果を発表しました。この発表により、匿名化された閲覧履歴であればオンライン広告の広告主などに悪用されないというこれまでの考え方が覆されるとの見方が広がっています。 Replication: Why We Still Can't Browse in Peace: On the Uniqueness and Reidentifiability of Web Browsing Histories | USENIX https://www.usenix.org/conference/soups2020/presentation/bird Mozilla: there is a high probability that your browsing hi

この時期だからこそ自学しよう 海外って太っ腹な組織が多いのか、無料で読める専門書がすごく多い。 これ系のまとめ記事は他にもありますが、 翻訳済の日本の本と、原著を並べて表示していきたいと思います。 特にデータサイエンス分野に限って紹介。 お高いあの名著も実は原著なら無料かも？ (2020年5月時点) 続編、データサイエンスの名大学講座 を書きました (2020年8月) 1冊目 邦題 : 統計的学習の基礎(1万5千円) 俗に言う「カステラ本」です。 日本では2014年に翻訳されましたが、原著は2001年と今から約20年前に出版されました。 内容からしても、当時は体系的に理論学習ができる刷新的な一冊だったのでしょう。 まさに「アルゴリズム・理論の辞書」。 年代的に古い感じはしますが、基礎はいつだって大切です。 数字に強くないと絶対読み切れない。。。 原著 : The Elements of S

Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation (ICCV2019 oral)

初回、先頭打者が出塁して2番打者。ここで送りバントのサインが出れば、解説者は決まってこう言うだろう。「手堅いですね」。しかし統計からみると、これは正確とはいいがたい。まずは2014～18年の日本のプロ野球（NPB）における「得点期待値」をみてみよう。特定の状況からそのイニングが終わるまでに入った得点の平均を示す。無死一塁の0.804点に対し、1死二塁では0.674点。つまり送りバントを決めて走

ブレインパッド社内勉強会での発表スライドを公開しました 本スライドは #OpenBP の活動の一環として公開しています https://twitter.com/search?q=%23OpenBP&src=hashtag_click #OpenBPとは→ https://note.mu/ysd…

著者のIan Xiao氏は、顧客企業に機械学習ソリューションを提供するカナダの企業DESSAにおいて「契約リード（Engagement Lead）」という肩書で機械学習プロジェクトを指揮管理しています。同氏がMediumに投稿した記事「データサイエンスはつまらない（パート1）」では、データサイエンス職におけるつまらない側面が解説されています。 同氏の甥はコンピュータサイエンスの修士課程で勉強しており、卒業後はデータサイエンス職に就きたいと考えていると聞いて、同氏は甥が正しい判断を下せるようにデータサイエンス職における「つまらない」側面をあえて伝えようと決意しました。 データサイエンス職を志望する若者は、仕事に就けば機械学習モデルの構築のような知的にエキサイティングな業務に携われると思い込んでいます。しかし、現実には業務時間のほとんどを退屈でつまらない仕事に関わることになる、と同氏は指摘しま

それでも「データ分析」で仕事をしたい人のためのデータ分析業界長期予とこれからの選択肢について 白金鉱業 Meetup Vol.8 https://brainpad-meetup.connpass.com/event/131670/ 作成者 ：しんゆう＠データ分析とインテリジェンス ブログ ：https://analytics-and-intelligence.net/ Twitter：https://twitter.com/data_analyst_

(Image by Pixabay) この記事は以前の書籍リスト記事のアップデートです。 機械学習エンジニアやデータサイエンティストとして（もしくはそうではない職名であったとしても）機械学習システム開発や統計分析を仕事にしたい人なら、最低限これだけは読んでおいて損はないだろうという書籍を初級向け5冊、中級向け10冊選定しています。ただし、以前とは若干異なり「仕事にする」イコール「プロフェッショナルを目指す」ということで、特に初級向けリストを若干レベルアップさせています。中には初学者でも結構読みこなすのが難しい本だけになっているかもしれませんが、中級向けリストに進む上でどうしてもこれだけは読破して欲しいという願望も込めました、ということで。 完全にお馴染みのネタなので特に説明することはないかと思いますが、言うまでもなく以下のリストは完全なる僕個人の独断と偏見で、最近出版されたり自分で読んだ本

新卒採用は「売り手市場」と呼ばれる活況を呈しています。とりわけデータサイエンティストの素養がある学生は、各社で争奪戦となります。 私も取引先の大手製造業に採用の相談を受けると、「世界に名だたる御社でも大変なんですか!?　むしろ弊社が教わりたいくらいですよ！」と、社会性とコミュ力を発揮しています。 ともあれ業種業界を問わず、データサイエンティストの採用には苦戦します。弊社の採用でも、一般的な求人サイト、インターン、他社員からの紹介など、さまざまな方法を駆使しています。 メンバー集めが大変なのは、会社に限った話ではありません。データ関連人材が不足している現状を見ているうちに、思わず社会現象を巻き起こす映画「ボヘミアン・ラプソディ」を思い浮かべました。 ボヘミアン・ラプソディは、世界的なロックバンド「クイーン」を題材にした作品で、故フレディ・マーキュリーの半生を中心に、名曲が誕生した瞬間などを描

先端IT人材の中でも急増する需要に追い付かず、慢性的な「売り手市場」となっている「データサイエンティスト」という職種。企業から引く手あまたといわれるデータサイエンティスト職の実態はどうなっているのか？ということで、人材大手パーソルキャリアで現役のデータサイエンティストとして活躍する鹿内学さんに、いろいろと話を聞き、さらに世界最大級のオンライン学習教育プラットフォーム「Udemy(ユーデミー)」で役に立つ講座はどれかというのも教えてもらいました。 世界最大級のオンライン学習プラットフォーム | Udemy 目次 ◆1：「データサイエンティスト」とは？ ◆2：「データサイエンティスト」が引く手あまたなワケ ◆3：データサイエンスが使えないと給料が減る時代が来る！？ ◆4：「データサイエンティスト」になるための学習法とは？ ◆5：プロがおススメするUdemyデータサイエンス講座5選 研究者からビ

こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多

こんにちは、シバタアキラです。気づけばいつもご無沙汰しておりますが、DataRobotのお客様先などで「ブログ読んでます」などと言われる様になると、古いネタだけのブログも忍びなくなってきました。今回のお話も実は構想し始めたのは5月に招待されたオラクル社のイベントでの公演がきっかけでしたが、以来少しづつ温まってきました。 「うちにはこんなに沢山データが有るんです。 AIと組み合わせたらすごいことにななります」 今回のテーマを起案した頃の5月に出た英エコノミストのテーマは「世界で最も価値のある資源はもはやオイルではなく、データだ」という内容でした。 データに対して洞察のある方であれば引っかかるコンセプトですが、実際にはこういうお話を日々耳にします。おそらくHadoopを始めとするビッグデータ系のベンダーなどがそのようなことを吹聴し、「とにかくデータは取っておけば価値になる」とか、「全部取ってお

(Photo credit: https://pixabay.com/en/books-door-entrance-italy-colors-1655783/) この記事は一昨年のこの書籍紹介記事のアップデート版です。 相変わらず毎月のように新刊書が出続けるデータ分析業界ですが、良い本が増え続けてきたせいでついに初級者向けは6冊、中級者向けは何と15冊にまで膨れ上がってしまいました（汗）。ともあれ、自分のところにアフィリエイトの類は一銭も入らないにもかかわらず*1懲りずに書籍紹介をやろうと思います。 あ、最初に断っておきますが僕の知識レベルは極めて適当なので、極めていい加減なことを書いている可能性があります。また最初に読んでから時間が経っていて記憶があやふやなせいで、内容に関する記述が不正確な書評が混じっている可能性もあります。誤っているところやおかしいところがあったらバンバン突っ込んでく

村田　賢太 はじめに現在Ruby*1は、データサイエンスの業務ではほとんど役に立たないプログラミング言語であると言っても過言ではない。 Rubyはデータサイエンスの世界では存在していないも同然の扱いであり、選択肢にすら上がらない。 その理由は、実用的に使える環境が存在しないことである。データサイエンスで使えるRuby向けのツールは少ないが存在はする。 しかし、これらは開発者各自が思い思いのツールを好き勝手に作る方式で供給されており、計画性がないオープンソース活動に支えられている。 そのため、ツール間でデータのやり取りができない、データサイエンスのすべての工程を一貫してRubyで実施できない、ツールの品質が悪くて利用できないなどの理由から業務での利用を諦めざるを得ないのが現実である。 この状況を一変させるには、データサイエンスの仕事を最初から最後までRubyで実施できる実用的な環境を作り上げ

異常検知本を最近読み進めていたので、自分が知らなくて新しく勉強になったところのみメモ。 ホテリングの法による異常検知 異常度はマハラノビス距離で与えることができる サンプル数Nが次元数Mより圧倒的に多い場合はは自由度M、スケール因子1のカイ二乗分布に従う これによりカイ二乗分布で欲しい閾値(逆関数か対応表から)を決めておく 「カイ二乗分布の分散はであるため、精度よく異常検知をするためにはなるべく変数選択をするか部分集合毎にを計算するのがよい」と書いてあってナルホド感があった 単純ベイズ法による異常検知 naive bayesのところまぁ知ってるので飛ばす ベイズ決定則とネイマンピアソン決定則の関係のところは勉強になった ベイズ決定則は異常判定を強く抑制する傾向にあるので、既存の二値分類の実装をあまり深く考えずに異常検知に使うと異常標本精度が非常に低くなってしまうため注意が必要 近傍法による