前回は因果推論の王道テクニックである傾向スコアを使った回帰分析とマッチングについて紹介しました。今回も傾向スコアを使った解析手法の一つであるIPWと、傾向スコアは使いませんが理論的には同じになるStandardzationの紹介をしていきます。 www.medi-08-data-06.work この二つのモデルは、今まで扱ってきたモデルとは少し違い集団全体の因果効果(Marginal effect)を推定するモデルになります。集団全体の因果効果であるため、交絡因子の層ごとに要因の結果の関係性が異なっていたとしても、効果を推定することができます。 具体的な解析手法のみが気になる方は後半にRとPythonコードをのせてありますので、そちらをご参照ください。 そもそも因果推論ってなんぞ？って方はこちら www.medi-08-data-06.work Marginal effectとCondit

世の中の事象における真の因果関係は神のみぞが知り、それに抗うために多くの因果推論テクニックが作られてきました。その中でも傾向スコアというのは、ランダム化検証ができない事象でも、データをゴニョゴニョすることで、理論上ランダム化に等しいことができてしまうという夢のようなテクニックです。 www.medi-08-data-06.work 今回はそんな傾向スコアが前提としている仮定や、傾向スコアを使う際の注意点、RとPython使っての解析方法などについて書いていきます。 解析方法を手っ取り早く知りたいという方は後半からご覧ください。 今回のデータ 簡単に回帰分析 CMとプレイ時間の関係に影響を及ぼすのは？ 全ての変数を調整することはできない 傾向スコアマッチング マッチング後は分布を確認 マッチングの結果は？ 傾向スコアマッチングの注意点（重要） 傾向スコアを変数として使う Rでの実践 Pyth

こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は平均処置効果の推定方法について紹介します。より具体的にはマッチングや重み付けといった共変量のバランシングを利用してバイアスの小さい推定をする方法を使い、複数得られた推定結果を絞り込んで意思決定に使える結論を得るまでの流れを扱います。サンプルデータを使って実際に推定を行い結果を解釈するところまで行います。コードはRです。完全にコンセンサスのとれた因果推論方法・手順はおそらく存在しないので、現時点でよいのではと考えている方法の紹介になります。 今回紹介する方法のポイントは、共変量のバランシングによってモデル依存性が低下することを利用して信頼できそうな推定結果を絞り込んでいるところにあります。手法やモデルによって様々な推定値が得られますが、バイアスの評価方法がないため採用すべきものがわからないという問題があります。しかし、共

はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきました。 これまでに2つのレポートを公開しています。 data.gunosy.io data.gunosy.io 本レポートではTutorialとして開催された「Challenges, Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments」の内容をレポートします。 内容は現在のA/Bテストのガイドラインと言ってもいい内容で、非常に参考になるポイントが多かったです。

Apply to MS About Menu Toggle CDS Overview Diversity, Equity, and Inclusion Employment Contact Admissions Menu Toggle Admissions Overview Master’s Admissions Menu Toggle Program Overview Admissions Requirements FAQ Financial Aid & Fellowships Admissions Ambassadors PhD Admissions Menu Toggle Program Overview Areas & Faculty Admissions Requirements FAQ Non-Degree Admissions Menu Toggle Program Over

今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あと、初めに体系立ったテキストを分からなくても良いので通読するのも良し。だいたいの地図が頭に入る。— TJO (@TJO_datasci) 2014, 3月 31 この後も色々補足で呟いたんですが、せっかくなので簡単にまとめたものを書いてみました。これから社会人で統計学や機械学習を学ぼうと考えている人の参考になれば嬉しいです。 あ、これはベタな言い方をすれば「データサイエンティスト（死語）になるにはどうしたら良いか」にもつながる話なんですが、ここではもっと広く「統計学や機械学習を使う仕事をしたいと思ったらどう独習するべきか」という話にしておこうと思い

先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談

時系列モデルを扱う上でデファクトスタンダードになりそうなPythonライブラリが出てきました。 時系列モデルを扱うPythonライブラリは、 scikit-learn のようなデファクトスタンダードなものがありません。そのため時系列モデルを用いて実装を行うためには、様々なライブラリのAPIなどの仕様を理解しつつ、それに合わせてデータ整形を行い、評価する必要があり、これはなかなか辛い作業でした。 スイスの企業 Unit8 が今年(2020年)6月末に公開した Darts はまさにこういった課題を解決するライブラリです。時系列に関する様々なモデルを scikit-learn ベースのAPIで統一的に扱うことができます。 github.com Darts は現在、下記のモデルに対応しています。内側では statsmodels 、 Prophet(stan) 、 Pytorch などを使っていて、

RFMは「分類」に過ぎない。ビジネスを理解して「分析」しよう。 本日は、顧客分析の基本ともいうべき「RFM分析」について解説します。 3つの要素で顧客を「分類」する RFMとは、Recency / Frequency / Monetary の3つの言葉の頭文字をとってつくられた言葉です。RFM分析とは、端的にいえば、この3つの要素で顧客の購買行動を分析する、ということです。 それでは、まずは、3つの言葉の意味をしっかりと理解するところから始めましょう。 R：Recency｜最終購買日 その顧客が「もっとも最近、購買したのはいつか？」という指標です。レストランで考えてみましょう。昨日来てくれたお客さんと、1年前に来たのを最後に音沙汰の無いお客さん、は、やはり何か違いますよね？ということを考えるための指標です。 F：Frequency｜購買頻度 その顧客が「どれくらいの頻度で購買してくれるか？

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 皆さん、こんにちは。研究開発室の佐藤 貴海です。 Platium Data Blogへは初投稿ですが、実は、前回エントリーの「ツール・ド・東北」には選手として登場しています。 応援する気持ちと、応援される感動がたくさん詰まった「ツール・ド・東北 2014」参加レポート - Platinum Data Blog by BrainPad 今回は、以前より気になっていた「ホフステッド指数」について、趣味と実益を兼ねて分析と考察をします。 1. ホフステッド指数とは？ 気になったきっかけは、以下の日経BizGateの記事。 様々な国の文化（国民性）を定量的に測定し、指数化しようとしたのがヘールト・ホフステッドである。 ホフステッドは米IBMの世界40カ国11万人の従業員に行動様式と価値観に関するア

LINEの全社員が使えるデータ分析ツール「OASIS」開発秘話 既存のソフトウェアを採用せず、内製化を選んだ理由 OASIS - Data Analysis Platform for Multi-tenant Hadoop Cluster 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンと各分野での取り組みについて、エンジニアたちが技術的側面から紹介します。セッション「OASIS - Data Analysis Platform for Multi-tenant Hadoop Cluster」に登壇したのはLINE株式会社D

OASIS - Data Analysis Platform for Multi-tenant Hadoop Cluster OASIS is a web-based data analysis platform that enables employees at LINE to analyze data from their services in a multi-tenant Hadoop cluster. It provides features like query execution, result visualization, code execution in Scala/Python/R, scheduled execution, and result sharing. OASIS addresses security, stability, and feature req

今回は pandas-profiling というパッケージを使ってみる。 このパッケージを使うと pandas の DataFrame に含まれる各次元の基本的な統計量や相関係数などを一度に確認できる。 最初にデータセットのサマリーを確認できると、その後の EDA (Exploratory Data Analysis: 探索的データ分析) の取っ掛かりにしやすいと思う。 使った環境は次の通り。 $ sw_vers ProductName: macOS ProductVersion: 12.4 BuildVersion: 21F79 $ python -V Python 3.9.13 $ pip3 list | grep pandas-profiling pandas-profiling 3.2.0 下準備 まずは必要なパッケージをインストールしておく。 $ pip install pand

By Michelle Ufford, M Pacer, Matthew Seal, and Kyle Kelley Notebooks have rapidly grown in popularity among data scientists to become the de facto standard for quick prototyping and exploratory analysis. At Netflix, we’re pushing the boundaries even further, reimagining what a notebook can be, who can use it, and what they can do with it. And we’re making big investments to help make this vision a

前回の記事からだいぶ間が空いてしまいましたが、ここでデータサイエンティストの職を頂けるまでにしてきたことを記しておきたいと思います。もし興味があって、この職についてみたいと思う方の参考になれば幸いです。 きっかけ（2017年秋頃） 統計学が最強の学問である データ社会を生き抜くための武器と教養 [ 西内啓 ] ジャンル: 本・雑誌・コミック > 科学・医学・技術 > 数学ショップ: 楽天ブックス価格: 1,728円 この本を読みました。だいぶ前に一度流行った本ですが、 そのうち読んでみようと思ったまま月日が流れていました。でもデータサイエンティストの職業にちょっと興味もあったので、なんとなく読みはじめてみたらまぁ面白かったです。統計の教科書というよりは読み物として非常に読みごたえがありました。いろいろな事例を交えて説明されており、うまく興味を掻き立てられ、本を読み終えた頃にはどうやったらデ

2018年3月29日、株式会社サイバーエージェントが主催するイベント「春の機械学習祭り 〜Data Engineering & Data Analysis WS#4〜」が開催されました。サイバーエージェントのデータ分析基盤とデータ活用、およびそれらの技術を共有する本イベントでは、秋葉原ラボ所属メンバーを中心に基盤と分析について具体的かつ実践的な技術を紹介します。プレゼンテーション「推薦アルゴリズムの今までとこれから」では、内藤遥氏が登場。Amebaを支える推薦基盤について、その裏側を語ります。 推薦アルゴリズムの変遷 内藤遥氏（以下、内藤）：それでは、まず初めに私のほうから、「推薦アルゴリズムの今までとこれから」というテーマで発表させていただきます。タイトルだけ聞くと「ちょっと基調講演みたいだよね」ってけっこう言われたんですけど（笑）。内容はそんな仰々しいものではないので、みなさんご了承く

最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。— im132nd (@im132nd) 2018年4月4日 という話もあり、(特にデータサイエンティスト以外の職種の人が)Kaggleをやる意義/メリットについてまとめてみました。ガッと勢いで書いたので、項目に結構被りがあります。なお、書いている本人はKaggleほぼ初心者であまり説得力がないです。Kaggle Masterの人がもっといいエントリを書いてくれるのを期待しています、議論の叩き台エントリです!! Kaggleをやる意義/メリット 様々なデータセットを触ることができる kernelでデータ分析の

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ

この投稿は 「jupyter notebook Advent Calendar 2016 - Qiita」 の 6日目の記事です。 今年の流行語大賞が 「JPAP（Jupyter / Python / Anaconda / Pyenv） に決まりましたね！ あれ？ 違うの！？ といった冗談はさておき、ちょっとした統計解析をしようとしたときに、Jupyter Notebook（ジュピター ノートブック）＋ Pandas（パンダス）を試してみたら、すごくいい感じだったのでご紹介。 Jupyter Notebook はブラウザ上でデータ分析関連の Python コードを実行したり実行結果を保存したりすることができる非常に便利なツールなのですが、Jupyter Notebook の他にも Python, NumPy, Pandas, Matplotlib 等々の環境を準備しておく必要があります。そ