DAGシリーズの（とりあえず）最終回です。よく「因果関係と相関関係は違う」*1といいますが、具体的にどのような場合に両者が一致しない（バイアスが生じる）のかをDAGをつかって整理します（簡単にそれぞれのバイアスへの対応策にも言及しますが、各手法の詳細は別の機会に譲ります）。 シリーズ第一回と第二回では、DAGを使う意義やその書き方・読み方のルールについて書いてきましたが、実はこれらはすべて今回の第三回につなげるための伏線でした。本記事はDAGに関する基礎知識を前提として書き進めていくので、不安な方は過去記事を参照してみてください。基本的な内容ではありますが、介入効果の評価などデータを扱って因果関係を考えていくうえで避けては通れない非常に重要な内容だと思うので、気合いをいれてまとめてみます。 まずは用語の定義 ニセの関連が生じるパターン１：交絡 古典的な交絡の定義 DAGによる交絡の整理と交

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

今回はDirected Acyclic Graph(DAG)と呼ばれるものについて書いてみようと思います。「ダグ」と読みます。日本語では「非巡回有向グラフ」とかいうなんだか難しそうな名前で呼ばれているようです。DAGが何かを一言で説明するとすれば「いろいろな要因を矢印で結んで、それらの間の因果関係について整理するためのツール」といったところでしょうか。本シリーズは以下の三つのテーマに分けて書いていきます。 １．そもそもなぜDAGが必要なのか（本記事） ２．DAGの基本的なルール・書き方と読み方 ３．DAGによる様々なバイアスの視覚的な整理 それでは今回はＤＡＧが必要とされる理由について整理してみます。 なぜDAGが必要なのか？どう有用？ １．まず前提の確認 ２．多くのデータ分析では因果関係を見つけることに興味がある ３．目の前の「関連」は「因果関係」か？ ４．ここでついにＤＡＧの登場！ ５

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

若手データサイエンティストが集まる会で、人工知能（AI）をテーマに講演をする機会があった。講演後の雑談で「会社の上層部から『なんでもいいからビッグデータを集めて、AIでなんとかしろ』と言われて困っている。そんなのは幻想だ、と言ってもらえないか」と頼まれた。あまりに気の毒なので、この場を借りて、ご依頼にこたえようと思う。まずはAIの精度をどのように測るべきかについて考えてみよう。たとえば、画像

ベイズ統計の枠組みにおいて、回帰係数の事前分布に二重指数分布（ラプラス分布）を設定し回帰を実行してMAP推定値を求めると、lassoに対応した結果になります。また、回帰係数にt分布を設定する手法もあります。これらの手法は「shrinkage factorの分布」という観点から見ると見通しがよいです。さらに、その観点から見ると、馬蹄事前分布が魅力的な性質を持っていることが分かります。この記事ではそれらを簡単に説明します。 なお、lassoそのものに関しては触れません。岩波DS5がlassoを中心にスパースモデリングを多角的に捉えた良い書籍になっているので、ぜひそちらを参照してください。 岩波データサイエンス Vol.5 発売日: 2017/02/16メディア: 単行本（ソフトカバー） 参考文献 [1] C. Carvalho et al. (2008). The Horseshoe Esti

先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が「畢竟データ分析って何の役に立つんだろう？」というものだったんですが、そこで僕が思い出して紹介したのが「獺祭」で世界進出を成功させている旭酒造のエピソードだったのでした。 ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。 「獺祭」は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる 東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の

Rユーザのみなさん、RStudio使っていますか。RStudioを使うなら、RStudioアドインも使いましょう。便利です。 … でも、＼どんなアドインがあるのかわからない！／ という声をしばしば聞きます。というわけでお気に入りのアドインを10個まとめました。用途ごとに部門を設けて紹介します。 RStudioアドインとは そもそもRStudioアドインとは何か。それを説明しておかないといけませんね。 RStudioアドインとは、0.99.878以降のバージョンで実装されているRStudioの一機能です。複雑な処理をボタン一発で実行したり、ショートカットとして利用したり、GUI操作で処理を実行できるようになります。 RStudioアドインはメニューバーの「Addins」というボタンあるいは設定されたショートカットから呼び出すことができます。アドインは、Rの関数と同様にパッケージによって提供さ

こんにちは、ほけきよです！ 機械学習の基本は教師あり学習です。 でも、実際の現場ではいろいろ指標が出てきて「?」 ってなるので、一回本気でまとめてみることにしてみました！ 教師あり学習の分類 二値分類 用語一覧表 図解 事例 事例1:果物の分類 事例2:ガンかどうかの検査 ROC曲線の意味合い 指標まとめ 多クラス分類 precision, recall, F-measure accuracy logarithm loss 出力が数値(回帰) 用語一覧 二乗誤差(MSE, RMSE)と絶対誤差(MAE)の使い分け AICとBIC, wAICの使い分け 時系列問題 参考になりそうなサイト 教師あり学習の分類 今回は正解はカテゴリか意味を持つ数字かで場合分けをしてみた。 全体の指標のサマリーはこんな感じ(だと思っている。) ※他にも大事な指標があるよ&これは間違っているのでは？？ というコメン