5ヶ月前に書いた記事がだいぶ陳腐化してきた*1気がするので、それ以降出版された書籍や、他にも学術的知識を得るだけでなく「データサイエンティストとして働く上で必要なスキル」について書かれた書籍などを加えて、「2013年秋版」の10冊をチョイスしてみました。 これはあくまでも「データサイエンティストを目指す上で必要な素地が既にある程度備わっている人」向けのスタートアップとしての10冊です。実際にはこの10冊では知識が足りなくなる場面の方が多いので、その場合は適宜発展的な書籍に当たってどんどん独習していくことをお薦めします。逆に、本当にゼロからスタートする初学者の人にはこれでもかなり辛いかもなので、今回は見なかったことにしてください、ということで。。。 そうそう、相変わらずですが僕個人はアフィリエイトやってないので、こちらのリンクから書籍を購入されても儲かるのは僕ではなくはてなです（笑）。 （※

先日の記事はおかげさまで好評をいただいたんですが、勉強中の身で教科書を確認せずに書いたこともあり多数ツッコミをいただきました。ツッコミをいただけるというのはもちろん大変良い勉強の機会になるということで*1、今回もひとしきり勉強してみました。 ということで、自戒も込めて備忘録的に勉強したことをまとめておこうと思います。今回はあまり広く読んでもらう内容ではないので、不親切かもしれませんがごめんなさい。ただし、あまりにも理論的側面ばかり色々書いても何なので、インターネット広告業界の言葉で喩えて言うなら「クリック数*2をモデリングしたい場合」と「コンバージョン数*3をモデリングしたい場合」とに分けた、と理解してもらえたら良いかなと思ってます。 今回も参考文献は久保本です。一般化線形モデルまわりではこの本より分かりやすい本は依然としてないと思います。 データ解析のための統計モデリング入門――一般化線

追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ

「どれぐらいフォロー解除されているか」「自分のツイートのリンクは何回クリックされたのか」「自分のフォロワーは何に興味を持っている人が多いのか」「自分のサイトに埋め込んだツイートボタンは何回クリックされたのか」「自分のサイトのページでたくさんリツイートされたのはどれか」といったアクセス解析ができる「アナリティクス」機能が日本のTwitterの一部アカウントで利用可能になっています。これは2011年9月に「Twitter Web Analytics」として発表されていたもので、2011年7月にTwitterが買収した「BackType」というTwitterのアクセス解析サービスを改良したものになっており、GIGAZINEの公式Twitterアカウントでも利用可能になっていたので早速使ってみました。 ログインして右上にある設定アイコンから「アナリティクス」と書いてあるメニューが見えれば利用可能な

CEDEC2013にて発表させていただいた内容の一般公開用スライドです。 ネットサービスの基本中の基本とされるKPI 「DAU（Daily Active Users）」。売上の分解にも使いやすく、複数のサービスを比較するときには必須の指標です。しかし、運営の現場では「ノイズが多くて使いにくい」「経営者（えらい人）にサービスの状況の誤解を与える」という扱いを受けがちな指標でもあります。 セッションの内容 : 本セッションでは、ソーシャルゲームのDAUを題材に、測り方にほんの少し工夫（工夫の方法は汎用的なものです）を加えることで、DAUを現場の肌感覚にもあう指標に変身させる方法、特に、運営期間が長くなったサービスにおける課題抽出に活用する方法をご紹介します。 発表日時 : 2013年8月23日(金) 16:30～17:30 詳細URL : http://cedec.cesa.or.jp/201

追記2 2015年末の時点での最新リストはこちらです。 追記 この記事の5カ月後にもう少し更新した内容の「お薦め本リスト」記事を2つupしてますのでそちらもお読みください。 2013年秋版：データサイエンティストを目指すなら揃えておくべき10冊 - 六本木で働くデータサイエンティストのブログ 2013年秋版：データ分析初心者にお薦めする「基礎を本当にゼロから学ぶ」ためのテキスト5冊 - 六本木で働くデータサイエンティストのブログ 今回は、僕が実際に自然科学の研究者からデータサイエンティストへと転身するに当たって、いつも脇に置いていたテキストや同僚が参考にしていたテキストをまとめて紹介します。 ※以下僕も持っているものには「＊」を打ってあります*1*2*3 統計学 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メ

因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk: 林岳彦の研究メモ ひっそりと感想文をば。 相関関係の定義 リンク先では、因果関係の便宜的な定義がなされているけれど、相関関係の方にはそれが無かったりします。で、この種の問題においては、そもそも相関関係って何だっけ？みたいな問題意識もあると思う訳ですね。 サイコロ 独立した2つの現象に関連性が現れることは、単なる偶然によっても生じえます。もっとも単純には、「二つのサイコロを転がしたら同じ目がでた」なんてのがそれにあたります。 で、ここにある、二つのサイコロを転がしたら同じ目がでたを、相関関係と呼べるのかどうか、みたいな疑問も出てきたりするのです。2つサイコロを振ってゾロ目になる事を相関関係と表現出来るのなら、どこからどこまでの現象をそのように呼べるのだろうか、と思えてくる

どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

4月3日、オープンソースの統計解析ツール「R」開発チームは最新版となる「R 3.0.0」（開発コード「Masked Marvel」）のリリースを発表した。2^31-1以上の要素を持つベクトル（Long Vector）のサポートなどが加わっている。 Rは統計や解析処理、グラフ化のための言語および実行環境。WindowsやMac OS X、Linuxなどで利用できる。GNU Projectの1つで、動的型付け、オブジェクト指向などの特徴を持ち、データの操作、計算、グラフィック表示などの機能も統合されている。拡張性が高く、関連パッケージが豊富に用意されている点も特徴で、パッケージはCRAN（Comprehensive R Archive Network）から入手できる。ライセンスはGPL。 バージョン3.0.0は、2004年に公開されたR 2.0.0以来のメジャーバージョンとなる。大きな変更点と

前回は，東京都内の地域統計を使って，幼子がいる母親の就業率と保育所供給率の関連を明らかにしました。分かったのは，両指標の間に強い正の相関関係がある，ということです。 ところで，東京に土地勘がなく，いまいちピンとこなかった方もおられるのではないでしょうか。また，東京という局所（大都市）でいえることがどれほど普遍性を持つのか，という疑問もあろうかと存じます。 そこで今回は，分析の次元を引き上げて，47都道府県のデータを用いて同じ分析をしてみようと思います。保育所の供給が多い地域ほど，幼子を抱える母親の就業率は高いか。県レベルのデータをもとに，追試をしてみましょう。 私が住んでいる東京都を例に，指標の計算方法を説明します。まずは，幼子を抱える母親の就業率です。2010年の『国勢調査』によると，都内に居を構える核家族世帯のうち，6歳未満の幼子がいる世帯は418,670世帯です（末子年齢による）。こ