最初の１年で読むべき本を考える 私の統計学の理解はまだまだ初歩レベルに留まっていますが、昨日飲んでる時に「初心者向けの統計の本ってどういうのが分かりやすいですか」というようなことを訊かれて、「俺に訊かれてもあまり参考には……」とか思う一方、まだ初歩レベルの位置にいる人間だからこそ言える「この本が分かりやすかったよ論」ってのもあるよなと思ったので、現時点での読書感想みたいなものをメモしておきます。一昨年、統計の勉強を始めた頃の自分にむかって書いてる感じです。 理系の人とか、ある程度統計の理解ができている人からみれば、「本質的な理解のためにはもっと難しい本がいいよ」ってなるかも知れませんが、「いやそんな難しいの勧められても独学のモチベーションが続かねーよ」っていう立場でまとめておきますｗ ここでは、 統計の勉強はしたことがなく、標準偏差とか言われても意味分からない プログラミングも全くわからな

（※はてなフォトライフの不具合で正しくない順番で画像が表示されている可能性があります） だいぶ前に「糞コードで頑張る機械学習シリーズ」と言うのを始めようとしたんですが、パーセプトロンをPythonで実装した次にMatlabで書いたSMO-SVMコードをPythonに移植しようと思っているうちに時間が過ぎ。。。 あまつさえ転職したら、今の現場にはライブラリ皆無でほぼ全ての機械学習のコードをPython / Java / C++のどれでも書ける化け物^H^H「教授」がいてそんなこと僕がやる必要性は完全になくなってしまったのでした（笑）。 ということで、カテゴリ名はそのまま*1ながら方向性を変えて、僕のようなパッケージやライブラリに依存するユーザーが機械学習を実践する際に原理上のどのような点に気を付けて実装・実践すべきかを、僕自身の備忘録のためにだらだらと書いていくシリーズにしてみようと思います

Julia ときどき R, Python によるコンピュータプログラム，コンピュータ・サイエンス，統計学 http://abrahamcow.hatenablog.com/entry/2014/09/11/024924 「時系列データの相関係数はあてにならない……のか？　教えて下さい」なんだけど... 私のコメントが気に触ることが多いようなのですが（特に悪意はないつもりなんですけど，すみませんね） 私は，経済学とか時系列についてはよく知らないのですが，「これは「見せかけの相関（擬似相関；spurious correlation）」の例だ」ということならば，偏相関係数を考えればよいのではないでしょうかね？？社会学などでは当たり前のように使われていると思うのですが。 > set.seed(1) > x = cumsum(rnorm(100)) > set.seed(2) > y = cumsu

「はじめてでもわかるRandomForest (ランダムフォレスト) 入門－集団学習による分類・予測 －」 －第７回データマイニング+WEB勉強会＠東京 濱田晃一 (hamadakoichi) Read less

先日の記事はおかげさまで好評をいただいたんですが、勉強中の身で教科書を確認せずに書いたこともあり多数ツッコミをいただきました。ツッコミをいただけるというのはもちろん大変良い勉強の機会になるということで*1、今回もひとしきり勉強してみました。 ということで、自戒も込めて備忘録的に勉強したことをまとめておこうと思います。今回はあまり広く読んでもらう内容ではないので、不親切かもしれませんがごめんなさい。ただし、あまりにも理論的側面ばかり色々書いても何なので、インターネット広告業界の言葉で喩えて言うなら「クリック数*2をモデリングしたい場合」と「コンバージョン数*3をモデリングしたい場合」とに分けた、と理解してもらえたら良いかなと思ってます。 今回も参考文献は久保本です。一般化線形モデルまわりではこの本より分かりやすい本は依然としてないと思います。 データ解析のための統計モデリング入門――一般化線

追記(2015/03/14) 第7章の決定木のところで取り上げた{mvpart}パッケージのサポートが切れ、CRANから削除されてしまったためinstall.packages関数ではインストールできなくなっています。現在のインストール方法を最後に追記しました。 追記(2014/09/18) 実はGoogleブックスで立ち読み可能です 拙著公式サポートページと相互リンクしています。サンプルデータと正誤表はこちらをご参照ください ということで、以下の通り拙著『手を動かしながら学ぶ　ビジネスに活かすデータマイニング』（技術評論社）が本日発売と相成りました（都内の大型書店では先週半ばから先行販売している模様です）。 手を動かしながら学ぶ ビジネスに活かすデータマイニング 作者: 尾崎隆出版社/メーカー: 技術評論社発売日: 2014/08/22メディア: 単行本（ソフトカバー）この商品を含むブログ

2. 目次  重回帰分析とは  二値データを用いた重回帰  二値データとの交互作用項を持つ重回帰  引用文献・推奨文献 2013/7/27 於 東京医科歯科大学 心理・医学系研究者のためのデータ解析環境Rによる統計研究会2 4. 重回帰分析 (Multiple Regression) とは  複数の変数と1つのアウトカムの関係性を評価する 統計手法 ※ 用語の統一  複数の変数 説明変数 (explanatory variable) 独立変数 (independent variable) Regressor  1つのアウトカム 基準変数 (criterion variable) 従属変数 (dependent variable) アウトカム (outcome) 2013/7/27 於 東京医科歯科大学 心理・医学系研究者のためのデータ解析環境Rによる統計研究会4

どのようなデータかまったく分からないので、一般的なことしか言えませんが、以下のようなことが一般的には言えます。 1. 45個も説明変数を考慮するのであれば、まずは多重共性性について十分注意する必要があります。 http://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/mreg6.html 多数の説明変数を扱う場合、この問題を考慮しないと致命的な過ちを犯してしまう可能性があります。この問題は、一般的な重回帰でも、ロジスティック回帰でも同じです。VIFなどを用いて、多重共線性の問題を排除する必要があると思います。 2. 階層性に注意する必要があります。 例えば、サンプリングデータがあるグループに分かれている場合、特にロジスティック回帰などでは過分散が生じる可能性が非常に高くなります。グループが少ない場合は、ダミー変数として説明変数に投入すること

今日は初心者向け記事です。 はじめに ある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。 身長に対する算数の点数のグラフは次のようになりました。 なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！ 身長が算数の能力に関係しているなんて、すごい発見です！ しかしながら、結論から言うと、この結果は間違っています。 なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。 年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。 この関係を図で表すと次のようになります。 つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。 このような相関を擬似相関と言います。 統計解析では、このような