Ｑ．なぜ分散は、単純な差（偏差の絶対値）ではなく、差の２乗を計算するのか？ Ａ．分散を最も小さくする点が平均値だから。（単純な差を最も小さくする点は中央値となる。） “分散”というキーワードは統計学の基礎中の基礎であり、どんな教科書にも“平均”の次くらいに載っていることがらです。 しかしながら、いきなり登場する“分散”の意味が分からず、統計学の入り口で挫折する人は少なくありません。 偏差の２乗の平均、つまり、各値と平均との差の２乗の平均を分散といい、 分散の平方根の正の方を標準偏差という。 統計で、ちらばりを表すものとして、標準偏差や分散が多く用いられる。 -- 高校の教科書（啓林館）より. 教科書にはこのように書かれているのですが、これで分かった気になるでしょうか。 ・なぜ、差の２乗を計算するのか？ ・差そのものであってはいけないのか？ ・なぜ、分散と標準偏差の２種類があるのか？ 最後の

交互作用の可視化 心理学（に限らないが）で分散分析を行う場合に、交互作用を可視化することなどを目的として、折れ線のグラフが作られることがありますよね。 主に２要因の場合で、水準数もさほど多くないときに、第１の要因をX軸に、第２の要因は線の種類でかき分けて、Y軸に各群の従属変数の平均値を取る。 こんな感じで。 （出典：7.3 交互作用とは?より。） 線の傾きが違えば、交互作用があるってことです。 これ非常によく見かける図ですが、Rでどうやって作図すれば良いか、パッとはわからなかった。 何か良いパッケージがあるのかもしれないけど調べるのもめんどうなので、以下のようにx軸に配置したい要因の各水準にダミーで数字を当ててムリヤリ折れ線グラフとして描いてみた。 作図 たとえば英語の点数（平均）が、 というような結果になっているとする。 男性より女性のほうが成績がよく、かつ理系より文系のほうが成績が良い

cyborg0012さんによる「韓国ではスクリーニングブームが始まった2000年前後から年齢調整死亡率が低下している」という主張が正しくないことを指摘するために、前回のエントリー（■韓国において、1997年から2011年にかけて、甲状腺がんによる死亡率は低下したとは言えない）を書いた。これをわかりやすく一枚の図にまとめてみた*1。 韓国における男性の甲状腺がんの年齢調整死亡率の年次推移からは「2000年前後から年齢調整死亡率が低下している」とは言えない Y. M. Choi(2014)*2においては、5年おきのデータしか提示されていなかったので、「2000年から2010年にかけて死亡率が低下した」と誤って解釈してしまうのは仕方がない。しかし、こうして毎年度のデータを提示することで、少なくとも「韓国では2000年前後から年齢調整死亡率が低下している」という主張は取り下げていただけるものと期待

このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学

こんばんは。最近めっぽう暑くて困ってしまいますね。 暑いといえば、こないだの大阪都構想選挙は予想以上にアツい戦いとなりましたね。関係者でもないのに、ハラハラしながら見てしまいました。ところで、開票速報を見ていて、いきなり『多数確実』と表示されてびっくりしたのは、わたしだけではないかと思います。 こんなに接戦な上に、どうして残り19%も未開票なのに、多数確実なんだろう？ヽ(`Д´)ﾉ　と思われた方も多いのでは無いでしょうか？？ そこで、今回はいわゆる『当選確実』がどのように出るのかについて、考えてみました。 『当選確実』の統計学 開票速報を行い、投票数の50%を取れば、他の票全てが反対側に回っても結果が覆ることは無いため、『当選確定』と言えます。一方、『当選確実』はこれまでのデータから、他の票数の動きを予想しても『ほぼ間違い無いでしょう』といえる状態です。 統計の世界では、『少ないサンプルか

科学において統計がいかに正しく使われていないかを説明した本 Statistics Done Wrong: The Woefully Complete Guide について紹介する。 科学の世界の「ダメな統計学」 現代の科学は、統計と切っても切り離せない関係にある。多くの場合、科学者は、仮説を立てた上で、実験や調査でデータを集め、そのデータに対して統計処理を行うことで、自分の仮説が妥当かどうかを判断していく。統計がなくては自分の仮説が妥当かどうかを判断できない。判断できなければ、科学者は自分の主張を一切述べられなくなってしまう。つまり、統計を使わなければ、科学者は仕事にならないのである。統計は科学者にとって重要なのだ。 統計が重要なのだから、科学者は統計についてしっかりとした知識を持っていると思う人も少なくないだろう。また、ほとんどの科学者が正確に統計処理を行っていると思う人も少なくないだろ

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

『ダメな統計学』表紙 現在の科学研究において統計が誤用されていることが非常に多く、そのために科学研究の信頼性が揺らいでいることを記した『ダメな統計学』の冊子PDFを公開する。これは、アレックス・ラインハート氏が書いたStatistics Done Wrongの全訳である。理解を深めるために、訳注を比較的豊富に加えた。 2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』の冊子PDFに比べると、大幅に加筆されている。ページ数で言うと2倍以上になっている。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 『ダメな統計学

統計についてほとんど何も知らない人が読むべき本としては『マンガでわかる統計学』が一番のおすすめである。 『マンガでわかる統計学』 「統計って、今まで全然勉強したことはないけれども、将来必要になるかもしれないから、勉強してみようかな」とか、「統計を勉強してみたいとは思ってるんだけど、何から始めれば良いか見当がつかないんだよね」と思っている人は少なくないと思う。こうした人、すなわち統計学についてほとんど何も知らない人は何を使って勉強し始めれば良いのだろうか。 こうした初心者は、まず入門として『マンガでわかる統計学』という本を読むのが良いと私は考えている。この本は、統計に関する知識がほとんどない人にとって、わかりやすく、そして取り組みやすい本だ。 高橋信. (2004). 『マンガでわかる統計学』 東京：オーム社． この『マンガでわかる統計学』という本は、統計について特に何も知らない女子高生のル

2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と

石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標本サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトＲのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」（名大の授業） 講義資料 (PDF) ーーー はじめに　石井秀宗 この冊子は，心理学や教育学の研究でよく用いられる統計手法に関して，統計解

赤ちゃんに保湿剤を塗るとアトピー性皮膚炎が減るらしい。 赤ちゃんに毎日保湿剤 アトピー減 生後まもない赤ちゃんの皮膚に保湿剤を毎日塗ると、アトピー性皮膚炎になるリスクを30%減らすことができたとする研究成果を、国立成育医療研究センターのグループが発表しました。 特定の方法にアトピー性皮膚炎の予防効果があると証明できたのは、これが初めてだということです。 この研究を行ったのは、国立成育医療研究センターの斎藤博久副研究所長らのグループです。 グループでは、アトピー性皮膚炎になった家族が1人以上いる、生後まもない赤ちゃん118人を無作為に半分に分けました。 そして、一方のグループの赤ちゃんには、一般の薬局などで売られている保湿剤を毎日、全身に塗り、もう一方のグループでは皮膚の乾燥している部分にのみワセリンを塗りました。 そして8か月後に調べたところ、保湿剤を塗った赤ちゃんのグループでは19人がア

最初の１年で読むべき本を考える 私の統計学の理解はまだまだ初歩レベルに留まっていますが、昨日飲んでる時に「初心者向けの統計の本ってどういうのが分かりやすいですか」というようなことを訊かれて、「俺に訊かれてもあまり参考には……」とか思う一方、まだ初歩レベルの位置にいる人間だからこそ言える「この本が分かりやすかったよ論」ってのもあるよなと思ったので、現時点での読書感想みたいなものをメモしておきます。一昨年、統計の勉強を始めた頃の自分にむかって書いてる感じです。 理系の人とか、ある程度統計の理解ができている人からみれば、「本質的な理解のためにはもっと難しい本がいいよ」ってなるかも知れませんが、「いやそんな難しいの勧められても独学のモチベーションが続かねーよ」っていう立場でまとめておきますｗ ここでは、 統計の勉強はしたことがなく、標準偏差とか言われても意味分からない プログラミングも全くわからな

平均寿命とは？「死亡する年齢の平均」は間違い【平均寿命の定義とは？】世界的に見ても高いといわれる日本人の平均寿命。厚生労働省から発表されてよく報道されるためか、一般的にもなじみがある統計値だと思います。しかし一方で、算出法や意味はあまり知られておらず、間違った捉え方をしている人が多いようです。平均寿命とは何か、情報のウソ・ホントを解説します。 人口統計の一つに、「生命表(life table)」というものがあります。意外かもしれませんが、皆さんがよく耳にする「平均寿命」というものは、この生命表の中で基本となる数値（関数）ではありません。 100人の死亡した年齢を足して100で割った数値、というような単純なものではないからです。 なぜ人口統計の生命表から切り離されて、「平均寿命」という用語が独り歩きするようになってしまったのでしょうか？ 一つには、直感的に判った気分になれる言葉だからだと思い

総務省が16日に発表した2013年の家計調査報告によると、2人以上世帯の平均貯蓄額は1739万円に上りました。「みんな、そんなに持っているの？」と驚いた人も少なくなかったようです。消費税率も4月から上がり、生活に四苦八苦する人が少なくない中、「この数字は実態を反映していない」という意見があります。実際はどうなのでしょうか。詳しいデータの中身を見ると、実は「100万円未満」の割合が目立って高かったのです。なのに、どうして1739万円という数字が出るのでしょうか？ そもそも、家計調査とは何か。これは国民すべてを対象にしたものではありません。サンプルを抽出した標本調査です。調査数は、全体で約9000世帯。うち、単身世帯を除くと、2人以上の世帯は約8000世帯です。 そして調べ方です。家計調査は調べる項目によっては調査員が直接、質問するものもありますが、貯蓄については調査票に記入して出してもらうこ

前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで（笑）。 ところで、昨年秋に比べると「これから統計学・機械学習について学びたい！」という人たちの動機が変わってきているような気がしなくもないんですね。以前は主に「エンジニアでこれからデータ分析について学びたい」という層が多かったんですが、最近になって「営業や企画をやっているんだけど数字を見る際にデータ分析とか知っていると良いことがありそう」という層が増えてきているように見聞します*1。 そういう意味で言うと「エンジニア向けの本を推薦するのが必ずしもベストとは限らない」という側面もありそうなんですが、それは次回までの宿題ということで、今回も基本的にはエンジニア向けの本を一旦揃えてみ

googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているようです。またIBMは分析ができる人材を4,000人増やすと言っています（同記事）。しかし分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよく聞きます。それに機械学習系の本は最近増えてきましたが、統計学自体が基礎から学べる本はまだあまり見かけないです。 そこで今回は、統計学を初めて勉強するときに知っておいた方が良い10ポイントを紹介したいと思います。 1. 同じ手法なのに違う呼び名が付いている 別の人が違う分野で提案した手法が、実は全く同じだったということがあります。良く聞くのは、数量化理論や分散分析についてです。 数量化理論 数量化I類 = ダミー変数による線形回帰 数量化II類 = ダミー変数による判別分析 数量化III類 =