「操作」などない 新聞社の実施する世論調査については以前から根強く「都合のいいように操作されている」という言説があります。 それなりに高額の費用と人手をかけて実施している世論調査を「操作」すれば、費用と仕事がすべて無駄になります。そんなことはありえません。 万能ではない そのうえで世論調査には多くの誤解があります。「操作されている」と信頼性を疑う意見の裏返しで、逆に万能だと思われている部分もあります。 あらゆる調査と同様、世論調査にも一定の限界があります。よく話題になる内閣支持率も調査方法や選択肢と離れて数字だけを見るべきではありません。たとえば、実施する報道機関が違えば選択肢や聞き方が異なるため、単純に数字だけで比較することはできません。 毎日新聞が定例で実施している全国電話世論調査では内閣支持率の選択肢は「支持する」「支持しない」「関心がない」の三つです。10月26、27日に実施した結

(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗

2016年06月07日 日本の産業分類別年収/労働時間ヒートマップ Tweet 厚生労働省は毎年産業分類別に賃金や労働時間の調査を行っている。10名以上の従業員を抱える5万余の民間事業所に対する調査をまとめたものであり、最新の調査結果は今年2月に公表された平成27年賃金構造基本統計調査だ。 そこで同調査にもとづき、産業分類別の年収、月間労働時間をヒートマップにしてみた。男性・女性の降順にソートしたバージョンも用意しているのでそちらも見て欲しい。サムネイルをみるだけで、男女に厳然とした差があることが一目瞭然だ。 産業分類別年収テーブル（男性ソート版・女性ソート版） 産業分類別月間労働時間テーブル（男性ソート版・女性ソート版） 産業別明細票 さらに産業分類ごとに調査結果を確認できる検索フォームも用意した。上部のプルダウンメニューを選択することで、所望の産業の給与/労働時間テーブルを参照すること

普通の女と結婚したい http://anond.hatelabo.jp/20150608235529 片親じゃなくて、親と仲が特別悪くなくて、大学を出ていて、おかしな経済感覚を持ってなくて、おかしな恋愛をしてきてなくて、簡単な料理と当たり前の掃除洗濯ができる女 高望みかのようにフルボッコにされるから不思議だ まずそれぞれの要素を書き出してみましょう。 1　片親ではない。 2　親との仲が悪くない。 3　大学を卒業している。 4　おかしな経済感覚ではない。 5　おかしな恋愛をしていない。 6　簡単な料理が出来る。 7　当たり前の掃除と洗濯ができる。 それぞれの要素と割合について 1）片親ではない。 片親世帯の全世帯に対する割合は1.63％ 父子・母子家庭数 [ 2010年第一位 沖縄県 ]｜新・都道府県別統計とランキングで見る県民性 [とどラン] http://todo-ran.com/t/k

対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-

お久しぶりです。林岳彦です。もうすぐ『愛なき世界』の日、いわゆる（マイブラッディ）バレンタインデーですね。何かと雑音が多いこの世界ですが、いつでも自分の足元を見つめて行きましょう。 さて。 今回は、以下の： そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 銀座で働くデータサイエンティストのブログ 統計学的検定に対するある拒絶反応: ニュースの社会科学的な裏側 A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT のあたりの皆様の良記事に触発されて「仮説検定」について何か書いてみようと思いました。で、書こうと思えば色々な側面から書ける気もするのですが、今回はちょっと斜めからのアプローチとして、「リスク分析の人の頭のなかで仮説検定はこんな感じに見えている」というところを書いていきたいと思います。 ここで、ひ

過疎化が進むに連れ、過疎地域における医師不足が社会問題としてスポットライトを当てられるようになった。また少子化の原因の一つに、産婦人科医・病院の減少によって、出産場所の確保が困難である現状を指摘する人も少なくない。それでは日本の医師数はどれほどで、どのような変化を遂げているのだろうか。今回は医療インフラを支えるさまざまな要素(救急車による搬送システム、病院施設、医師)のうち、医師数の動向について、厚生労働省の公開資料を基に現状の確認を行うことにする。 元データとして用いたのは厚生労働省の「医師・歯科医師・薬剤師調査」。これは2年おきに行われている調査で、現時点では2012年分のものが最新の値。この直近値において、「主たる診療科」で答えてもらった場合の医師数は次の通りとなる。 ↑ 医療施設従事医師数(主たる診療科名)(2012年)圧倒的な内科の多さ、整形外科の意外な多さが見て取れる。また、外

1. 2010.6.17国環研生物系若手セミナー＊ブログup用改変版＊ なぜベイズ統計は リスク分析に向いているのか？ ∼その哲学上および実用上の理由∼ (ver 2.0) 林岳彦 国立環境研究所環境リスク研究センター hayashi.takehiko@nies.go.jp

国内で禁煙運動が始まった’90年頃の男性について見ると、喫煙者の数は約3000万人。一方、肺がん死の数は5万人にも満たない。喫煙者のうちの肺がん死率は0.1％程度なのです。 長期的な喫煙と肺がんの関係性を示すには本来、喫煙者全体で見なければいけません。しかし、タバコ有害論者たちは、0.1％の肺がん死した喫煙者にばかり注目し、肺がん死していない大半の喫煙者は無視しています。 また、現在の喫煙者率は20％程度ですが、肺がん死の割合は7～8％。つまり約8万人へと増加しています。さらに女性については、喫煙率が10％台と大きく変動していないのに、肺がんはここ40年で5倍に増えています。 つまり、喫煙が肺がんの原因だとはいえないのです。喫煙によって肺がんになることを証明したデータは存在しません。逆に、喫煙者のほうが非喫煙者より自殺者が少ないというデータや、喫煙者のほうが風邪をひきにくいという統計データ

※4月4日注記　本文中事実関係に齟齬があったみたいです。コメント欄参照下さい。ゴメンナサイ。 ようやく終わりかけているようです。 http://headlines.yahoo.co.jp/hl?a=20130402-00000077-mai-soci 副作用としての間質性肺炎に罹患された患者様のご健康をお祈りし、また亡くなられた患者様におかれましてはまことにお悔やみ申し上げます。 以前も書いた*1ことがありますが、この件について、今後このような新薬副作用の大発生を起こさないようにするための私の考える提言をまた挙げたいと思います。一個追加したけど。この日記も以前より多少は注目が上がっているかもしれないし。 厚労省に承認申請をするような薬剤については、国内外での臨床試験の事前登録（http://www.umin.ac.jp/ctr/index-j.htm）を義務付けすべき。 ただ、海外のよく知

統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm

棒グラフ・線グラフ・円グラフという3種の近代的グラフを発明したウィリアム・プレイフェアという人物の伝記。何とも波瀾万丈な人生。 はじめに プレイフェアの3種のグラフ 棒グラフ、（折れ）線グラフ、円グラフ。現在、普通の社会生活を送っていて、これら3種類のグラフに触れない日はないだろう。新聞やニュース雑誌を開けば、きっとこれらのグラフのどれか1つが載っている。 実は、この3種類のグラフは、ある特定の個人によって発明されたものである。この人物とは、ウィリアム・プレイフェア(William Playfair, 1759-1823) である。彼はスコットランド人で、啓蒙の時代から産業革命の時代にかけて、技師をやったり、銀細工師になったり、経済学の研究をしたり、事業に失敗したり、フランス革命に参加したりしていた。要するに取るに足らない「冒険家」であった。しかし、この冒険家が、近代的グラフを発明するとい

最近Office Professionalを買ったので，近頃はもっぱらOfficeで遊んでいる．Officeはちょっとバグとか多くて難しいから，よく勉強をして早く初心者を脱出したい． で，ここ2〜3日はExcelからRを呼ぶ方法をいろいろ調べていた．やっぱVBAちょっとくらい勉強しないと駄目かなとか思い始めた頃，RExcelというExcelのアドインを見つけた(statconn)．これを使うと結構実用的なレベルでExcelとRを連携させられそう*1． RExcelのインストール まず，rscproxyとrcomの2つのパッケージをRから入れておく．下の二行はRExcelのインストール時にやれっていわれたからやった*2． install.packages("rscproxy") install.packages("rcom") library(rcom) comRegisterRegistr

以前、『若者の間で激増している「できちゃった婚」』という記事に[┃┃¨╋┓]タグを付けて放置していたのですが、今日、「社会実情データ実録」さんの「都道府県別のできちゃった婚比率」のデータを見て、せっかくなので検証してみました。 じつに理由もなく直感的なのですが、経済的な側面が高いと思われるので、まずはできちゃった婚比率のデータと県民所得を付きあわせてみました。 R2=0.544とまずまずです。 他にそれらしいものとして、失業率とあわせてみると、 いまいちです。 もうちょっとばっちりくるデータはないものかと漁って見ると、厚労省に学歴別、男女別の初任給のデータがあったので、とりあえず大卒女子あたりで見ると、 やっぱり、いまいちです。 しかし、ここで高卒女子の初任給でプロットすると、 おおお！ドンピシャです。特に異常値ぽかった沖縄（右端の点）が綺麗に載っているのは驚きです。 ちなみに高卒男子のプ

あ〜る菊池誠(反緊縮)公式 @kikumaco えーっとね、有意差の話は　「生物学を学ぶ人のための統計のはなし―きみにも出せる有意差」(粕谷英一、文一総合出版) 。これはなかなかいい本だと思います。これ読むと、他人の論文でやってるインチキがわかる(^^ 2011-11-03 22:08:45