先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食

厚労省の統計不正はどのように不正だったのか 統計学を使えば最小の費用で最大の効果が得られる調査方法がわかる 奥村晴彦　三重大学名誉教授・教育学部特任教授 国の統計不正が問題になっている。厚労省は2019年1月11日に「毎月勤労統計調査において全数調査するとしていたところを一部抽出調査で行っていたことについて」という文書を公開した。毎月勤労統計調査とは、「民間や官公営事業所の賃金、労働時間、雇用状況の変化を把握する目的で政府が実施する調査。統計法に基づき、国の重要な統計調査である基幹統計として、厚生労働省が実施・公表している」（日本大百科全書）ものである。そのどこが、どのように不正だったのか。統計処理の話に絞って解説したい。 平均給与が全体として低めになっていた この調査は、500人以上の事業所は全数調査、499人以下の事業所は一部を抽出して調査すると法律で定められている。ところが、東京都は

整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

余裕あるなあと思って内閣府のソースのサイトを拝見しました。 ｎ＝5,969であり、その8割は持ち家ありの人々でした。 https://t.co/r2uvfOgX8T 現在の生活に「満足」７４．７％ 過去最高に、内閣府調査（TB… https://t.co/iKJ31XGv0W

ちび @CHiBi_officiaI 『ウチの子は平均点より高いのにクラス内順位が真ん中より低いなんておかしい！平均点は真ん中の点！』 っていうアインシュタインもビックリな新理論を唱え続ける保護者の説得に20分以上かかってしまったから、大人に算数教えるの、小学生に教えるより難しいよラーメン食べてきた。 pic.twitter.com/V5elLuIZyA 2018-08-24 19:27:32 すくーでりあ🥀🌙✝🐢黒雷🐢✝ @kitten_scuderia ダメだ数字に弱い私は保護者の言うことに同意するしかないんだけど、要はその平均点は学年内なのかクラス内なのかにもよると思うし、平均点というのは、大体真ん中を示してると思うんだけど、平均点より近い数字であれば当然この保護者の主張はひっくり返る可能性が高まる。これどう解釈すればいいの？ twitter.com/CHiBi_offici

比較的読みやすい本を中心に紹介します。今後は毎年このページを更新します。 微分積分 高校数学をきちんとやっておけばそんなに困ることないような。偏微分とテイラー展開は大学演習のような本でしっかりやっておきましょう。ラグランジュの未定乗数法のような、統計・機械学習で必要になる部分は、ネット等で学べばいいかなと思っています。 線形代数 tensorflowなどのおかげで順伝播部分（行列積および行列とベクトルの積）さえ書ければ線形代数の知識はそこまでいらないんじゃないかという流れを感じます。しかし、主成分分析やトピックモデルなどの行列分解や、ガウス過程などのカーネル法のような様々なデータ解析の手法に一歩踏み込むと、きちんとした勉強が必要になります。理解しやすくて使いやすくて、統計や機械学習への応用を主眼においた線形代数の本はまだ見たことないです。機械学習シリーズとかで基礎から「The Matrix

サッカーくじの「ＢＩＧ」を今月購入した男性が、「２回に分けて買った複数のくじの数字の並びが全く同じだった」とツイッターに画像つきで投稿し、「ありえない確率だ」などと話題になっています。 運営側が、「システムの不具合や不正はない」と公式に発表する事態になりましたが、システムのミスなどは無かったと言えるのか。「原因」は明らかになるのか。統計学の専門家と検証します。 窓口などで発行されるくじの券には１４桁の数字がランダムに並んでおり、この数字が実際の１４試合の結果と一致すれば、最高で６億円が支払われます。 この「ＢＩＧ」を、今月、２回に分けて計１５口分購入したという人が、「最初に購入した５口分と、あとで購入した１０口分のうちの５口分の数字の並びが全く同じだった」とツイッターに画像つきで投稿しました。 この投稿について、「何らかの不正があったのでは」とか「システムの不具合では」といった投稿が相次い

本連載では、統計データの動きを独自に整理、グラフ化することによって、意外な社会の動きやわが国の状況を追って行きたいと考えている。もっとも堅苦しいものではなく、趣味的な個人の嗜好も含めたざっくばらんなものとしたい。体系的な思想というよりエッセイ形式で人間習俗（モラル）を観察したモラリストの伝統に連なれればと考え、連載タイトルにエッセイという用語を含めた。

「数え上げること」で 真実を観察する統計の醍醐味 統計とは数え上げることである。なぜ数え上げなければならないかと言うと、「統治の必要」からと「真実を観察するため」という2つの理由がある。 統治の必要とは、例えば、豊臣秀吉が全国的に行ったように、大名の領地の石高を検地で正しく数え上げ、これを元にして、大名への出兵要請、大名の格付けを行う石高制という政治制度をつくるというようなことである。統計の発生を考えるとこちらの理由の方が先である。現代でも、形を変えて統治の手段としての側面は生きているが、最近は、観察手段としての統計の方が大きくクローズアップされている。 統計がどうして観察の手段として有用かというと、小さいものを観察するためには顕微鏡が必要であり、遠くのものを観察するためには望遠鏡が必要なのと同様に、たくさんのものを観察するためには数え上げるしかないからである。数え上げる前の漠然とした印象

リンク Wikipedia Gregor Mendel Gregor Johann Mendel (Czech: Řehoř Jan Mendel; 20 July 1822 – 6 January 1884) (English: ) was a scientist, Augustinian friar and abbot of St. Thomas' Abbey in Brno, Margraviate of Moravia. Mendel was born in a German-speaking family in the Silesian part 浅学俊郎 @sengakut メンデルに掛けられた捏造実験疑惑に対するたいへん興味深い考察。法則を見つける経過についても面白い。勉強になりました。 メンデルにおける「仮説と実験」 www008.upp.so-net.ne.jp/take

名古屋市が公費で実施した子宮頸がんワクチンアンケート調査の公表済み速報結果を引っ込め、生データだけをPDFで公表したもののそれ以上の解析はせず結果も出さないと言明。このデータを変換して再解析しようするネット上の動きを追いました。新情報は随時追加予定です。 名古屋市ウェブサイトから削除された速報結果のアーカイブ https://web.archive.org/web/20151223190255/http://www.city.nagoya.jp/kenkofukushi/cmsfiles/contents/0000073/73419/sokuhou.pdf 名古屋市ウェブサイトのデータ公表コーナー（2017年2月1日現在こちらに移転） http://www.city.nagoya.jp/kenkofukushi/page/0000088972.html 続きを読む

市場調査の結果など、客観的な統計データがあると企画書やプレゼン資料の信頼感がぐっとアップしますよね。 しかし、統計データを企画書やプレゼンの資料として使いたいと思っても、個人でできる調査には限りがありますし、本格的に調査するとそれなりに費用や時間がかかるのがネックです。 実はネット上には無料で統計データを公開しているサイトがあるので、企画書やプレゼンのテーマに沿った資料が手に入るなら活用しない手はありません。 無料で統計データが閲覧できるサイトを11個まとめましたので、企画書やプレゼンの資料に活用してみてはいかがでしょう。 ①総務省統計局 出典 http://www.stat.go.jp/index.htm 統計データといえば総務省統計局です。 国勢調査、人口推計、住宅・土地統計調査、家計調査、全国消費実態調査、小売物価統計調査、労働力調査などなど、さまざまな統計データを無料で閲覧できます

2023/02/06追記: slideshareが非常に使いづらくなってしまったため、speakerdeckに転載しました。 https://speakerdeck.com/masaha03/hazimeteno-r 補足記事を書きました。併せてご覧ください。http://m884.hateblo.jp/entry/2012/12/03/232431

学生に毎年同じ説明をするのを回避するために，表計算やワープロ，プレゼンテーション，心理統計の基礎と簡単な検定方法，実験機材の使い方などを解説しています．研究費の有効活用と貧乏学生の応援および日本円の海外流出防止のため，オープンソースやフリーソフトを中心に解説しています．リクエストも受け付けます．再配布などはご自由...

a <- round(rnorm(30, mean=170, sd=5), 1) a [1] 173.0 168.6 168.5 164.2 167.3 170.6 162.7 168.0 170.8 [10] 175.7 166.0 166.5 162.4 172.6 170.1 170.2 164.2 167.1 [19] 163.8 163.4 168.1 168.7 171.1 164.6 166.3 177.0 170.0 [28] 173.3 170.7 169.0 このaに対して、度数分布表を作りたい。 質的データ（カテゴリカルデータ）なら、table関数を使って度数を集計できるのですが、量的データに対してtableを使うと、↓こんな感じになってしまいます。 table(a) a 162.4 162.7 163.4 163.8 164.2 164.6 166 166.3 16

ソフトウェア開発の原点は可能性の追求であり、不可能を可能にすることです。ひとたび ソフトウェア が開発されると、エンジニアは次に 程度 という課題に向き合うことになります。企業向けのソフトウェアであれば、「速度はどれくらいか」と頻繁に問われ、「信頼性はどの程度か」という点が重視されます。 ソフトウェアのパフォーマンスに関する質問に答え、さらには正しい内容を語る上で欠かせないのが統計学です。 とはいえ、統計学について多くを語れる開発者はそうはいません。まさに数学と同じで、一般的なプロジェクトで統計学が話題に上ることなどないのです。では、新規にコーディングをしたり、古いコードのメンテナンスをしたりする合間に、手が空くのは誰でしょうか？ エンジニアの方は、ぜひ時間を作ってください。近頃は、15分でも貴重な時間と言えるでしょうから、 こちらの記事をブックマークに追加 しておいてもいいでしょう。とに

以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p

日本出版学会春季研究発表会（2015年）発表資料（完成版）です。公開まで時間がかかったことをお詫びします。