2005年新春　終了番組評価

アニメ

http://www.planning-ai.com/~yuuki/special/index.htm

しつこくも再び。うちのサイトにもここから来ている人が何人かいて、なかなか嬉しかったり。

ところで、「評価点ランキング」。俺はこういう統計が大好きなので、平均点の90%信頼区間を計ってみました。90%信頼区間というのは、簡単に言うと「100回感想調査をやったとき、90回は平均点がこの範囲にくるだろう」という統計量です。例えば攻殻機動隊だと、100回のうち90回は平均点が「3.47」〜「4.36」の間にくるだろう、ということになります。ということは、当然、信頼区間が狭いほうが信頼性のある統計量ということになりますね。あと、下側の90%信頼区間を比較することで、「9割方は最低でもこれ以上の評価になるだろう」という結果がわかるので、ランキングとしてはかなり信頼できるんじゃないかなあ、って思います。

・・・あ、ランキング結果は転載OKなんですよね*1？もしダメだったら教えていただけるとありがたいです。

平均点 Top10

タイトル平均点90%(下)90%(上)
1攻殻機動隊　S.A.C.　2nd　GIG3.935393.473684.36364
2SDガンダムフォース3.769023.413794.10526
3Rozen　Maiden3.654573.494513.81609
4おジャ魔女どれみ　ナ・イ・ショ3.626323.083334.14286
5ぴちぴちピッチピュア3.5643.289473.83636
6モンキーターンV3.529513.275863.78261
7魔法少女リリカルなのは3.509873.294123.72603
8ふしぎの海のナディア（再）3.4423.166673.71053
9アークエとガッチンポー3.362553.1253.625
10吟遊黙示録マイネリーベ3.318632.857143.8

90%信頼区間(下側) Top10

タイトル平均点90%(下)90%(上)
3Rozen　Maiden3.654573.494513.81609
1攻殻機動隊　S.A.C.　2nd　GIG3.935393.473684.36364
2SDガンダムフォース3.769023.413794.10526
7魔法少女リリカルなのは3.509873.294123.72603
5ぴちぴちピッチピュア3.5643.289473.83636
6モンキーターンV3.529513.275863.78261
8ふしぎの海のナディア（再）3.4423.166673.71053
9アークエとガッチンポー3.362553.1253.625
4おジャ魔女どれみ　ナ・イ・ショ3.626323.083334.14286
12蒼穹のファフナー　Dead　Aggressor3.059942.892863.22892

90%信頼区間(上側) Top10

タイトル平均点90%(下)90%(上)
1攻殻機動隊　S.A.C.　2nd　GIG3.935393.473684.36364
4おジャ魔女どれみ　ナ・イ・ショ3.626323.083334.14286
2SDガンダムフォース3.769023.413794.10526
30Legend　of　DUO1.89504
5ぴちぴちピッチピュア3.5643.289473.83636
3Rozen　Maiden3.654573.494513.81609
10吟遊黙示録マイネリーベ3.318632.857143.8
6モンキーターンV3.529513.275863.78261
7魔法少女リリカルなのは3.509873.294123.72603
8ふしぎの海のナディア（再）3.4423.166673.71053

信頼区間の求め方について、簡単な解説↓

アルゴリズムについて

信頼区間は、bootstrap法でリサンプリングしたものからpecentile法で求めています・・・って、知らない人には何のことだか分からないような気がするので少し解説。bootstrap法の資料を読むと難しい式が色々出てきますが原理は非常に簡単。

例えば

1 2 2 3 3 4 5 (平均2.86)

というサンプルがあったとすると、これを等確率で同じ個数分リサンプリングします。すると

1 2 3 3 4 4 5 (平均3.14)

例えばこんなリサンプル結果が得られます。これを何回も繰り返すと、平均値の分布を得ることができます。こういうリサンプリング手法をbootstrapと呼びます(正確には、今回の手法はノンパラメトリック・ブートストラップ)。

pecentile法というのは、こうして求めた平均値をソートして、真ん中の何割か(90%信頼区間だったら真ん中90%)を取ってくる方法です。超簡単ですね。

計測プログラムについて

そんな感じで、超簡単なアルゴリズムなので実装も超簡単。トータル150行ぐらいのプログラムです。上のデータは、リサンプリングを10000回(10000回調査を行った場合のシミュレーション)にして実行しました。

乱数発生には、有名なMersenne Twisterを使ってます。
http://www.math.sci.hiroshima-u.ac.jp/~m-mat/MT/mt.html

あと、今回使ったソースはここにおいておきます。Mersenne TwisterにしたがってBSDライセンスにするので、改変、再配布ご自由にどうぞ。
http://www.geocities.jp/kobayashi01234/bs.zip

追記

無粋なことだけど、どうしても気になるので。
他のサイトでも、調査結果をいろいろ考察してるみたいで見てるととても面白い。面白いんだけど・・・。「母数」って標本数のことじゃないぞ！！「母数が少ない」って意味わからん。
http://plaza.umin.ac.jp/~ksnm/osem/1_2.html
「母数とは」でぐぐって一番最初に出るサイト。

母数とは母集団分布の様子を表す数値で、パラメータと呼ぶことがあります。ここで母集団とは、調べたい集団の全体を示します。

今回の場合だと、例えば評価のランキングは評価の平均値になってるわけで、中心極限定理によると平均値の分布は正規分布に従うはずで、とすると感想調査の母数は平均値が従う正規分布N(μ, σ^2)のパラメータμとσになるわけです。

追記２

ぐぐってみたけど、あまりにも誤用が多いので「ひょっとして俺が間違ってるのか？」と思えてきた。
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc013/169.html
今は見れないっぽいのでgoogleのキャッシュとかで見るしかないけど、

170.　Re: 標準偏差，最小母数の求め方?　　あき　　2001/03/29 (木) 19:37
> 標準偏差(+-3シグマ)の母数nによる信頼性についてです。
> 標準偏差は，計算上n=2にしても100にしても結果が出ますが，計った数によって値が少しずつ違ってきます。
> この標準偏差を利用し，あるdataの信頼性を決める場合，母数(n)による信頼値はどう変化していくのでしょうか?

質問への回答ではないのですが・・・。
上記で「母数n」とか「母数(n)」という表現をお使いですが，これはつまり，「標本の大きさ」(サンプルサイズ)のことではないですか?「母数」とは，すなわち「parameter」であり，母集団分布の特徴を表す(規定する)平均とか分散のような指標のことを言うんですよね。
間違っていたら，どなたかご指摘ください。
いえ，私の周りにも，分析対象となるアンケートの回収数を「母数」と言ったり，アンケートに回答した集団そのものを「母集団」と言ったりする人が多く，「それ，違うんじゃないかなー。」と思うことが多かったもので・・・。
あれ，私が間違ってます???

174.　Re^2: 標準偏差，最小母数の求め方?　　DISIR　　2001/03/30 (金) 13:50
> 質問への回答ではないのですが・・・。
> 上記で「母数n」とか「母数(n)」という表現をお使いですが，これはつまり，「標本の大きさ」(サンプルサイズ)のことではないですか?「母数」とは，すなわち「parameter」であり，母集団分布の特徴を表す(規定する)平均とか分散のような指標の

「母数」という言葉は3つぐらいの使われ方すると思います。
一つ目は母集団分布の特徴を表す「parameter」の場合，二つ目は変量に対する意味での母数（固定効果;fixed）」という使い方と，三つ目はサンプルの数，すなわち分母の数という意味で母数という使い方があるでしょうね。最後のは統計用語というより，品質管理の現場用語ですから，公の場で使うのことは問題があるかもしれませんね。

やはり統計学的には誤用みたいだね。まあ、厳密な統計を扱う場ならともかく、webの集計レベルではどうでもいい問題かな。「役不足」に突っ込むイタイ人みたいだし(「役者不足」なんて辞書にも載ってないような言葉を「正しい意味」とか言われてもねえ)・・・。

*1:厳密には転載ではなく、改変に近いと思います。平均点も転載ではなく、プログラムで計算したものです。当たり前ですが「改変OK」とは書いてなかったからなあ・・・。