単純な集計とデータサイエンスによる分析とで結果が食い違うかもしれない3ケース

一般に、データ分析の大半はそれほど高度なテクニックの類を必要としないものです。僕も常日頃から口に出して言うことが多いんですが、「統計学だの機械学習だのの出番なんてそもそも少なくて当たり前」。工数もかかるし、できればやらない方が良いです。ぶっちゃけ単純な四則演算で十分なケースの方が多数派でしょう。

なので、普段はDB上でSQL（というかHiveなど）でサクッと四則演算だけで集計処理を済ませてしまって、その結果だけを表示するようにしておいた方が圧倒的に楽で手っ取り早いはず。多くのBIツールもそういう考えのもとで作られていると思います。

ところがどっこい。世の中には、単純な四則演算での集計結果と、データサイエンスを駆使した分析結果とで、食い違ってしまうケースが何故かあることが知られています。どちらかと言うとレアケースだとは思いますが、その矛盾をおざなりにするととんでもないことになることも多々ありますので、今回はそのうちのごくごく一部について「どんな事例」で「どうして矛盾が起きるのか」を書いてみます。

（※続編があります→「なぜ項目ごとに単純な集計をするより、多変量解析（重回帰分析）をした方が正確な結果を返すのか」）

「組み合わせ」が強く影響しているケース

本編

GitHubにサンプルデータを上げておきました。手作りのサンプルデータなので結果が微妙かもですが*1、そこは予めご了承を。。。Rで演習しながら読み進めるという方は必要なRパッケージとして{randomForest}, {arules}, {arulesViz}*2をインストールして下さい。

イメージとしては、何かのECサイトでの行動ログ。a1からa7がユーザー行動の有無を0 or 1で記録したもので、cvがコンバージョンの有無（Yesなら有り・Noなら無し）。適当に作ったので、CVRはぴったり50%です。そこでCVの有無によってそれぞれのユーザー行動の有無のパーセンテージを集計してみると、

a1	a2	a3	a4	a5	a6	a7	CV
40.1%	58.3%	47.9%	94.2%	30.7%	5.6%	50.0%	No
60.5%	41.7%	49.4%	43.6%	68.4%	92.7%	49.3%	Yes

という感じで、どの指標がCVRに効いているかが大体分かります。例えばa6はCV = "Yes"の側に寄せるのにものすごく貢献しているなぁとか、a4は逆にCV = "No"の側に寄せるのに強く貢献しているらしいとか。ごくごくわずかな差*3ではありますが、a7はCV = "No"の側に寄せるのに貢献していると言えそうですね。

ところで、この形のデータは普通に例えばGLMとか機械学習の諸手法とかにかけることができます。とりあえずRでGLMやってみましょう。CVの有無という二値データなので*4、family="binomial"で計算してみると

# サンプルデータは"sample_d"というデータフレームに入れてあるものとする

> sample_d.glm<-glm(cv~.,sample_d,family="binomial")
> summary(sample_d.glm)

Call:
glm(formula = cv ~ ., family = "binomial", data = sample_d)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-3.6404  -0.2242  -0.0358   0.2162   3.1418  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept) -1.37793    0.25979  -5.304 1.13e-07 ***
a1           1.05846    0.17344   6.103 1.04e-09 ***
a2          -0.54914    0.16752  -3.278  0.00105 ** 
a3           0.12035    0.16803   0.716  0.47386    
a4          -3.00110    0.21653 -13.860  < 2e-16 ***
a5           1.53098    0.17349   8.824  < 2e-16 ***
a6           5.33547    0.19191  27.802  < 2e-16 ***
a7           0.07811    0.16725   0.467  0.64048 # ←コレだよコレ！！！    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 4158.9  on 2999  degrees of freedom
Residual deviance: 1044.4  on 2992  degrees of freedom
AIC: 1060.4

Number of Fisher Scoring iterations: 7

あれ？a7はクロス集計したパーセンテージだとCV = "No"に寄せるのに貢献しているはずなのに、GLMの結果はCV = "Yes"に寄せるのに貢献している「傾向」*5があるかも、という結果になってます。つまり、クロス集計しただけの結果とGLMの結果とが矛盾しているということです。有意な値ではないのでどうでもいいと言えばそれまでですが。。。

気になったので、一応Random Forestで変数重要度をチェックしてみます。

> tuneRF(sample_d[,-8],sample_d[,8],doBest=T) # 一応グリッドサーチでチューニング
mtry = 2  OOB error = 6.67% 
Searching left ...
mtry = 1 	OOB error = 8.6% 
-0.29 0.05 
Searching right ...
mtry = 4 	OOB error = 6.63% 
0.005 0.05 

Call:
 randomForest(x = x, y = y, mtry = res[which.min(res[, 2]), 1]) 
               Type of random forest: classification
                     Number of trees: 500
No. of variables tried at each split: 4

        OOB estimate of  error rate: 6.37%
Confusion matrix:
      No  Yes class.error
No  1391  109  0.07266667
Yes   82 1418  0.05466667
> sample_d.rf<-randomForest(cv~.,sample_d,mtry=4)
> importance(sample_d.rf)
   MeanDecreaseGini
a1        18.593800
a2        10.052819
a3         6.983980
a4       189.841509
a5        52.050336
a6       956.140215
a7         8.536062 # ←コイツです

さすがにa7の変数重要度はそれほど大きくないですが、それでも最下位のa3よりはわずかながら大きいですね。もし、クライアントから「とにかくa1-a7の全てにそれぞれCVを増やすor減らす効果があるか教えてくれ」と言われたら、困ってしまうケースです*6。

何故こんなことが起きるんでしょうか？　これを確かめるためにアソシエーション分析（バスケット分析）にかけてみました*7。その結果を{arulesViz}のグラフ構造プロットで可視化し、なおかつそのグラフ描画アルゴリズムを「類似しているものはより近いところに配置される」Fruchterman-Reingoldアルゴリズムに設定するとこうなります。

この図からはcv_yesもしくはcv_noからの距離に基づいてそれぞれのCVへの貢献度の強弱が見て取れます。これを上のGLM & Random Forestの結果と見比べると・・・そう、例えばa6がCV = "Yes"に強く貢献しているとかa4がCV = "No"に強く貢献しているというように一致している部分もあるんですが、問題は例のa7です。a7の位置はcv_yesに比較的近い位置、そしてa6にやや近い位置にあります。

実は、このサンプルデータを作る時に僕はあえてCV= "Yes"となるケースの一部に限ってa7をa6と強く相関するように細工しておきました。すなわち、データの中には「a6 & a7」という組み合わせがCV = "Yes"と強く関連するケースが一部ながら混じっていたというわけです。

それが「クロス集計したパーセンテージの大小で見るとa7はCV = "No"により強く貢献しているのに、データサイエンスの諸手法を用いると実はCV = "Yes"により強く貢献していることになる」という結果につながったんですねー。

というオチなんですが、これが実際のデータ分析の現場だったらかなり悩ましいシチュエーションですね。どうしても何かしらのレポートを出さなきゃいけないということであれば、僕なら「a7はa6との組み合わせにおいてのみCVR増に貢献していると考えられるので、a7はa6との間にどういう関係性があるのかをもっと細かく調べるべき」と答えることになると思います。ま、自分の仕事を増やすだけになりますが（笑）。

なお、今回のサンプルデータではサンプルサイズが3000と小さかったのでa7のような矛盾する結果を見せる変数の回帰係数がGLMでは有意になっていませんでしたが、もっとサンプルサイズが馬鹿でかい場合はa7のように矛盾する結果を見せる上にさらに統計学的に有意というデータサイエンス分析結果になることが全く珍しくないので、注意が必要です。

ツッコミをいただきました

裏先生から以下のごとく。

• 基礎をしっかり - 裏RjpWiki

多変量解析では，他の変数も同時に影響を与えると考える訳であるから，逆に a7 と cv の「正味の相関関係」を知りたいならばどうするか。偏相関係数でしょう。

	a1	a2	a3	a4	a5	a6	a7
a2	-0.027
a3	-0.005	0.003
a4	-0.005	0.012	0.019
a5	0.027	-0.007	-0.025	0.015
a6	-0.031	-0.013	0.018	-0.020	0.015
a7	0.006	-0.029	-0.031	0.007	-0.003	-0.011
cv	0.112	-0.059	0.003	-0.284	0.176	0.807	0.006

a1 ～ a6 の影響を取り除いた a7 と cv の偏相関係数は 0.006 ということです。

単相関係数は -0.007 と負の値であったけど，偏相関係数は正の値です。

ロジットモデルは重回帰分析とは違うけど，偏相関関係をあきらかにするという点では同じ。そもそも，ロジットモデルにしろ重回帰モデルにしろ，独立変数に掛けられる係数は「偏回帰係数」であって，それは偏相関係数の「偏」と同じ。つまり，他の変数の影響を取り除いて，その変数に掛ける重みということ。相関係数を評価するというのは，従属変数を独立変数1個で単回帰（直線回帰）するというのと同じ（数学的に等価）。

単純な分析で総合的な分析（多変量解析）の結果は予測できないということ。

「何故かある」のではなく，「必然的にある」。ごくたまに単純な分析結果から予想した結果が総合的な結果と一致することもあるのだが。

まことに仰る通りです*8。というか、何故ここで僕は真っ先に偏相関係数を考えなかったのか。これなら時間と手間のかかるアソシエーション分析やる必要全くないですね*9。学部1年生に戻ってやり直してきます。。。

ということで、自分の勉強のためにR上で手を動かしてみました。全部組んでもいいんですが、手間なので{ppcor}パッケージをインストールして使いました。

# sample_d$cvを0 or 1にas.numeric()などで変換しておく

> pcor(sample_d2)
$estimate
             a1           a2           a3           a4           a5
a1  1.000000000 -0.027097667 -0.004665751 -0.005058604  0.026653584
a2 -0.027097667  1.000000000  0.003302999  0.011735712 -0.007277052
a3 -0.004665751  0.003302999  1.000000000  0.019140545 -0.025398517
a4 -0.005058604  0.011735712  0.019140545  1.000000000  0.014636602
a5  0.026653584 -0.007277052 -0.025398517  0.014636602  1.000000000
a6 -0.030659270 -0.013304820  0.018187916 -0.020112145  0.015498244
a7  0.006356354 -0.028772727 -0.030596755  0.007394668 -0.002781801
cv  0.111647484 -0.058979223  0.002985735 -0.284084473  0.175562475
            a6           a7           cv
a1 -0.03065927  0.006356354  0.111647484
a2 -0.01330482 -0.028772727 -0.058979223
a3  0.01818792 -0.030596755  0.002985735
a4 -0.02011215  0.007394668 -0.284084473
a5  0.01549824 -0.002781801  0.175562475
a6  1.00000000 -0.010926019  0.807244783
a7 -0.01092602  1.000000000  0.005953911
cv  0.80724478  0.005953911  1.000000000 # ←ココがご指摘をいただいた箇所

$p.value
             a1          a2         a3           a4           a5
a1 0.000000e+00 0.138136964 0.79855664 7.820066e-01 1.447173e-01
a2 1.381370e-01 0.000000000 0.85662479 5.208875e-01 6.905865e-01
a3 7.985566e-01 0.856624786 0.00000000 2.950240e-01 1.646120e-01
a4 7.820066e-01 0.520887465 0.29502400 0.000000e+00 4.233077e-01
a5 1.447173e-01 0.690586496 0.16461200 4.233077e-01 0.000000e+00
a6 9.338115e-02 0.466719422 0.31972235 2.711839e-01 3.965254e-01
a7 7.280697e-01 0.115372742 0.09405176 6.858500e-01 8.790585e-01
cv 7.973833e-10 0.001230386 0.87026806 4.505601e-59 1.762439e-22
           a6         a7           cv
a1 0.09338115 0.72806975 7.973833e-10
a2 0.46671942 0.11537274 1.230386e-03
a3 0.31972235 0.09405176 8.702681e-01
a4 0.27118386 0.68584999 4.505601e-59
a5 0.39652541 0.87905852 1.762439e-22
a6 0.00000000 0.55005353 0.000000e+00
a7 0.55005353 0.00000000 7.446666e-01
cv 0.00000000 0.74466664 0.000000e+00

$statistic
           a1         a2         a3          a4         a5         a6
a1  0.0000000 -1.4827646 -0.2552155  -0.2767050  1.4584473 -1.6778256
a2 -1.4827646  0.0000000  0.1806723   0.6419780 -0.3980593 -0.7278271
a3 -0.2552155  0.1806723  0.0000000   1.0471639 -1.3897263  0.9950286
a4 -0.2767050  0.6419780  1.0471639   0.0000000  0.8006959 -1.1003404
a5  1.4584473 -0.3980593 -1.3897263   0.8006959  0.0000000  0.8478430
a6 -1.6778256 -0.7278271  0.9950286  -1.1003404  0.8478430  0.0000000
a7  0.3476943 -1.5744964 -1.6744013   0.4044933 -0.1521628 -0.5976799
cv  6.1454476 -3.2317408  0.1633180 -16.2069243  9.7546290 74.8125538
           a7          cv
a1  0.3476943   6.1454476
a2 -1.5744964  -3.2317408
a3 -1.6744013   0.1633180
a4  0.4044933 -16.2069243
a5 -0.1521628   9.7546290
a6 -0.5976799  74.8125538
a7  0.0000000   0.3256798
cv  0.3256798   0.0000000

$n
[1] 3000

$gp
[1] 6

$method
[1] "pearson"

確かにa7とcvの偏相関係数は0.006で「正」の値になっていて、元の単相関係数の-0.007とは異なりCV = "Yes"に寄与しているということが分かりました。

ということで、ご指摘を受けて補足。多変量解析をやる時は偏相関係数にも注意（そして交互作用も）。裏先生、ご指摘ありがとうございました。

「率」を扱っているのに分母が変動しているケース

これは以前の記事（「カイゼンしたらコンバージョン率が○○%→△△%にup!」は分母を無視したら成り立たないかもしれない）でも取り上げた「CVRだけを計算しても意味があるかどうか」談義と同じケースですね。

つまり、ある課金を伴うゲームイベント（これをコンバージョンとする）の導線を改善したいと思って、従来の古いイベント導線に加えて新しく別のイベント導線を追加したとして、以下のような2×2の表を作って*10、

	課金した	課金しなかった
新イベント導線	5	2
旧イベント導線	150	140

さらにこれを以下のように解釈するとか。

	課金した	課金しなかった	課金率
新イベント導線	5	2	71%
旧イベント導線	150	140	52%

「新しいイベント導線の方が課金率71%！だから絶対新しいイベント導線の方が売上を伸ばせるから全面的に切り替えよう！」とか喜んでしまったら*11、いくら何でもまずいのでは？というお話ですね。

これまた以前の記事でも紹介しましたが、こういうケースでは独立性のカイ二乗検定orフィッシャーの正確確率検定を用いて*12、分母が違うことによる影響も加味した上でCVRに変化があったかどうかをチェックするのが筋でしょう。

> x=matrix(c(5,2,150,140),ncol=2,byrow=T)
> print(x)
     [,1] [,2]
[1,]    5    2
[2,]  150  140

> chisq.test(x) # 独立性のカイ二乗検定

	Pearson's Chi-squared test with Yates' continuity correction

data:  x 
X-squared = 0.4205, df = 1, p-value = 0.5167 # 有意差なし：つまり両者に差はない

 警告メッセージ： 
In chisq.test(x) :  カイ自乗近似は不正確かもしれません # 「新イベント導線」のサンプルサイズが小さすぎると文句を言っている
> fisher.test(x) # フィッシャーの正確確率検定：サンプルサイズの大小を問わず使えるが時間がかかることもある

	Fisher's Exact Test for Count Data

data:  x 
p-value = 0.4507 # やはり有意差なし：つまり両者に差はない
alternative hypothesis: true odds ratio is not equal to 1 
95 percent confidence interval:
  0.3736408 24.8107839 
sample estimates:
odds ratio 
  2.326977 

分母が大きく違っているにもかかわらず、ただ割り算だけして「○○率」を求めて、その値が大きかったor小さかったとかで何も考えずに一喜一憂していてはいけませんよ、ということで。

時系列データを扱うケース

意地の悪い例ですが、こんなケースを考えてみましょう。GitHubにサンプルデータその2を用意しておいたので、持ってきてRにx1とかいう名前で読み込ませて下さい。必要なRパッケージは{fGARCH}です。

さて、このデータなんですが。平均はどれくらいでしょうか？　ちなみにこのデータのサンプルサイズは1200です。

> mean(x1)
[1] 9989.522
> mean(x1[1:500])
[1] 9935.598
> mean(x1[501:1200])
[1] 10028.04
> mean(x1[701:900])
[1] 9934.387
> mean(x1[301:400])
[1] 9943.169

どこをどう切っても、大体10000ぐらいが平均値のようですね。じゃ、これは適当にばらついている平均10000ぐらいのデータなんだな。。。と思っていると大間違い。試しに分散を計算してみると、

> var(x1)
[1] 1346957
> var(x1[1:500])
[1] 1489078
> var(x1[501:1200])
[1] 1243861
> var(x1[701:900])
[1] 252995.2
> var(x1[301:400])
[1] 3699340

あれ？切り出してきたところごとにまるっきり分散が違う？そこで、試しにこれを時系列でプロットしてやるとこうなります。

それもそのはず、このデータは実は

> x1<-rbind(matrix(rnorm(300,mean=10000,sd=200)),matrix(rnorm(300,mean=10000,sd=2000)),
+ matrix(rnorm(300,mean=10000,sd=500)),matrix(rnorm(300,mean=10000,sd=1000)))
> plot.ts(x1)

と計算して得られたものだからです。つまり、平均は一定だけど分散（標準偏差）はタイムゾーンごとにてんでバラバラ。こうなっている時系列データをただ平均しただけでは何も分からなくて当然ですね～。ということで、時系列データの場合はただ平均を見るだけでなく、このようなばらつき（ボラティリティ：Volatility）も評価する必要があるケースがあるということを頭に入れておく必要があります。

こんなものは用心して毎回時系列プロット描くだけでも十分だと思いますが（笑）、どうしても細かく分析してみたいという場合は、例えば計量時系列分析のGARCH（一般化自己回帰条件付き分散不均一）モデルを推定することで、パラメータ推定や予測を行うことができます。

GARCHモデルとは何かというと、要は時系列データの生の値ではなく「分散の大きさ＝（ばらつきorボラティリティ）」を改めて時系列データとして扱い、その挙動をモデリングするものです。これはどちらかというとあまりwebマーケには馴染みのない発想ですが、金融データのようにボラティリティ自体がリスク要因となる業界では大変重要な方法論です。

で、実際の計算は{fGARCH}パッケージを用いてこんな感じでやります*13。

> x1.garch<-garchFit(~garch(1,1),data=x1,trace=T)

Series Initialization:
 ARMA Model:                arma
 Formula Mean:              ~ arma(0, 0)
 GARCH Model:               garch
 Formula Variance:          ~ garch(1, 1)
 ARMA Order:                0 0
 Max ARMA Order:            0
 GARCH Order:               1 1
 Max GARCH Order:           1
 Maximum Order:             1
 Conditional Dist:          norm
 h.start:                   2
 llh.start:                 1
 Length of Series:          1200
 Recursion Init:            mci
 Series Scale:              1160.585

Parameter Initialization:
 Initial Parameters:          $params
 Limits of Transformations:   $U, $V
 Which Parameters are Fixed?  $includes
 Parameter Matrix:
                      U         V   params includes
    mu     -86.07318384  86.07318 8.607318     TRUE
    omega    0.00000100 100.00000 0.100000     TRUE
    alpha1   0.00000001   1.00000 0.100000     TRUE
    gamma1  -0.99999999   1.00000 0.100000    FALSE
    beta1    0.00000001   1.00000 0.800000     TRUE
    delta    0.00000000   2.00000 2.000000    FALSE
    skew     0.10000000  10.00000 1.000000    FALSE
    shape    1.00000000  10.00000 4.000000    FALSE
 Index List of Parameters to be Optimized:
    mu  omega alpha1  beta1 
     1      2      3      5 
 Persistence:                  0.9 


--- START OF TRACE ---
Selected Algorithm: nlminb 

R coded nlminb Solver: 

  0:     1454.2321:  8.60732 0.100000 0.100000 0.800000
  1:     1339.3542:  8.56697 0.0446296 0.111299 0.779856

# 中略

 47:     1146.4477:  8.61814 0.000875581 0.172139 0.849785

Final Estimate of the Negative LLH:
 LLH:  9614.463    norm LLH:  8.012052 
          mu        omega       alpha1        beta1 
1.000208e+04 1.179370e+03 1.721390e-01 8.497848e-01 

R-optimhess Difference Approximated Hessian Matrix:
                  mu         omega        alpha1         beta1
mu     -8.391052e-03  5.621736e-06  1.624651e-01  2.756090e-01
omega   5.621736e-06 -4.616137e-06 -1.335149e-01 -1.959011e-01
alpha1  1.624651e-01 -1.335149e-01 -1.819808e+04 -2.431246e+04
beta1   2.756090e-01 -1.959011e-01 -2.431246e+04 -3.595277e+04
attr(,"time")
Time difference of 0.1320131 secs

--- END OF TRACE ---


Time to Estimate Parameters:
 Time difference of 0.7820778 secs
> plot(x1.garch)

Make a plot selection (or 0 to exit): 

 1:   Time Series
 2:   Conditional SD
 3:   Series with 2 Conditional SD Superimposed
 4:   ACF of Observations
 5:   ACF of Squared Observations
 6:   Cross Correlation
 7:   Residuals
 8:   Conditional SDs
 9:   Standardized Residuals
10:   ACF of Standardized Residuals
11:   ACF of Squared Standardized Residuals
12:   Cross Correlation between r^2 and r
13:   QQ-Plot of Standardized Residuals

Selection: 2 # 「分散の大きさ」の時系列データをプロットする

> x1.pred<-predict(x1.garch,n.ahead=150,plot=T,nx=1200)
# 150期先までの「分散の大きさ」を予測してプロットする

末広がりになってるのは、途中で分散がでかくなったからですね。ちなみにこれはものすごーーーく適当なサンプルデータなので、本来ならこんなGARCHモデルで扱うにはデタラメ過ぎます。参考までにgarchSim()関数で生成したもっと綺麗なシミュレーションデータに対するモデリングと予測の結果を載せておきましょう。

> set.seed(100)
> x2<-garchSim(n=1200,garchSpec())
> plot(x2,lwd=2)
> x2.garch<-garchFit(~garch(1,1),data=x2,trace=F)
> plot(x2.garch)

Make a plot selection (or 0 to exit): 

 1:   Time Series
 2:   Conditional SD
 3:   Series with 2 Conditional SD Superimposed
 4:   ACF of Observations
 5:   ACF of Squared Observations
 6:   Cross Correlation
 7:   Residuals
 8:   Conditional SDs
 9:   Standardized Residuals
10:   ACF of Standardized Residuals
11:   ACF of Squared Standardized Residuals
12:   Cross Correlation between r^2 and r
13:   QQ-Plot of Standardized Residuals

Selection: 2

> x2.pred<-predict(x2.garch,n.ahead=150,plot=T,nx=1200)

これは「分散の大きさ」*14が定常というシミュレートデータなので、その150期先予測も「分散の大きさ」が一定のまま、という結果になっています。

最後に

ということで、SQLで定期的に単純集計するBIツール組んで、定期的に数字orプロットを眺めて満足。。。していると危ないかもしれないので、適宜機械学習とか統計解析やってチェックしてみましょー、というお話でした（笑）。

ちなみにGARCHモデルは僕はノーマークなので、突っ込まれたら答えられません（泣）。一応沖本本7章に詳しい解説が載ってますが、詳しい人誰か教えてください。。。

余談

裏先生のツッコミをいただいてちょっと思い返したんですが、僕の場合実務で使わないものは一度勉強してもどんどん忘れていってしまうので、偏相関*15に限らず、例えば相関まわり全般、区間推定、そしてノンパラメトリック検定*16まわり、他にも確率過程や乱数理論あたりは多分相当怪しい気が。。。夏休みにちょっと集中して復習しようと思います。

*1:GLMに突っ込んだら標準回帰係数が5%有意じゃないとか

*2:glm()はデフォルトの{stats}に含まれるので何もしなくて大丈夫

*3:0.7%の差なんてないも同然ですがｗ

*4:Rでas.factor()を使って変換すると"No"の側に0, "Yes"の側に1が入る

*5:回帰係数が0より大きいため

*6:馬鹿にしちゃあいけません、そんなケースはデータ分析の現場に行けば腐るほどあります

*7:まずcvをcv_yes（CV = Yesの時に1 / それ以外は0）とcv_no（CV = Noの時に1 / それ以外は0）の2つのカラムに分け、この2カラムを残りのa1-a7の7カラムとくっつけて、マトリクスに変換すれば{arules}のapriori()関数に投げることができます

*8:ただし「何故か」と書いたのは単に読者の皆さんの注意を惹きたかっただけなので、「必然的ではない」という意味ではないのです

*9:ただし可視化できて分かりやすいという利点はありますが、統計学的には全くエレガントではない

*10:これは猛烈に極端な例です、念のため

*11:何度でも書きますがこれは猛烈に極端な例です、念のため

*12:chisq.test()もfisher.test()も{stats}に含まれるのでインストール不要

*13:GARCH(1,1)モデルを選択している理由については例えば沖本本p.156を参照のこと

*14:厳密には多分その対数だと思うんですが。。。

*15:確か4年前ぐらいに国際会議のプレゼン書く時に使った記憶がある

*16:順位和検定と符合つき順位和検定ぐらいしか思いつかない