ビッグデータでは統計的検定は意味がない｜ビッグデータ分析の留意点⑤ - GiXo Ltd.

ビッグデータでは統計的検定は意味がない｜ビッグデータ分析の留意点⑤ - GiXo Ltd.

統計的検定とは？ （第2回）と（第3回）で全量分析の優位点について、（第4回）で全量データを分析する...概要を表示 統計的検定とは？ （第2回）と（第3回）で全量分析の優位点について、（第4回）で全量データを分析する際の注意点①を紹介しました。本日は、２つ目の注意すべき点である以下について説明します・ 注意点②：標本統計を前提とした統計的検定は、ビッグデータの場合あまり意味がないことに留意する必要がある。 まず「統計的検定」では、統計解析をして得られた結果が、偶然によるものかどうかを判定します。判定結果が「偶然の範囲内」という判定になれば、その結果は意味がないということになります。一般的に、「偶然の範囲内」かどうかは、偶然であるという仮定した場合の値と、実際に計測された値の「差」を統計的に計算して得られた確率が１％未満の場合、「偶然ではない」と考え、これを、「統計的に有意」といいます。場合によっては、この統計的に計算して得られた確率を直接示すこともあり、これをｐ値といいます。 例えば、重回帰分析の場合、