『第1種の過誤』と『第2種の過誤』 - 大学生 → 社会人の雑記

統計的な手法で多く使うものと言えば、おそらくまずはt検定だと思います。

でなんか第1種の過誤とか第2種の過誤とか慌て者とかなんとかってわけわからなくなるやつがあると思います。

まあなんとなくどういうものかなというところを紹介します。

さて、t検定は2標本の平均が等しいか否かを検定します。

数式や統計的検定とはとか何か等の細かい話は別のサイトやブログや参考書に譲るとして、ちょっとした実験をしてみましょう。

まず2つの標本をつくります。

　　　 $a {\sim} N(50,10)$
　　　 $b {\sim} N(50,10)$

はい、見ての通り母平均も母分散も等しいです。
ちなみにt検定は標本の従う分布に対してロバストではありますが、正規分布を仮定した検定です。

さて、データ数は共に $n = 10$ であるとしましょう。
分散は等しいとしましょうってか等しいです。ただし、ここでは分散の値は知らないふりをします。

t検定における帰無仮説と対立仮説は

　　　帰無仮説: $H_0 : μ _a = μ _b$
　　　対立仮説: $H_1 : μ _a ≠ μ _b$

です。それではやってみましょう。今回はRを使います。

# データの生成

a <- rnorm(10, mean=50, sd=10)　
b <- rnorm(10, mean=50, sd=10)   


#等分散を仮定したt検定

t.test(a, b, var.equal=TRUE)

        Two Sample t-test

data:  a and b
t = 1.8429, df = 18, p-value = 0.08187
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -1.410388 21.559806
sample estimates:
mean of x mean of y 
 52.35852  42.28381

p値は0.08程ですね。これら2つの標本は同じ分布から抽出しているんですよ。
にしてはp値が低すぎるとは思いませんか？

しかし実際標本平均は

　　　 $μ _a = 52.35852$
　　　 $μ _b = 42.28381$

と結構違う感じがします。

(まぁ、この結果を見てp-value > 0.05 だから採択だ！！！というのはかなり乱暴ですが、神のみぞ知る結論としては皮肉にも正しいわけです。)

ちなみに統計的検定とは、この「違う感じがする」という疑問に1つの結論を与える方法ですとだけ言っておきます(説明すると長くなるので…)。

さて、ただ1回の実験では信用に値するかわからないので実験回数を1000回にしてみましょうか。

# m・・・棄却した回数
# l・・・採択した回数

 m = 0
 l = 0

 for (i in 1:1000){
	a <- rnorm(10, mean=50, sd=10)
	b <- rnorm(10, mean=50, sd=10)
	t.test(a, b, var.equal=TRUE)
	outi <- t.test(a, b, var.equal=T)
	 if (outi$p.value < 0.05){m = m+1}else{l = l+1}
	 }
 
 P = m/(m+l)   # 帰無仮説を棄却した割合
 P
[1] 0.056

5%ぐらいは帰無仮説を棄却してしまうみたいですね。
実際aとbは同じ分布から生成されているので仮説は正しいです(もっともこれは神のみぞ知る結論ですが)。
それでも5％ぐらいの確率で誤った判断を下してしまうということをこのシミュレーションは言っています。

このように帰無仮説が正しい場合でも棄却してしまう誤りには『第1種の過誤』という名前が付けられています。

今回の場合、第1種の過誤を犯した割合はおよそ5%というわけです。
一方で帰無仮説が正しくないにもかかわらず、採択してしまう誤りには『第2種の過誤』という名前が付けられています。

もし、第2種の過誤を犯す確率だけを最小にしたいのであれば、全部棄却しちゃえばいいですもんね。そのかわり第1種の過誤を犯す確率は高くなります。

つまり良い検定とは、第1種の過誤および第2種の過誤を犯す確率が共に小さい検定であると考えることができます。

最後に

仮説検定は帰無仮説を棄却することにこそ意味を持ちます。
(感覚的には背理法に近いですね。仮説が真であれば、構築した検定統計量はある分布に従う。従っていないのであれば、それは仮説がおかしい。といった論法です。
ただし、採択されたからといって仮説が正しいというわけではありません。なぜなら仮設を肯定する材料が得られたわけではないからです。)

つまり帰無仮説を採択しても特に意味はないということです。だから無に帰る仮説とかいう名前がついてるんですねー。

ちなみに応用の場では採択することを「受容」とか「消極的採択」とかいいます。これは、一応、帰無仮説を採択することに意味はあまりないということはわかっているけれど、まあ帰無仮説が正しいと考えても良いんじゃね？ぐらいの気持ちを表したものだと考えられます。

はい！今回はこんな感じでおしまいですー！