한 단어를 빠뜨리면 결론이 뒤집힌다

think/statistics-notation 의 표에 이 줄이 있다.

기호	읽기	의미
p-value	피 밸류	p값

읽기 칸은 채워져 있고, 의미 칸은 이름을 한 번 더 쓴 것이다. 그 글의 논지는 "읽을 수 있으면 구조가 보인다" 였는데 이 줄에서는 아니었다. 읽을 줄 알았고 뜻은 몰랐다.

이제 아는 것

가설검정에는 가설이 둘이다.

• H₀ 귀무가설 — 아무 일도 없다는 쪽
• H₁ 대립가설 — 뭔가 있다는 쪽

귀무가설이 참이라고 가정한다. 그 가정 아래에서 지금 관측한 것만큼, 또는 그보다 더 극단적인 결과가 나올 확률을 센다. 그게 p값이다. 충분히 작으면 가정을 버린다.

여기까지가 깨달은 것이고, 적어 보니 두 군데가 틀려 있었다.

빠뜨린 단어: 이상

처음에 나는 p값을 "현재 결과가 나올 확률" 로 이해했다. p값은 그게 아니라 "현재 결과 이상으로 극단적인 결과가 나올 확률" 이다.

한 단어 차이로 보이는데, 결론이 뒤집힌다.

동전을 10번 던져 앞면이 8번 나왔다. H₀ 는 공정한 동전, 앞면 확률 0.5 다.

P(X = 8)   =  45/1024  =  0.04395     ← 내가 이해한 것
P(X ≥ 8)   =  56/1024  =  0.05469     단측
양측 p     = 112/1024  =  0.10938     ← 실제 p값

0.04395 는 0.05 보다 작다. 내 이해대로라면 기각이다. 실제 p값 0.10938 은 0.05 의 두 배가 넘는다. 기각하지 못한다.

같은 데이터, 같은 유의수준, 반대 결론. 빠진 것은 "이상" 두 글자다.

왜 "이상" 이어야 하는가

이산형에서는 한 단어 차이지만, 연속형에서는 정의가 아예 성립하지 않는다.

키가 정확히 173.2400… cm 인 사람이 나올 확률은 0 이다. 연속확률변수는 한 점에서 확률이 0 이다 — 같은 표에 있는 f(x) 는 확률이 아니라 확률밀도고, 확률은 구간을 적분해야 나온다.

P(X = x) = 0                모든 x 에 대해
P(X ≥ x) = ∫ₓ^∞ f(t) dt     구간이라야 값이 생긴다

그러니 p값이 "현재 결과가 나올 확률" 이라면 모든 p값이 0 이고 모든 귀무가설이 기각된다. 정의가 그 자리에서 무너진다.

"이상" 은 덧붙인 단서가 아니라 p값을 0 이 아니게 만드는 장치다.

방향도 틀렸다

두 번째는 결론을 적은 방식이다 — "귀무가설은 거짓이라고 할 수 있다".

p값이 재는 것은 이 방향이다.

p  =  P( 이런 결과 | H₀ 가 참 )

거짓일 확률을 알려면 이 방향이 필요하다.

      P( H₀ 가 참 | 이런 결과 )

두 값은 같지 않다. 조건과 결과를 바꾸면 다른 값이다. p값이 0.01 이라는 것은 "귀무가설이 거짓일 확률이 99%" 가 아니다. 그건 다른 계산이고, p값 안에 들어 있지 않다.

그래서 기각한다 고 말하지 거짓이다 라고 말하지 않는다. 기각은 판정이지 증명이 아니다. 반대쪽도 같다 — 기각하지 못한 것은 귀무가설이 참이라는 뜻이 아니라 버릴 근거가 부족하다는 뜻이다.

0.05 는 발견된 값이 아니다

α 유의수준은 데이터를 보기 전에 정한다. 보고 나서 정하면 원하는 결론에 맞춰 문턱을 옮길 수 있고, 그러면 검정이 아니라 사후 설명이 된다.

그리고 α 는 비용이다. 귀무가설이 참인데도 기각할 확률이 α 다 — 0.05 로 두면 참인 귀무가설 스무 개 중 하나꼴로 기각된다. 같은 표의 β 가 반대쪽 오류다.

가져갈 것

1. 읽을 수 있는 것과 아는 것은 다르다. 그 표는 기호 50개를 읽게 해 줬고, 그중 하나는 읽기만 해서는 안 되는 것이었다. 읽기는 필요조건이었지 충분조건이 아니었다.
2. "이상" 이 정의를 지탱한다. 빼면 이산형에서는 결론이 뒤집히고, 연속형에서는 정의가 0 으로 무너진다.
3. p값은 가설의 확률이 아니다. 조건 방향이 반대고, 뒤집으려면 p값에 없는 정보가 더 필요하다.

기호를 읽는 법을 적은 글 옆에, 읽을 줄 알면서 몰랐던 것 하나를 적어 둔다.