무적의 거짓말: 통계

http://www.phdcomics.com/comics.php?f=1271

자주 보는 만화중 하나인데 이건 진짜 대박이다 싶어서 긁어왔다. 마침 이항분포의 극한이 정규분포라는걸 증명하느라 끙끙대고 있기도 했고 해서 이번 글은 눈길이 가는 4번에 대한 설명. 나머지 셋은 사람들이 잘 알고 있는 것 같아서...

여기서 질문 하나. 대통령 지지율은 어떻게 산출할까? 두 설문지를 준비했다.

설문지 1

최근 대통령의 국정수행에 대해 어떻게 평가하십니까?
1. 아주 잘하고 있다.
2. 잘하는 편이다.
3. 보통이다.
4. 못하는 편이다.
5. 아주 못하고 있다.

이 경우 지지율은 전체 응답자 수 대 1, 2로 답한 응답자 수가 된다.

설문지 2

최근 대통령의 국정수행에 대해 어떻게 평가하십니까?
1. 아주 잘하고 있다.
2. 잘하는 편이다.
3. 못하는 편이다.
4. 아주 못하고 있다.

1과 크게 다르지는 않지만, 설문지 2에서는 3번 항목 '보통이다'를 제외했다. 이처럼 중립평가를 제외하면 어떤 현상이 일어날까? 첫 설문지에서 3을 선택했을 사람들이 전부 잘하는 편인가 못하는 편인가를 결정내려야만 한다. 결과적으로는 지지율이 살짝 오른다. 물론 중립평가를 선택한 사람들이 엄청나게 많다면 지지율은 급등할 것이다. 어떻게 통계냈는지를 비교하지 않고 단순히 지지율만 가지고 대통령을 비교하는 것이 위험한 이유이다.^[각주:1] 열심히 써놓았더니 이런 글이 있었네 -_-

선택지가 없기 때문에 통계가 왜곡되는 상황중 하나를 링크해둔다.

통계라는 것은 미묘한 차이가 엄청나게 증폭되는 성격을 갖기 때문에 통계치를 제대로 사용하려면 그 통계에 대해 잘 알고 있어야 한다. 재미있는 예로는 설문지를 돌리는 사람에 따라 통계가 변화한다는 것이다. 미국에서 인종차별에 대한 설문지를 흑인이 돌릴때와 백인이 돌릴때 통계가 변한다는 연구결과도 있고, 좀 더 가까운 예라면 소개팅에서 더치페이에 대한 설문지를 남자가 돌릴때와 여자가 돌릴때의 응답이 있다. 일반적으로 설문지를 작성하는 사람들은 설문지를 돌린 사람의 눈치를 보기 때문이다.

결론은, 숫자도 볼 줄 아는 사람이 제대로 써먹을 수 있다는 것과, 숫자만큼 사기치기에 좋은 수단도 없다는 것? 세가지 거짓말이 그냥 거짓말, 새빨간 거짓말과 통계라는 누구의 말을 잘 새겨두자.^[각주:2]

ps. 고등학교때 다닌 수학학원 선생님 曰: 통계에 강한 사람들이 돈을 잘 번다. 왜 생각난거지...

1. 지지율의 경향성은 비교적 훼손되지 않겠지만, 그건 하나의 대통령의 지지율을 비교하는 척도가 될 뿐 대통령끼리 비교하는 척도가 되지는 못한다. [본문으로]
2. 마크 트웨인이 유행시킨 말이라니 놀랐다. [본문으로]