자꾸 통계쪽에 태클이 걸리는데.. 짧은 지식으로나마 조금 적어보자면...

1. 통계조사를 할 때에는 샘플을 랜덤하게 뽑지만, 그러면서도 조사 결과에 큰 영향을 미치지 않을 대상들을 추려서 뽑습니다.
지역, 성별, 연령, 재산 등등을 목적에 맞게 조절하기도 하게, 완전 배제하기도 합니다.
위와 같은 조사라면 아마도 성이나 나이, 성별, 재산, 거주지역 등등을 고르게 분포시켰을 가능성이 높습니다.


2. 460명이 적은 숫자인가... 하면 그렇지도 않습니다.
예를 들자면......

우리나라에서 시청률 조사를 하는 경우, 우리나라 전체에 대하여 하는게 아니라
몇몇 지역의 몇몇 가구에 사전 동의를 받고 어떤 채널을 보는 가를 전송할 수 있는 기기를 설치해놓는다고 합니다.
전체 4700만 국민에 비하면 그야말로 극소수에 해당하죠.
하지만 실제로는 그렇게 수집된 자료들이 그대로 쓰입니다.
"허준 마지막 방송 시청률이 80%에 육박했다...." 라는 식의 기사는 저렇게 수집된 자료를 이용하여 쓴 기사입니다.


3. 결정적으로 많은 분들이 의심을 하시는 것이,

"과연 달랑 460명 조사한 것으로 전 국민을 대변한다 할 수 있는가....?"

라는 것이겠죠? 그래서 신뢰도라는 것이 있는 겁니다.

전수조사(조사 대상이 될 수 있는 모든 대상을 조사하는 방법)를 하면 신뢰도가 급격히 상승해서, +-0%에 가까운 정도가 되버립니다.
하지만 엄청난 비용이 드는 것은 물론, 조사하는 도중에 내용이 바뀌면 말짱 꽝이 되버립니다.
전수조사의 대표적인 예는 인구 센서스 입니다.
그야말로 최대한 신뢰도를 높이기 위해 몇년 몇월 몇시를 기준으로 일시에 전국적으로 조사를 해버립니다.
그래도 조금의 차이는 생깁니다.
(대신 해당 '연월일시 기준' 이라고 해놓지요.)

그렇지만 이런 전수조사도 대상이 너무 커져버리면 대책이 안섭니다.
우리나라야 고작 5000만도 안되는 인구지만, 13억 인구의 중국이라면 어떨까요?
종합하는 사이에 결과가 완전 뒤바뀌어버리는 수도 있습니다.

그래서 많은 경우 샘플링해서 하는 겁니다.
100명만 조사해도 수십만을 대변할 수 있도록, 1000명만 조사해도 수천만을 대변할 수 있도록 말이죠.
대신 이 샘플이 너무 적을 경우 신뢰도가 급격히 내려갑니다.

우리나라 전체를 대변한다 해놓고 한 명 앉혀놓고선,

"너 이거 좋아해, 싫어해?"
"글쎄...?"
"흠... 우리나라 사람의 50%는 이걸 좋아한다..."

이렇게 해버릴 수는 없단 거죠.

쉽게 말해서 적당한 규모와 공정성을 가지는 샘플이라면, 충분히 믿을만한 근거가 된다는 얘기입니다.


4. 그런데 주의해야 할 사실 한 가지....
설문조사 결과가 이랬다... 라고 해도 반드시 믿을 수는 없다는 겁니다....(우습죠? 위에선 믿으라 해놓고선...)
이유는 여러가지가 있지만 추려보자면...

4-1. 설문 대상은 설문자가 좋아할 만한 대답을 하려는 성향이 있다.
(흔히 Yes-saying Bias라고 합니다.)

4-2. 설문 대상이 질문 내용에 대한 이해가 부족하거나, 기본 지식이 부족하거나, 설문 내용 자체가 문제가 있을 수도 있으며, 설문자가 설문에 응하는 태도가 불량하거나, 설문에 답하는 도중에 마음이 바뀌어 앞뒤가 안맞는 답을 할 수도 있다. 즉, 설문 결과가 반드시 믿을만하다는 건 아니다.

4-3. 설문 조사 결과가 신뢰할 만하더라도, 그 결과를 분석하는 방법이나 과정 중에 잘못된 것이 있어서 결론을 잘못 내는 수도 있다.
(실제 사례 : OB 라거(맥주)가 처음 출시되었을 때, 20대에서 인기가 있어서 25세를 기준으로 CF를 찍었더니 인기가 떨어졌음. 이유를 알아보니 20대 중반에는 인기가 별로였지만, 20대 초반과 20대 후반 연령층에 높은 인기가 있었음.)


4-4. 설문 조사 결과가 나오더라도, 자기가 원하는 방향으로 해석하려는 성향이 있다.
가령, 선호도 조사 결과가 33%가 좋다, 33%가 보통이다, 34%가 별로다 라고 했을 때, 과반수가 좋아한다라고 결론을 내고 싶으면 좋다 33%와 보통이다 33%를 합쳐 66%가 좋아한다 라고 결론을 내버릴 수도 있다는 말.


이 밖에도 여러이유가 있을 수 있지요.. -ㅅ-)~

설문조사라는 건 생각보다 많은 노력이 들어가기 때문에 우습게 볼 건 아니지만,

그렇다고 거기에 휘둘려서도 안된단 얘깁니다. -ㅅ-)~