2016년 미국 대선, 대표적인 "언론사 여론조사 신뢰도 타격" 사례

2016년 미 대통령 선거 당시 미국 CNN을 비롯한 대부분의 주요언론사들은 민주당 후보였던 힐러리의 압승을 예상했다. 이는 한국 언론을 비롯한 외신들도 마찬가지였다. 대표적인 국제언론 로이터조차 힐러리가 90%의 확률로 미 대통령 선거에서 트럼프 공화당 후보를 이길 것이라고 2016년 11월 7일자 기사에서 보도한 바 있다.

그러나 이러한 분위기 가운데서도 트럼프와 힐러리의 박빙을 예고한 언론사가 있다. 미국 Fox 뉴스는 자체 여론조사에서 민주당의 힐러리 후보가 48%의 지지율을, 공화당의 트럼프 후보가 44%의 지지율을 얻었다며 표본오차 2.5%를 기준으로 그 어떤 후보도 섣부르게 승자로 예단하기 어렵다고 결론지은 바 있다.

여기서 주목해야 할 점은 폭스 뉴스 자체 여론조사에서 2015년 초반에만 하더라도 신뢰도 조사에서 45%를 기록하며 30%의 신뢰도 지지를 받는데 그친 트럼프 후보를 힐러리가 가볍게 앞서고 있었다는 점이다. 그러나 이러한 상황은 대선 당일이었던 2016년 11월 6일에는 트럼프가 35%, 힐러리가 31%로 역전되었다.

그리고 힐러리를 지지하던 지지층들은 대선 당일 경악을 금치 못했다. 곳곳에서 트럼프가 당선될 가능성이 높다는 징후가 포착되기 시작한 것이다. 그리고 그들의 우려는 현실이 되었다. 트럼프가 45대 미국 대통령으로 당선되었기 때문이다. 일반투표에서는 48.2%의 득표율을 기록하며 3백만 표에 근접한 차이로 힐러리가 앞섰지만, 선거인단 투표에서는 트럼프가 304표를 얻어 227표에 그친 힐러리에 압승을 거뒀다.

막상 뚜껑을 열어보니, 폭스 뉴스 및 일부 매체를 제외한 대다수의 타 언론 여론조사가 모두 빗나간 것이다. 물론 그 어느 언론사도 자신들의 조사결과가 빗나갔음을 시인하며 사과하는 경우는 전무하다. 특히 CNN은 자신들의 여론조사 결과를 "대학수준의 교육을 받지 못한 백인 여성들"과 "트럼프로부터 범죄자 취급을 받고도 그를 지지했던 남미 출신 지지자들" 탓으로 돌리는 등 언론사로서의 편향적 시각을 적나라하게 보여줬다.

2012년 미 대선과 2014년 스코틀랜드 독립여부 투표 등 여론조사의 맹점을 드러낸 사례들

비단 2016년 미 대선 뿐만이 아니다. 2012년 미 대선에서도 재선을 노리는 버락 오바마 대통령을 상대로 밋 롬니 공화당 후보가 자체적으로 실시한 여론조사에서 이길 것으로 예측했었다. 물론 오바마 대통령은 역대 재선 대통령 중 가장 상대 후보와의 득표율 차이가 적은 5%의 득표차 기록을 세우며 재선이 그리 녹록치 않았음을 경험해야 했다.

2014년 스코틀랜드 독립여부 국민투표 당시에도 여론조사 당시에는 영국으로부터의 독립지지와 현 상태 유지간의 지지율이 박빙이었던 것과는 달리, 막상 진행된 국민투표에서는 영국과의 관계 유지를 선택한 유권자들이 압도적으로 많았다.

여론조사에 대한 신뢰도 논란은 이미 여론조사가 향후 선거 및 국민투표 등의 결과에 대한 주요 예측 수단으로 대두되던 시절부터 이어져 오던 부분이지만, 특히 IT 기술의 발달로 TV를 대체하는 온라인 미디어 수단이 우후죽순 생겨나면서 왜곡현상이 더욱 심해진다는 의혹을 받는다. 과연 무엇이 여론조사에 대한 공신력을 의심하게 하는 원인일까?

응답률만 가지고 설명할 수 없는 "결과유도를 위해 설계된 질문들"

미 브루킹스 연구소의 E.J. 디오니 및 토마스 만 연구원은 공공여론조사의 결과가 어떻게 왜곡될 수 있는지에 대해 "사람들은 여론조사 자체가 자신들의 의견이 맞았음을 선전하기 위해서 쓰일 수 있는 유용한 도구임을 인정하면서도, 그 과정에서 자신들의 의견과는 전혀 동떨어진 방향으로 결과가 흐르면 그 의미의 진정성 자체를 의심하는 '이중성'을 보이게 된다"고 언급했다.

그 중에서도 두 연구원이 가장 중요한 요인으로 언급한 것은 바로 "질문" 그 자체다.

"여론조사의 신뢰도를 의심받게 만드는 요인들 중 몇 가지가 질문 자체와 관련된 것이 많다. 과연 그들이 올바른 질문을 하고 있는가? 혹시 결과를 유도하기 위해 질문을 교묘히 작성하는 것은 아닌가? 이는 조사대상 당사자들이 여론조사에서 묻는 질문이 공유하는 이슈에 대해 깊이 생각해본 적이 없는 경우에도 왜곡되고, 또한 질문 자체가 그 이슈의 전체적인 그림을 보여주지 않고 극히 일부만 보여주는 경우에도 자신이 믿는 것과는 전혀 다른 답을 할 수 있게 할 수 있다"고 두 연구원은 밝혔다. 이른바 여론의 "제조 (Manufacturing)"가 가능한 것이다.

예를 들자면 "북한과의 평화협정 지지"에 대한 여론조사를 실시하면, "당신은 세계의 평화가 유지되어야 한다고 생각하십니까?"라는 질문을 하는 식이다. 이 경우 아무리 남북간의 평화협정 자체가 정치적으로 잘못되었어도 일반적 상식을 가진 사람이라면 "당연히 평화를 지지한다"는 답을 선택하기 마련이라는 것이다.

이러한 방식으로 여론조사는 어느 한 쪽이 일방적으로 유리하게끔 설계될 수 있다. 두 연구원은 "대부분의 여론조사는 정치적인 목적이나 자신들의 이익을 공유하기 위한 집단들이 여론조사 전문기업에 접근하여 외주를 주는 형태로 이어지는 경우가 많다"며 "이 때문에 비용을 지불하는 입장에서는 당연히 자신들에 유리한 여론조사가 이루어지기를 바라기 마련이다"라고 지적했다. 이 때문에 여론조사를 의뢰한 집단에게 불리하게 대답할 것 같은 사람들의 의견을 배제하는, 즉 그들의 의견이 크게 영향을 끼칠 수 없는 질문들 위주로 여론조사가 이루어진다는 것이다.

응답률이 높더라도 피할 수 없는 적, "표본추출편의"

한국 여론조사 기관의 신뢰도에 대한 의문을 표할 때 많은 이들이 응답률이 낮다는 점을 지적하지만, 그보다도 결과에 큰 영향을 미칠 수 있는 진정한 적은 바로 "표본추출편의 (Sampling Bias)"이다.

이에 대해 미국의 사이언스 프라이데이가 재미있는 실험을 진행한 바 있다. 트위터를 통해 트위터 사용자들을 대상으로 "당신은 혀를 말아올릴 수 있는가?"라는 질문을 던졌다. 결과적으로 응답자의 81%가 혀를 말아올릴 수 있다고 응답했다. 그런데 정말 단순할 것 같은 이 설문조사에 대해 전문가들은 무려 9가지의 원인을 지적하며 해당 설문조사가 표본추출편의에 의해 신뢰도가 크게 타격을 받을 수 있다고 분석했다.

첫 번째는 사람들이 구체적으로 "혀를 어떻게 말아올리는 것 의미하느냐"에 대해 제대로 알지 못했다는 점이 지적되었다. 가로로 말아올리는 것인지, 세로로 말아올리는 것인지, 아니면 앞뒤로 파도치듯 말아올리는 것인지 구체적인 내용을 제공하지 않았다는 것이다. 이 때문에 정확한 의미를 모르는 사람들은 아예 질문에 대한 답을 주지 않거나, 자신이 직접 혀를 말아올린 사진을 올리며 "이것도 포함되느냐"고 질문한 이들이 꽤 있었다는 것이다.

두 번째와 세 번째 원인은 서로 겹치는 면이 있는데, "못한다고 대답하는 것이 부끄러웠거나, 할 수 있다고 대답하며 희열을 느꼈거나, 아니면 그게 무슨 상관이냐며 아무거나 선택하였거나"이다. 특히 설문조사 자체가 대중에 공개되는 경우는 이러한 편향성이 더 뚜렷하게 드러난다. 

또 한 편 네 번째 원인은 "두 질문 중 첫 번째 보기를 보고 바로 클릭했을 가능성"이다. 이는 최근 자유한국당이 당 지지도 설문조사에서 특정 여론조사기관이 "항상 자유한국당을 네 번째 보기에 집어넣는다"며 불만을 표시한 점과도 일맥상통한다. 이 경우는 여론조사를 그냥 빨리 끝내기 위해 시간에 쫓기거나, 너무 많은 보기가 주어지기 시작할 때 지루함을 느껴 빨리 넘어갈 목적으로 자신이 원하지 않지만 상위에 있는 보기를 선택하는 것으로 해석된다.

다섯 번째 원인은 아예 자신이 혀를 말 수 있었는지 없었는지 설문조사 당시에 기억조차 못했던 사람들에 관한 것이다. 혼자 방에서 컴퓨터 앞에 앉아있었다면 무방하지만, 혹시라도 카페에서 앉아 커피를 마시며 태블릿을 보고 있는데 다른 사람들이 있는 곳에서 이 설문조사를 하기 위해 자신이 혀를 말 수 있나 없나 시험해 보려고 하는 사람은 드물 것이라는 이야기다.

여섯 번째는 많은 사람들이 설문 당시에는 혀를 말아올리는 방법을 몰라서 못한다고 대답할 수도 있지만, 그 방법만 조금 시간을 들여 배워도 '못한다' 에서 '할 수 있다'로 바뀐다는 점이다. 사이언스 프라이데이가 던진 이 질문 자체가 아예 사람들의 질문에 대한 답을 바꿀 수 있는 힘이 있다는 일종의 "고백"이다. "조사기관의 의도에 따라 갑자기 표본에서 무언가에 부정적이었던 사람들을 긍정적으로 바꾸는게 생각보다 어렵지 않다"는 것이다. 이 경우도 표본조작에 엄연히 해당한다.

마지막 3개의 원인은 우리가 조심스럽게 분석해 볼 필요가 있는 부분이다. 

일곱번째가 바로 "친구따라 강남간다"라는 속담처럼 많은 사람들이 선택한 답에 회유되든 압력을 느끼든 (Peer Pressure) 그 쪽으로 쏠리게 되는 현상에 대한 지적이다. 2차 세계대전 당시 독일 나치군의 선전부장이었던 조셉 괴벨스가 악용한 대표적 사례로 꼽힌다. 

여덟 번째는 "한 사람이 동일한 여론조사에 여러번 참여하여 결과를 조작했을 경우"다. 실제로 현재의 여론조사 구조는 한 전화번호나 온라인 계정이 여러번 투표를 할 수 없게 함으로써 이 원인을 방지할 수 있다고 하기에는 허점이 많다. 특히 드루킹 댓글조작 논란에서 보았듯이, 한 사람이 여러 개의 계정이나 전화기를 타인의 명의를 도용하여 여론을 조작할 수 있다는 점도 이미 밝혀진 바 있다.

마지막 원인은 굳이 불법적인 방법이 아니더라도 "언제 누구를 대상으로 하느냐에 따라 결과가 천차만별"이라는 점을 지적한다. 특히 사람들의 활동력이 높은 시간대에 설문조사를 했을 경우 당연히 응답수가 높아진다. 또한 어느 특정 그룹에 대한 여론조사는 당연히 특정 그룹이 공유한 사안에 대해 더 유리한 결과가 나올 수 밖에 없다는 것이다. 

사이언스 프라이데이는 이를 증명하기 위해 혀 말아올리기 설문조사에 더해 대중적으로 유명한 미국의 유명 팝스타 케이티 페리와 명망있긴 하지만 별로 대중적인 인지도는 없는 과학정보 커뮤니케이터 닐 타이슨에 대한 조사를 실시했다. 참고로 현재 케이티 페리의 트위터 팔로워는 9천만명에 근접하며 닐 타이슨의 팔로워는 5백만 정도로 약 17배 가까운 차이를 보인다.

그런데 사이언스 프라이데이가 던진 두 가지 다른 설문조사에서 케이티 페리를 팔로우한다는 응답은 약 4%에 그친 반면, 닐 타이슨을 팔루오한다는 응답은 67%를 기록했다. 너무나도 당연한 결과다. 사이언스 프라이데이를 팔로우하는 트위터들의 성향상, 당연히 케이티 페리보다는 닐 타이슨 더 선호하고 팔로우하는 사람들이 많기 때문이다.

최저임금 인상으로 인한 서민경제 붕괴위기, 평창올림픽 당시 남북 여자하키 단일팀 구성 과정 및 일부 민주당 소속 관계자들의 특혜 논란, 북한의 평화위장 공세 관련 논란, 김기식 금감원장 사퇴 및 김경수 의원의 드루킹 댓글조작단 연루 등 갖은 악재에도 불구하고 70%에 가까운 지지율을 보이고 있다는 문재인 대통령에 대한 여론조사 결과를 과연 앞으로 국민들이 계속 신뢰할 수 있을지 의문스러울 뿐이다.