‘응답자 1000명’ 아닌 ‘여론조사 1000건’을 분석...외국의 선거 여론조사

미국은 여론조사의 본고장이다. 우유배달해 받은 돈으로 고등학교 시절부터 신문을 만들던 조지 갤럽이 1935년 ‘미국여론연구소’를 세우고 이듬해 미 대선 여론조사를 시작했다. 당시에도 여론조사가 없지는 않았지만, 프랭클린 D 루즈벨트가 알프 랜든에게 질 것이라던 기존 조사 결과를 뒤집고 루즈벨트 승리를 예견함으로써 ‘갤럽의 시대’를 열었다. 그후 갤럽은 여론조사라는 하나의 ‘정치장르’를 만들어낸 것으로 평가받는다. 하지만 여론조사 방식이 시대에 뒤떨어졌으며 민심을 반영하지 못한다는 비판은 늘 나온다. 이 때문에 미국 정치 사이트들과 언론들은 개별 조사결과에 의미를 싣기보다는 추세를 분석하는 쪽으로 옮겨가고 있다.

여론조사, 결과보다 ‘흐름’ 중요

　

한국 대선 여론조사가 ‘왜곡’됐다는 비판이 거세다. 미국의 경우 대선을 앞두고 전국, 혹은 주별 여론조사를 1년도 더 전부터 진행한다. 공화·민주 양당 예비선거가 시작되기 전부터 대선 직전까지 수천 건의 여론조사를 하는 것이다. 일례로 지난해 대선 하루 전날인 11월 7일에만 힐러리 클린턴과 도널드 트럼프 후보의 양자대결, 혹은 두 사람을 포함한 4자 대결 등 다양한 구도를 놓고서 전국 조사 21건, 격전지였던 플로리다·오하이오 등 주별 조사 24건 등 45건이 발표됐다. 

　

지난해 미국 대선 전 여론조사 결과들을 종합·분석해 공개한 정치사이트 538닷컴(fivethirtyeight.com)의 웹페이지. 이 사이트는 여러 조사를 취합해 자체적으로 만든 지지율 추이를 실시간 발표했다. 모든 조사를 같은 비중으로 다루는 것이 아니라 여론조사기관(1)마다 등급(2)을 매겼다. 표본 수(3)와 과거 조사의 신뢰도를 바탕으로 가중치 점수(4)를 주는 식이다. 이 사이트의 이름은 미 대선 선거인단 수(538명)에서 따왔다.

갤럽은 과거 ‘여론조사 사고’를 낸 적 있으며, 폭스뉴스와 CNN 등 언론들이 공동주관하는 조사들도 정치적 편향성에 대한 지적이 끊임없이 나온다. 하지만 워낙 조사가 많고 투명하게 공개되다 보니 유권자들의 표심 흐름을 전반적으로 반영해 보여준다는 평가다. 또한 이런 여론조사 결과들을 모아 보여주는 리얼클리어폴리틱스닷컴 같은 사이트가 활성화돼 있다. 이 사이트는 여러 여론조사 결과들을 종합한 자체 지수인 RCP통계를 만들어서 흐름을 보여준다. 조사마다 특징이 있고 오차가 생길 수 있지만 흐름에 주목한다면 정치 현상을 해석하는 도구로 유용하지 않을 수 없다.

　

여론조사 방법은 대개 비슷하다. 기본적으로 전화 조사다. 1~2일만에 조사하는 경우도 간혹 있지만 대체로 4~7일 정도에 걸쳐서 조사를 한다. 표본(응답자) 수는 기본적으로 1000명이 넘어야 신뢰도를 인정받지만, 역시 조사에 따라 천차만별이다. 

중요한 것은 트렌드 분석이다. 지난해 미국 대선에서 널리 인용됐던 ‘538닷컴(fivethirtyeight.com)’의 경우 1년여에 걸쳐 총 1106개의 전국 조사를 취합했다. 각각의 조사에 같은 비중을 두는 게 아니라 표본 수, 조사 시점, 해당 조사기관의 과거 조사 정확도 등을 감안한 가중치를 둬서 트렌드를 추적했다. 이 사이트의 이름은 대선 선거인단 수 538명에서 따왔다.

예를 들어 538닷컴이 분석한 지난해 11월 미 대선 여론조사들은 22개였다. 그 중 ABC뉴스와 워싱턴포스트 공동조사는 11월 3~6일 나흘 간 진행됐다. 응답자는 2220명이었다. 표본 수가 아주 많은 편은 아니지만 과거 정확도가 높았기 때문에 538닷컴에서는 이 조사에 8.72의 가중치 점수를 주고 A+등급을 매겼다. 반면 구글컨슈머서베이의 조사는 조사기간이 7일이나 됐고 응답자 수도 2만6574명에 이르렀다. 하지만 조사 신뢰도는 B등급이었다. 다만 표본 수가 많아 가중치는 7.63으로 높게 잡았다. 11월 4~7일의 IBD/TIPP 조사는 표본이 1107명으로 작고, 조사기관 신뢰도는 A- 등급이었다. 가중치는 4.52로 낮았다. 11월 1~3일의 폭스뉴스 조사는 표본 수 1107, 신뢰도는 A였다. 가중치는 2.21에 불과했다. 이런 식으로 여론조사들 자체의 점수를 매겨 종합하는 것이다.

‘폴 트래커’로 경향성 추적

　

언론들도 여론조사 추이를 따라잡는 ‘폴 트래커(poll tracker)’들을 만들어서, 개별 여론조사의 결과보다는 트렌드를 보여주는 데에 주력한다. 미국 유일의 ‘전국 신문’으로 불리는 USA투데이가 지난해 대선 때 만든 ‘내셔널 폴 트래커’는 여러 주별 조사결과를 보여주고, 이를 종합한 그래프와 함께 후보들 동향에 대한 타임라인(시간표)을 만들어 관련 기사들을 정리했다. 8월 6일에는 클린턴 43% 대 트럼프 36.7%로 클린턴이 우세했다. 11월 8일에는 클린턴 45.5% 대 트럼프 42.2%로 트럼프가 바짝 따라잡았지만 여전히 클린턴이 3.2%포인트 앞섰다. 실제 대선 당일 유권자들의 투표 결과는 클린턴 48.2%, 트럼프 46.1%로 2.1%포인트 차였다.

　

미국에서는 대선을 앞두고 민주·공화 양당 예비경선 전부터 1년 넘는 기간 동안 수천 건의 여론조사가 진행되며, 리얼클리어폴리틱스닷컴 같은 사이트들을 통해 매일 공개된다. 이 사이트는 양자 대결이나 4자 대결 등 다양한 구도(1)로 이뤄진 조사 결과들을 기관별(2)로 취합해 후보들의 지지율(3)과 격차(4)를 보여준다. 그뿐 아니라 여러 결과들을 종합한 자체 지수를 만들어 여론 추이를 알 수 있게 한다.

여론조사의 천국인 미국에서도 유선전화 조사가 갖는 한계가 늘 지적된다. 이 때문에 스마트폰 여론조사 앱들도 나왔다. 샌디에이고에 본사를 둔 크레이지라쿤스라는 회사가 만든 ‘집(Zip)’이라는 스마트폰 앱은 사용자들에게 질문을 던지고 응답을 받아 대선 후보 지지도를 조사했다. 회사 측은 하루 평균 10만명의 유저가 응답을 했으며, 여론조사라기보다는 빅데이터 분석에 가깝다고 주장했다. 지난해 8월 이 앱의 조사에서는 트럼프가 승리할 것으로 예측됐다. 당시 인터넷 웹사이트나 유선전화 조사에서는 클린턴이 7~8%포인트 우세한 것으로 나타나는 상황이었다. 

 

문제는 여론조사 자체가 아니라 그에 대한 ‘해석’이라는 지적도 많다. 지난해 미 대선 여론조사에서 클린턴은 트럼프에 박빙 우세에 그쳤다. 이는 뒤에 투표 결과로도 확인됐다. 하지만 뉴욕타임스는 클린턴 승리 가능성을 선거 전날까지도 90% 이상으로 예측했다. 미 대선 특유의 복잡한 선거인단 간접선거제도와 승자독식 시스템이 맞물리면서, 과도한 ‘정치공학적 분석’이 오히려 정확한 예측을 막은 꼴이다. 그 결과 대부분의 주류 언론들이 망신을 당했다. 여론조사에서 실제 투표결과에 가장 가깝게 예측한 사이트는 ‘TPM폴트래커’로, 클린턴이 1.9%포인트 앞설 것으로 봤다. ‘논점 정리(Talking Points Memo)’의 약칭인 TPM은 저널리스트 겸 블로거인 조슈 마셜이 2000년 만든 온라인 정치사이트다. 하지만 이 사이트 역시, 주별 선거인단 수에서 클린턴이 앞설 것으로 예상했다.

‘잘못된 표본’의 한계

　

지난해 6월 영국의 유럽연합(EU) 탈퇴(브렉시트) 국민투표 전에 이뤄진 영국 내 여론조사들은 신뢰도에서 높은 점수를 받지 못했다. 당시 유고브(YouGov), 입소스 등 여러 조사기관들이 조사를 했으나 미국처럼 수없이 조사를 되풀이한 것은 아니었다. 유선전화 조사가 많았고, 간간이 온라인 조사도 실시됐다. 1월부터 6월까지 120여건의 조사결과가 발표됐다. 국민투표를 앞두고 6월 1~22일에 실시된 것은 30건이었다. 조사기간이 한 달에 이르는 것도 있었지만 대개 2~3일 정도로 짧았다.

유선전화 조사의 한계는 분명했다. EU ‘잔류’와 ‘탈퇴’ 여론이 엎치락뒤치락했지만 유선전화 조사에서 ‘잔류’ 지지가 온라인 조사에서보다 높게 나왔다. 하지만 투표 결과는 ‘탈퇴’가 3.8%포인트 많았다. 투표에서 젊은 층, 고학력층, 전문직 종사자들은 잔류 지지가 많았다. 반면 상대적으로 연령대가 높은 이들과 저임금·미숙련 노동자 계층은 EU 탈퇴를 바랐다. 이들의 목소리는 여론조사에 적게 반영됐다는 지적이 나왔다.

　

1936년 미 대선 때 ‘리터러리 다이제스트’는 1000만명에게 엽서를 보내 조사를 했고, 갤럽은 1500명을 상대로 면접조사를 했다. 리터러리 측이 전화 가입자와 자동차 소유자를 대상으로 조사한 반면에 갤럽은 성별, 연령, 지역, 인종 등의 범주를 기준으로 표본을 추출함으로써 여론을 읽을 수 있었다. 그런데 지금의 유선전화 조사는 ‘한정된 표본’을 상대로 한 80여년 전 리터러리의 오류를 반복하고 있다는 비판이 나온다.

　

프랑스는 오는 23일 대선 1차 투표를 치른다. 미국처럼 양자 구도가 아니라 10여명이 도전장을 낸 프랑스 선거에서는 여론조사 결과를 그대로 믿기엔 변수가 너무 많다. 이달 들어서만 지난 10일(현지시간)까지 22차례의 여론조사 결과가 발표됐지만 유력 후보인 에마뉘엘 마크롱과 마린 르펜의 지지율이 거의 동률이다. 게다가 여전히 후보들 간 이합집산 가능성이 남아있다.