들쭉날쭉 여론조사… 민심인가 조작인가 [끝나지 않은 논란 ‘부정 선거’]

<3회> 선거의 시작, 여론조사가 불안하다 ②

유권자 전부 조사 불가능, 필연적인 오차 발생
“답변 왜곡 가능” 자동응답전화 방식 도마 위
업체 성향·의도·질문 등에 따라 결과 차이 커
높은 응답률·편향성 없는 질문, 조사 신뢰도 높여

윤석열 전 대통령의 파면으로 50여 일 뒤 조기 대선이 열리게 되자 ‘민심의 풍향계’가 다시 요란하게 돌아가고 있다. 출마 의사를 밝힌 후보가 쏟아지고 있어 이들의 지지율 동향을 수시로 확인할 여론조사에 세간의 관심이 집중될 수밖에 없다. 그러나 조사 수행기관이나 의뢰 주체에 따라 널뛰기하듯 달라지는 결과에 더해 제20대 대선 당시 윤 전 대통령에게 유리하도록 여론조사를 조작한 혐의를 받는 명태균 씨 사건까지. 공정 선거에 대한 기대와 의심 속에 여론조사의 신뢰도 역시 시험대에 올랐다. 편향된 여론조사가 민심을 왜곡해 ‘부정선거 음모론’에 기름을 부었다는 비판도 제기된다. 3회에선 여론조사기관에 대한 관리감독 실태(①)와 조사 결과가 큰 차이를 보이는 이유(②)를 짚어본다.

기사 이해를 돕기 위한 사진. 챗gpt 생성 AI 이미지

국민의힘 34.3% vs 더불어민주당 45%(A 여론조사 업체)

국민의힘 45.3% vs 더불어민주당 38.2%(B 여론조사 업체)

두 수치는 지난달 초 중앙선거여론조사심의위원회에 공표된 정당 지지도 조사 결과다. 윤석열 전 대통령 탄핵 선고를 앞두고 있던 시기였다. 당시 A업체는 7~8일, B업체는 5~6일 이틀에 걸쳐 조사를 진행했다. 모두 전국 만 18세 이상 남녀 약 1000명에게 물어 이 같은 결과가 나왔다. 구체적으로 A업체는 “지지하거나 조금이라도 더 호감이 가는 정당은 어디입니까”, B업체는 “선생님께서는 다음 중 어느 정당을 조금이라도 지지하십니까”라고 응답자에게 물었다. 질문 내용에서도 특별한 차이는 없어 보인다. 그럼에도 두 여론조사 결과가 이렇게 큰 차이를 보이는 이유가 무엇일까.

◆전체 유권자를 다 조사할 수 없기에

여론조사는 조작될 수 있을까. 여론조사 전문가들은 의도라는 표현을 썼다. 객관성을 담보하는 것이야말로 여론조사의 생명이지만, 일부 여론조사의 경우 의도가 있다면 방향을 틀 수 있다는 뜻이다.

여론 조사의 조작 가능성을 거론하려면, 우선 여론조사가 어떻게 진행되는지를 살펴봐야 한다. 

기사 내용과 관련 없음. 게티이미지뱅크 제공

여론조사는 오차가 생길 수밖에 없다는 점을 전제로 한다. 전체 유권자를 다 조사하는 건 불가능해서다. 업체들은 통신사 안심번호를 활용하거나, RDD(Random Digit Dialing)를 활용해 무작위로 표집틀을 구한다. 이중 통상 1000~2000명가량을 대상으로 조사를 진행한 뒤 중앙선거여론조사심의위원회에서 정한 3개의 변수(성, 연령, 지역) 응답자 비율에 맞춰 0.7~1.5의 가중값을 적용해 표본을 구성한다. 가중값 방식도 셀가중(변수를 모두 반영해 세부 구분마다 각각 다른 가중치를 부여하는 방식), 림가중(전체 표본에서 기본적인 변수에 한해 가중치를 부여해 가는 방식) 두 가지 방식을 사용할 수 있다.

이렇게 표본을 구성하는 과정에서 오차가 발생한다. 표본오차는 95% 신뢰수준에서 1000명 조사는 ±3.1%포인트, 2000명 조사는 ±2.2포인트다. 1000명을 조사하면 6.2%포인트, 2000명 조사하면 4.4%포인트까지는 격차가 난다고 볼 수 없다는 의미다. 

전영일 서울대 IPSAI센터장은 지난달 10일 국회에서 열린 ‘정치 여론조사와 보도의 공정성’ 토론회에서 “51%의 결과가 있을 때 표본오차를 고려하면 과반수를 득표했다고 보도하면 안 된다”며 “2인의 후보자가 표본오차 내에 있으면 특정 후보가 앞서거나 뒤지고 있다고 하는 것도 오류”라고 설명했다.

여론조사 방식에 따라서도 오차는 발생한다. 정치 여론조사 방식은 크게 전화면접조사(CATI)와 자동응답전화(ARS)로 나뉜다. 전화면접조사는 면접원이 직접 전화를 걸어 응답자와 대화를 하며 설문을 진행하는 방식이다. 반면 자동응답전화조사는 자동응답시스템을 이용해 미리 녹음된 음성으로 질문을 전달하고 응답자가 숫자 버튼을 눌러 답변하는 방식이다.

여론조사 학계와 업계에선 직접 사람이 조사대상자의 변수를 확인하고 조사를 하는 전화면접조사가 자동응답전화조사보다 더 나은 방식으로 본다. 전화면접조사의 경우 사람이 대화를 통해 조사를 진행하는 과정에서 오차가 생길 수 있지만, 이론적으로 자동응답전화조사가 오차가 생길 변수가 더 많기 때문이다.

예를 들어 무작위로 구한 표집틀에 자동응답전화조사를 진행하면 응답자는 마음만 먹으면 자신의 성별, 지역, 나이 등을 조작할 수 있다. 또 응답률이 낮은 만큼 정치고관여층의 참여도가 높아 조사 결과에 왜곡이 생길 수 있다는 특징이 있다. 일각에선 이 같은 이유로 자동응답전화조사 방식으로 진행된 정치·선거여론조사의 공표를 금지해야 한다는 목소리가 나온다. 

세계일보가 창간 36주년을 맞아 한국갤럽에 의뢰해 지난 1월 전국 만 18세 이상 성인 1004명을 대상으로 실시한 여론조사의 차기 대선 양자 대결 질문 내용. 세계일보 자료사진

◆의뢰자·업체는 어떻게 원하는 결과를 얻을까

여론조사를 의뢰·수행하는 기관의 성향에 따라서도 결과는 편향성을 가질 수 있다. 이를 ‘하우스 이펙트(House Effect)’라고 한다.

전문가들은 특정 정파성을 띤 업체는 이름 자체로 하우스 이펙트를 발생시킨다고 지적한다. 여심위가 공표한 이들의 여론조사 결과를 조작이라고 할 수는 없다. 다만 여론조사 전문가 C씨는 “조사를 할 때 처음 업체명을 밝히는데, 반대 진영 지지자들은 업체명만 듣고도 전화를 끊어버릴 수 있다”며 “그럼 결국 특정 진영 지지자들이 여론조사에 더 많이 참여하게 되고 표본 과표집 문제가 생겨 조사 결과가 왜곡될 확률이 커진다”고 설명했다.

업체가 구성한 질문 내용, 순서도 조사 결과를 결정짓는 요소로 분석된다. 2월2~3일 펜앤드마이크가 여론조사 공정에 의뢰해 전국 만 18세 이상 남녀 1002명을 대상으로 무선 ARS 방식으로 진행한 조사에서 윤 전 대통령 지지율이 51%(응답률 5.1%, 표본오차 95% 신뢰수준 ±3.1%포인트)가 나와 논란이 된 바 있다.

질문지를 보면 초반에 진보성향인 문형배·이미선·정정미 헌법재판관의 각종 의혹을 설명하고 적절성 여부를 묻는다. 이후 조사 마지막에 윤 전 대통령 지지도 문항이 배치됐다.

당시 더불어민주당 노종면 대변인은 “특정 성향은 도저히 조사에 응할 수 없는 질문들을 앞에 배치해 이탈을 사실상 유도한 뒤 마지막에 윤석열 지지 여부를 물으면 그 질문 응답자는 대부분 누구이겠는가”라며 문제를 제기했다. 이 같은 질문 내용과 배치는 보수·진보 양 진영에서 공통으로 문제를 제기하는 형태다.

전문가 D씨는 “여론조사 질문을 배열할 땐 뒤에 나올 질문의 답변에 영향이 가지 않도록 해야 한다”며 “한쪽의 안 좋은 점을 알려주는 것, 예를 들어 후보들 간 지지율 조사를 할 때 한 후보자의 범죄사실 등을 읊어주는 식의 조사는 업체에서 무언가 다른 의도가 있다고 의심을 받을 수밖에 없다”고 설명했다.

답변 형태와 개수도 결과에 영향을 끼친다. 가령 최근 많이 공표되고 있는 조기 대선 후보 가상대결의 경우 국민의힘 후보와 더불어민주당 후보만 조사하느냐, 아니면 보기에 ‘그 외 인물’같이 다른 선택지를 넣느냐에 따라 수치가 달라질 수 있다.

D씨는 “최근 조사를 보면 민주당은 이재명 대표만 가상대결에 넣지만, 국민의힘에선 후보가 명확하지 않고 다양하다”며 “국민의힘 지지자지만 다른 후보를 지지해 그 외 인물을 선택하는 경우가 있기 때문에 실제 선거 결과와는 차이가 나는 조사”라고 설명했다.

C씨 역시 “보기가 짝수냐 홀수냐에 따라서도 조사 결과는 달라진다”며 “가운뎃 값이 있으면 양 극단 답변 비율이 줄어들고, 질문에 따라 특정 답변에서 더 많이 줄어들기도 한다”고 말했다.

곽종근 전 육군 특수전사령관이 지난 2월 6일 서울 종로구 헌법재판소에서 열린 당시 윤석열 대통령 탄핵 심판 6차 변론에 증인으로 출석해 피청구인인 윤 대통령 측 대리인들의 질문에 답하고 있다. 곽 전 사령관은 지난 2024년 12월 1일 김용현 전 국방장관으로부터 “국회·중앙선거관리위원회·더불어민주당사·여론조사 꽃 등에 부대를 투입하라는 지시를 받았다”고 했다. 헌법재판소 제공

◆범람하는 여론조사...신뢰성 판단 ‘꿀팁’은

전문가들은 높은 응답률이 정확한 조사를 담보하는 것은 아니라고 설명한다. 다만 좋은 조사를 판가름하는 데 있어 중요한 요소는 맞다고 입을 모은다. 애초에 목표로 했던 표본에 가장 가깝게 조사됐다는 의미여서다.

C씨는 “응답률이 높은 조사는 모집단에 더 가까울 개연성이 있는 것”이라고 설명했다. 이어 “조사의 대표성을 보증하는 작업에서 응답률은 아주 중요한 지표”라며 “업체가 이 조사를 위해 들인 노력, 기본적인 요건을 갖춘 조사인지를 판단할 수 있다”고 말했다.

아울러 그는 여론조사 수치가 정수인지 소수점인지를 확인하는 것도 방법이 될 수 있다고 설명했다.

그는 “소수점으로 제시한 조사는 이 조사가 정확하다고 티를 내고 싶어 하는 것으로 이해하면 된다”며 “그러나 기본적으로 여론조사는 표본오차가 존재하기 때문에 소수점은 통계적으로 의미가 없다”고 강조했다. 이 같은 이유로 한국조사협회에선 정치선거 여론조사 결과를 정수로 제시하는 기준을 마련해놨다.

D씨는 “호남에서 국민의힘 지지율과 영남에서 더불어민주당 지지율이 어느 정도 나왔는지를 미리 확인하면 표본의 신뢰도를 파악하는 데 도움이 될 수 있다”고 조언했다. 그동안 그 지역에서 보인 양당의 지지율에 비해 조사에 나타난 지지율이 지나치게 높게 나왔다면 표본의 정확성을 의심해 볼 수 있다는 것이다.

그는 또 “질문에 편향성이 있는 조사는 경계하고, 질문 내용 자체가 쉬운 조사일수록 오차 발생 확률이 줄어들어 좋은 조사”라고 강조했다.

구윤모 기자 [e-mail]