지문
지문 전체를 읽어보세요. [A]처럼 대괄호로 묶인 글자는 문장 삽입 문제의 네 위치를 나타냅니다.
The Poll That Asked Too Many People
¶1 A poll's credibility, most people assume, comes down to how many people it asks. A survey of ten million respondents should be more trustworthy than one of only a few thousand, simply because it counted more opinions. Twice within twelve years, that assumption produced one of the most confident wrong predictions in American political history. The lesson pollsters eventually learned was not that a large sample is useless. A sample's size guarantees almost nothing on its own. What matters is whether the people counted actually represent the people being predicted about. Getting that right proved far harder than simply counting responses.
¶2 In 1936, the magazine Literary Digest ran the country's best-known election poll. It had correctly predicted the winner of every U.S. presidential race since 1920. The method was simple: mail millions of postcard ballots to names drawn from telephone directories and automobile registration lists. That year it mailed ten million ballots and received nearly 2.4 million back. It confidently predicted that the Republican challenger would defeat President Franklin Roosevelt in a landslide. Roosevelt instead won one of the largest landslides in American history. The magazine's sample was enormous. In the middle of the Great Depression, however, owning a telephone or a car was still a mark of relative wealth. The households that owned them leaned far more Republican than the country as a whole. A rival forecaster, George Gallup, had used a sample of only about fifty thousand people. It was deliberately chosen to match the nation in age, income, and region, and Gallup predicted Roosevelt's win correctly. Size had lost to structure.
¶3 Gallup's technique, known as quota sampling, fixed target categories in advance: so many farmers, so many factory workers, so many residents of each region. Interviewers then kept interviewing within each category until the finished sample looked like a small mirror of the national population. It solved the flaw that had wrecked the Literary Digest poll. A sample no longer needed to be large to be accurate. It only needed to be representative of the traits that actually predicted how someone would vote. Pollsters finally had a specific, repeatable answer to a question that had previously been guesswork: exactly whom should a survey ask?
¶4 Quota sampling spread quickly. By the 1940s, several organizations were using it, including Gallup's own and two competitors. They forecast elections, tracked consumer habits, and gauged public attitudes toward the war. Interviewers carried lists of quotas into neighborhoods and stopped once each category was filled. They were confident that the method that had beaten Literary Digest would keep working. For more than a decade, it did. Quota sampling became the accepted foundation of American survey research. Newspapers printed its election forecasts as though the outcome were already decided.
¶5 That confidence broke in 1948. [A] Gallup and two rival pollsters again used quota sampling to forecast the presidential race. All three predicted that Thomas Dewey would defeat Harry Truman by a comfortable margin. [B] Truman won, and one newspaper had already printed a morning edition with the headline "Dewey Defeats Truman. Photographers later caught Truman holding up a copy of it and laughing. [C] The investigation that followed found that quota sampling's flaw was not the categories themselves but the interviewers who filled them. [D] Given freedom to choose exactly whom to approach within each quota, interviewers tended to pick people who were easier to reach. Those people leaned more Republican than the category as a whole. Pollsters replaced quota sampling with probability sampling, a method in which every person in the population has a known, fixed chance of being selected and interviewers have no say in who actually gets asked. That shift, from interviewer choice to random chance, has remained the foundation of credible survey research ever since.
문제
11개 문제 — TOEFL Reading 문제 유형을 모두 포함, 실제 시험 순서 그대로.
정답 보기
정답 보기
정답 보기
정답 보기
정답 보기
Highlighted: "Pollsters replaced quota sampling with probability sampling, a method in which every person in the population has a known, fixed chance of being selected and interviewers have no say in who actually gets asked."
정답 보기
정답 보기
정답 보기
정답 보기
That error, once again, had nothing to do with how many people were counted.
Where would the sentence best fit?
정답 보기
Twentieth-century American pollsters twice made confident, widely publicized election predictions that turned out to be badly wrong, and each failure taught them something new about what actually makes a poll's sample trustworthy.
정답 보기
해석 & 답지
지문 해석과 문제별 정답·해설입니다. 스스로 다 풀고 난 뒤 복습용으로 사용하세요.
너무 많은 사람에게 물어본 여론조사
여론조사의 신뢰도는 몇 명에게 물었는지에 달려 있다고 대부분 생각한다. 천 명에게 물은 조사보다 천만 명에게 물은 조사가 더 믿을 만해 보이는 것은, 그만큼 더 많은 의견을 모았기 때문이다. 그러나 12년 사이 두 번이나, 이 가정은 미국 정치사에서 가장 자신만만하게 틀린 예측을 낳았다. 여론조사원들이 결국 얻은 교훈은 표본이 크면 소용없다는 것이 아니었다. 표본의 크기만으로는 거의 아무것도 보장하지 못하며, 정말 중요한 것은 조사에 포함된 사람들이 예측 대상이 되는 전체 집단을 실제로 대표하는가였다. 그리고 그것을 제대로 맞추는 일은 응답 수를 세는 것보다 훨씬 어려운 것으로 드러났다.
1936년, 잡지 리터러리 다이제스트(Literary Digest)는 미국에서 가장 유명한 대선 여론조사를 실시했다. 이 잡지는 전화번호부와 자동차 등록 명단에서 뽑은 이름들에게 우편으로 투표용 엽서를 보내는 방식으로, 1920년 이후 모든 대선의 승자를 정확히 맞혀왔다. 그해에는 천만 장의 엽서를 보내 240만 장에 가까운 응답을 받았고, 공화당 후보가 프랭클린 루스벨트 대통령을 압도적인 표차로 이길 것이라고 자신 있게 예측했다. 그러나 실제로는 루스벨트가 미국 역사상 최대 표차 승리 중 하나를 거뒀다. 잡지의 표본은 엄청나게 컸지만, 대공황 한복판이던 그 시절 전화나 자동차를 소유한다는 것은 여전히 상대적인 부의 표시였고, 그것들을 소유한 가구는 미국 전체보다 훨씬 더 공화당 쪽으로 기울어 있었다. 경쟁 예측가였던 조지 갤럽(George Gallup)은 겨우 5만 명 정도의 표본을 사용했지만, 나이·소득·지역별로 전체 국민의 구성을 그대로 반영하도록 일부러 골라 뽑았고, 루스벨트의 승리를 정확히 예측했다. 크기가 구조에게 진 것이다.
갤럽의 기법은 할당표집(quota sampling)이라 불리는데, 미리 목표 범주를 정해두고 — 농부는 몇 명, 공장 노동자는 몇 명, 각 지역 주민은 몇 명 하는 식으로 — 조사원들이 각 범주가 다 채워질 때까지 계속 인터뷰하도록 요구하는 방식이었다. 그 결과 완성된 표본은 전체 국민의 축소판처럼 보였다. 이 방식은 리터러리 다이제스트의 여론조사를 무너뜨린 결함을 해결했다. 표본은 더 이상 정확하기 위해 커야 할 필요가 없었고, 다만 실제로 투표 성향을 좌우하는 특성들을 대표하기만 하면 됐다. 여론조사원들은 그동안 그저 짐작으로만 답해왔던 질문, 즉 정확히 누구에게 물어야 하는가에 대해 마침내 구체적이고 반복 가능한 답을 갖게 됐다.
할당표집은 빠르게 퍼져나갔다. 1940년대에 이르러 갤럽 본인의 조직을 포함한 여러 기관이 이 방식을 선거 예측뿐 아니라 소비 습관 조사, 전쟁에 대한 여론 파악에도 사용했다. 조사원들은 할당 목록을 들고 동네를 돌며 각 범주가 채워지면 그만두었고, 리터러리 다이제스트를 이긴 방법이니 계속 통할 것이라 확신했다. 실제로 십 년 넘게 그 방법은 통했다. 할당표집은 미국 여론조사 연구의 확고한 기반으로 자리 잡았고, 신문들은 마치 결과가 이미 정해진 것처럼 그 예측치를 그대로 실었다.
그 확신은 1948년에 깨졌다. [A] 갤럽과 두 경쟁 여론조사 기관은 또다시 할당표집으로 대선을 예측했다. 셋 다 토머스 듀이(Thomas Dewey)가 해리 트루먼(Harry Truman)을 여유 있게 이길 것이라고 내다봤다. [B] 그러나 트루먼이 승리했고, 한 신문은 이미 "듀이, 트루먼에 승리(Dewey Defeats Truman)"라는 제목의 조간판을 인쇄해둔 상태였다. 훗날 사진기자들이 트루먼이 그 신문을 들고 웃는 모습을 카메라에 담았다. [C] 뒤이은 조사에서 밝혀진 것은, 할당표집의 결함이 범주 자체가 아니라 그 범주를 채운 조사원들에게 있었다는 사실이었다. [D] 각 할당 범위 안에서 정확히 누구를 찾아갈지 조사원 재량에 맡겨두자, 그들은 접근하기 쉬운 사람을 고르는 경향을 보였다. 그런 사람들은 해당 범주 전체보다 더 공화당 쪽으로 기울어 있었다. 여론조사원들은 할당표집을 확률표집(probability sampling)으로 대체했다. 이는 모집단의 모든 사람이 선택될 확률이 정해져 있고 조사원의 재량이 전혀 개입하지 않는 방식이다. 조사원이 응답자를 고르던 방식에서 무작위가 응답자를 고르는 방식으로 바뀐 이 전환은, 오늘날까지도 신뢰할 수 있는 설문조사 연구의 토대로 남아 있다.
정답 보기
Vocabulary — '그것들을 소유한 가구는 공화당 쪽으로 훨씬 더 기울었다'는 문맥이 '~쪽으로 기울다, 선호하다'라는 뜻을 확인해준다.
정답 보기
Reference — '결함을 해결했다'의 주체는 바로 앞 문장에서 소개된 갤럽의 기법(할당표집)이다.
정답 보기
Essential Term — 용어가 처음 등장하는 자리에서 주어지는 설명이 곧 정의다.
정답 보기
Factual — 지문 문장을 그대로 옮긴 보기다.
정답 보기
Negative Fact — 지문 어디에도 연방법이 이 방식을 요구했다는 언급은 없다.
정답 보기
Sentence Simplification — (B)는 원문과 정반대(대체가 아니라 유지)이고, (C)와 (D)도 '조사원의 재량이 없다'는 원문 내용을 뒤집었다.
정답 보기
Inference — 전화·자동차를 소유한 가구가 공화당 쪽으로 기울었다는 서술을 뒤집으면, 소유하지 않은 가구는 반대로 기울었으리라는 결론이 나온다.
정답 보기
Rhetorical Purpose — 인쇄까지 마친 이 유명한 오보 사례가, 앞서 나온 '예측이 틀렸다'는 주장을 생생하게 뒷받침한다.
정답 보기
Paragraph Relation — 같은 방법(할당표집)이 3단락의 성공에서 5단락의 결함 노출과 대체로 이어지는 전개다.
정답 보기
Insert Text — 트루먼의 승리로 예측이 틀렸음이 이미 드러난 뒤, 그 결함의 진짜 원인(조사원)을 설명하는 문장 직전 자리에 이 문장이 다리를 놓는다.
정답 보기
Prose Summary — (A)는 2단락, (B)는 3~4단락, (D)는 5단락의 핵심이다.