如何解释民意调查中的误差幅度?

机器算法验证 统计学意义 采样 民意调查 轮询 媒体统计
2022-04-13 08:36:54

最近,媒体报道了一项政治民意调查,称“密西西比州46%的共和党选民认为异族通婚应该是非法的”。纽约每日新闻中的一个例子(网络上的许多故事)是这样的:跨种族婚姻应该是非法的,在新的民意调查中,46% 的密西西比州共和党人说从那篇文章:

上个月进行的一项调查显示,该州 46% 的共和党选民认为跨种族婚姻应该是非法的——多数人受到质疑

鉴于我认识许多跨种族婚姻的人(包括我自己的家庭),我有动力去追查整个故事,而不是陷入明显的歇斯底里。我在此处的公共政策投票(PDF) 中找到了有关民意调查的新闻稿,其中有:

这些铁杆共和党选民中有 46% 认为跨种族婚姻应该是非法的,而 40% 认为它应该是合法的。包括巴伯在内,赫卡比从前者获得的支持(22%)多于后者(15%),佩林(13-6)也是如此。对巴赫曼 (10-2)、金里奇 (13-8) 和 Pawlenty (4-1) 的支持则相反。

在第一页的末尾,他们说:

3 月 24 日至 27 日,PPP 对 400 名密西西比州共和党初选选民进行了调查。该调查的误差幅度为 +/-4.9%。

现在我不明白的是如何解释结果,尤其是误差值。

从原始数据来看,400 名选民中有 46%(~50%)是 200 名回应认为异族通婚应该是非法的选民。但根据 2008 年联邦大选密西西比州的统计数据,麦凯恩获得了约 725,000 票共和党选票(奥巴马为 556,000 票)。我的直觉是,你不能将 46% 的数字外推到其他 724,600 名共和党选民,但仍然保持 5% 的误差幅度。

那么媒体是否歪曲了这些数字(真的吗?媒体会这样做吗?!?!?!)或者我不理解工作中的统计数据?

谢谢你的帮助!

4个回答

误差幅度为 % 的说法是基于假设民意调查是在一个盒子里装满了票的情况下进行的——整个人口(“铁杆共和党选民”)的每个成员一张票——完全混合,人被盲目取出,相关的选民中的每一个都在他们的票上写下了所有民意调查问题的完整答案。投票结果就是“样本”。4.9400400400

“好像”提出了许多实际问题,即民意调查是否真的可以被视为以这种方式产生的。(我们真的可以将人口视为由一组确定的票代表吗?假设所有票都已完全填写是否公平?抽样的方式是否类似于从完全混合的盒子中抽取?等等。)其他受访者列出了其中一些问题。然而,承认这是一个适当的民意调查模型将我们引向问题的关键:张票在多大程度上代表了整个人口?400 我们永远无法确定,但我们可以通过研究从一盒票中抽样的过程来制定一些期望。

为此,我们一次只关注一个问题。我们不妨将每张票视为对该问题的“是”或“否”答案。我们现在将真实的调查结果(即盒子中所有票的真实比例张票的无数可能样本的结果进行比较。(有超过这样的样本。)我们必须对任何可能的真实比例进行比较,但即便如此,这也只是数学计算的问题。该计算表明,在至少 % 的所有此类样本中观察到的响应位于总体值的4001.9×10147595±4.9无论人口价值是多少。 例如,如果框中恰好有 % 的票是“是”,那么票的可能样本中有 %将包含 % = % 和 % =之间的是。5095400504.945.150+4.954.9

% 的计算值实际上取决于总体中“是”的真实比例:如果该比例非常小或非常大,我们发现超过95的所有样本将给出精确到边缘的结果误差 %的真实比例是最坏的情况,使用它是因为我们不知道真实的比例!959550

这就是所有的误差范围。 因为 % 是所有可能样本的很大一部分,所以我们认为实际获得的一个 % 中。允许怀疑者假设样本可能是剩余的 % 之一:我们无法证明他是错误的(无论如何,仅基于民意调查结果)。然而,类似的计算表明(例如)在百万分之一的可能样本中,肯定的比例与真实比例的差异将超过还是可以的9595512.2民意调查是这些百万分之一的样本之一,但我们有非常不可靠的理由相信这一点。因此,对于真实比例可能是什么构成“合理”数量的怀疑通常是有限度的,并且很少像 % 那样极端。±100

这些计算提供的基本见解是,一旦盒子里的票数变得适度大(在这种情况下为几千张),误差幅度就不再取决于盒子里有多少票应该直观地清楚,对于一个相对较小的样本,唯一真正重要的是盒子中是的比例,因为比例决定了得出“是”或“否”的机会,而这个比例并没有明显变化在抽出张票中的第一张和最后一张之间。400

总而言之,假设将民意调查视为从盒子里抽票是准确的,那么我们从民意调查中“推断”到人口的权利(更正式地称为统计推断的过程)是不确定的,因为我们总是可以是错的; 但是当样本只是总体的一小部分时,我们在进行推断时可能出错的程度主要取决于样本的大小,而不是总体的大小。这就是为什么大多数可信的民意调查,无论是本地还是国际范围,都使用几百到几千个样本。很少需要更大的样本来获得获得合理准确度的高机会。

我不会尝试提供自己的答案,但我会建议您参考“什么是调查?” 由美国统计协会调查研究方法部编写的小册子。(在标题页上背书的弗里茨·舍伦(Fritz Scheuren)是大约五年前的 ASA 前总裁。他曾经是社会保障局和国税局等联邦机构的知名统计师,现在从政府部门半退休继续担任芝加哥大学国家舆论研究中心的副总裁。)这本小册子清晰而简洁地解释了您何时以及为什么可以或不能将调查结果外推至目标人群。

要回答您的问题:

可以400 个样本推断出所有 700,000 个视图。这取决于样本是随机的。统计能力是您要确认这一点的主题。如果我问我最亲密的 400 个朋友,这是行不通的。要获得真正的随机样本,我必须得到所有 700,000 人的列表,并使用随机数生成器从中挑选 400 人。即便如此,也可能存在一些选择偏差。例如,如果我们只拨打固定电话,那么年轻人(通常只有手机)在样本中的代表性不足。仍然可以纠正这些问题,但您必须非常小心。

Nate Silverstein 的博客有一些关于不同民意调查公司的可靠性、他们的技术问题以及美国政治民意调查的正确推论的非常好的帖子。

简短的回答是肯定的,你可以推断。

更长的答案:关键问题是民意调查者是否随机抽取了人口样本。他们声称随机抽取了共和党初选选民的样本。但这很困难。人们拒绝回答民意调查,或者他们不在家或其他事情可能出错;更糟糕的是,接听电话的人并不是整个人口的随机样本(例如,年轻人不太可能拥有固定电话)。因此,大多数民意调查者试图对他们获得的样本进行加权以匹配已知人群。共和党初选的出口民意调查很好地估计了这一人群的各种特征。

信誉良好的民意调查机构(如 PPP)努力以平衡的方式做到这一点。

那么,你能从一个相对较小的样本推断出一个庞大的人口吗?是的,你可以,但有一些警告。