最近美国民主党的几场初选非常有意思，因为民调错得已经不是三五个百分点的问题了。

一个典型例子是密歇根州参议员民主党初选。选举前几天，Emerson College 的民调显示 Abdul El-Sayed 以 54% 对 39% 领先 Haley Stevens，算上 undecided 的倾向以后甚至是 57% 对 41%，领先十几个百分点。

结果真正到了8月4日投票，El-Sayed确实赢了，但是只赢了大约一个百分点，最后变成了一场极其接近的选举。

另一个更加夸张的是威斯康星州州长民主党初选。Francesca Hong 在此前的民调中长期领先，有些民调甚至显示她领先三十个百分点左右。结果8月11日真正投票，David Crowley反过来以极小的优势击败了她。

连续出现这种情况，就不能简单归结成所谓的 margin of error 了。

我觉得这里面至少有三个问题。

第一个，是民主党初选本身就非常难做民调。

大选相对容易一些，因为你大概知道选民总体是什么样子。但是党内初选参加投票的人少得多，而且 turnout 波动非常大。真正的问题甚至不是你调查了500个人还是1000个人，而是你根本不知道最后到底哪些人会出来投票。

这在统计上是两个完全不同的问题。

民调机构真正要估计的是：

P(支持某候选人|最后真的出来投票)

麻烦就在后面这个条件。

一个人可以注册为民主党，可以告诉民调机构自己支持某个候选人，但是到了星期二到底会不会去投票，是另外一个随机变量。

所以民调机构必须自己建立 likely voter model。模型稍微错一点，结果就可能差很多。

第二个问题，我觉得更加重要，就是现在民主党内部的 variance 实在太大了。

民主党本身已经变成了一个非常复杂的 coalition。

一个底特律的阿拉伯裔选民，一个密尔沃基的黑人选民，一个Madison的年轻progressive，一个芝加哥郊区类似的高学历白人女性，虽然统计上都可以被归到“Democratic voter”里面，但是他们的政治偏好、最关心的问题、候选人选择以及投票积极性可能完全不同。

这就给民调机构造成了一个非常麻烦的问题：你怎么平衡？年龄、性别、race、education都可以weight，但 ideology 怎么weight？对某一个具体议题的敏感程度怎么weight？谁会因为某个候选人最后一个星期突然出来投票，又怎么weight？

这实际上已经变成了一个很高维的 joint distribution。

更麻烦的是，同一个 demographic group 内部的 variance 都可能非常大。

两个都是30岁、大学学历、民主党选民的人，一个可能是每天看政治新闻、每次primary都投票的progressive activist；另外一个可能四年才投一次总统选举。

在民调的表格里面，他们可能属于同一个cell。

但是他们的P(turnout)完全不是一回事。

所以现在民主党民调一个很大的问题，就是表面上的 demographic balance 做得很好，真正决定选举结果的 distribution 却根本没有被balance。

这也是为什么增加样本量不一定能够解决问题。

如果你的模型本身有bias，那么从1000个人增加到3000个人，只会让你的confidence interval变得更漂亮，并不会让你的预测自动变正确。

从统计学上说，现在很多初选民调真正大的问题已经不是 sampling variance，而是研究的模型已经出了问题。

第三个问题，就是大家对“民调”这个东西本身也不要想得太神圣。

民调当然是一门统计学，但是政治民调从来都不只是统计学。

你选择registered voter还是likely voter，怎么定义likely voter，哪些response留下，哪些response剔除，weight怎么做，问题怎么问，这里面都有大量研究者的选择。

更不要说很多campaign、PAC和政治组织自己发布的poll。

这里甚至不需要造假。

比如你连续做五次调查：

A领先2%。A领先4%。A领先9%。A领先3%。A领先5%。最后你只公布那一次领先9%的。

所有原始数据都是真的，但是公众得到的信息已经发生了明显偏移。

政治民调有时候本身就是政治传播的一部分。它可以制造momentum，可以影响捐款，可以影响endorsement，也可以让选民产生“这个人已经要赢了”的印象。

所以，民调机构想用几百个人，再通过几个传统demographic variable把整个选民总体重新拼出来，这件事情本身就很困难了。

大家看一乐就行了。