一個兩次預測美國大選幾乎全中的數據媒體，為什麼在這一屆上也栽了？
四年一次的美國總統大選預測，大概是全球最重要的數據分析。
一年時間裡，民調機構打了數以百萬計的電話，以不同方式解讀數據、預測結果。再沒有第二件事能像大選一樣讓這麼多人投入這麼多資源，嘗試分析民眾的想法。
現在，大選結束一周了，參與機構們還在試圖解釋一個問題 —— 為什麼它們都錯了。
美國政治新聞網站 Mother Jones 在選舉結果出來後 P 了一張照片。
圖片來自：motherjones
原始照片說的是 1948 年大選。當時《芝加哥論壇報》根據電話民調判斷杜魯門會輸，提前印好了報紙發往全國。第二天杜魯門大勝，拿著一份論壇報接受媒體採訪。
1948 年的預測受限於當時只有 1/3 的美國人擁有電話，民調獲得樣本有限。但這種局限今天已經不存在，技術的發展使幾乎每個人都能通過電話和手機被找到，現在還有通過覆蓋甚廣的互聯網進行的民調。
有了更好的技術和更多的民意樣本，機構對大選的預測本不該有任何「驚喜」。
你可以懷疑《紐約時報》、CNN 之類本身傾向民主黨的媒體在解讀數字時有所偏差。但這次所有根據民調預測的機構也差不多都錯了。連特朗普最重要的媒體支持者、美國最大電視台之一的福克斯新聞網，根據民調作出的預測也判斷特朗普會輸。
新銳數字分析媒體 FiveThirtyEight 也在猜錯的隊伍里。
從 「538」 這個名字你就不難猜出它和選舉的關係——這是選舉人的數量。每個州有一定選舉人，當一個州的選民投票結果出來後，該州的所有選舉人都會投給第一名候選人。
美國大選本質上是二選一，所以「猜」誰贏不是特別難。FiveThirtyEight 厲害的地方在於，它除了準確地預測上兩屆誰成功當選外，還在 2008 年準確地預測對了 49 州的選舉人票結果；2012 年更是預測 50 個州選舉人票結果全對。
沒什麼機構和媒體能做到這樣。何況 2008 年的時候 FiveThirtyEight 只是個個人博客。
但今年，已經積累了兩次大選經驗，團隊擴張到數十人的 FiveThirtyEight 預測希拉里·柯林頓勝率 71.8%，認為她可以拿到 302 張選舉人票，全民投票比例為 48.5%:45%。
實際結果是特朗普拿了 306 張選舉人票，柯林頓 232 票。柯林頓雖然拿到更多大眾投票，但也只多 0.76%。
FiveThirtyEight 怎麼做預測的？
曾在畢馬威擔任過經濟顧問的分析師 Nate Silver，在 2004 年離職後靠打撲克賺了 40 萬美元，還在一家棒球網站 Baseball Prospectus 做了幾年合伙人。期間他創建了 PECOTA 預測系統，評估球員未來表現和交易價值。
2008 年，Nate Silver 創辦了 FiveThirtyEight，預測大選結果。
因為準確預測 2008 年選舉人票歸屬，FiveThirtyEight 快速獲得關注。到奧巴馬當選那天，網站單日訪問量已接近 500 萬。同時期訪問量躋身美國網站前十的《紐約時報》的日訪問量也不過 2000 萬。
2010 年 6 月，FiveThirtyEight 被《紐約時報》收購，作為一個子品牌加入上百個博客組成的時報博客群。
2013 年，Nate Silver 脫離《紐約時報》加入這家迪士尼旗下的體育新聞網站 ESPN。獨立的 http://fivethirtyeight.com 也在這時候成立，標誌是一隻狐狸。
哲學家以賽亞·伯林在《狐狸和刺蝟》中寫道，狐狸知道很多事情，刺蝟只知道一件大事。刺蝟用一個觀點統攝對世界的認識，另一類狐狸，則承認種種無法統一的經驗，拒絕僅僅一個觀點。
Nate Silver 自比狐狸，被他拿來當作刺蝟進行對比的就是傳統媒體。它們跟著自身強烈的黨派意識作選情判斷，「狐狸」更相信自己的多方位觀察、不斷修正自己的判斷，作出更準確的判斷。
Nate Silver 談到自己作決策時用到數理統計學中的貝葉斯決策理論。意思是信息不全情況下，對部分未知的狀態用主觀概率進行預測，然後用貝葉斯公式對發生概率進行修正，最後再利用期望值和修正概率做出最優決策。
從最早預測大選到後來評估棒球球員的未來表現，FiveThirtyEight 自己都沒有數據，它仰仗外部數據做分析，出彩的地方是自己的預測模型。
FiveThirtyEight 預測模型有三種，分別是：
Polls-plus: 結合民調數字和經濟指數的一種預測。模型假設競爭會比較激烈。
Polls-only: 比 Polls-plus 更簡單、所見即所得的一種預測。模型只統計民調結果，反映大選日當天的勝率，比 Poll-plus 更具不確定性。
Now-cast: 根據現有民調預測今天就進行選舉的勝率，比另外兩種模型激進得多。
不同預測模型之間的區別在於，它們用不同的方法綜合評估各種民調，賦予這些民調不同的權重，最後得出自己的預測。
用外部數據作自己的分析預測，這也是其它預測機構的通行做法。如《紐約時報》Upshot 用的是《赫芬頓郵報》的民調資料庫，《經濟學人》跟 YouGov 合作以及 NBC 新聞和網路調研公司 SurveyMonkey 合作等。
民調整體預測的差距不到 4%
一般來說，平時見到的民意調查可以來自各種機構、組織或個人，比如報章雜誌、電視、網路、諮詢公司。好奇心研究所做的投票其實就是一種民調。
而美國大選的民調，基本上是媒體獨立開展或與民調機構進行合作。
他們用隨機抽樣的方式挑選一批已經註冊登記的選民，了解他們的投票傾向。收集完數據，民調機構一般會抽樣情況對數據賦予不同的權重。
像蓋洛普這樣做得比較好的民調機構，會在統計出所有樣本各種量化的結果後，和美國的全國資料做比較，找出哪類人受訪的比例不均，並在接下來的調查中，非隨機地調整受訪的對象，藉以抵消並彌補不平均的狀況最後統計出結果。
今天的民調方法是在 1936 年大選預測失敗後完善起來的。
1936 年民主黨候選人富蘭克林·羅斯福謀求連任，他的競爭對手是來自民主黨的堪薩斯州州長阿爾夫·蘭登。當時知名雜誌《文學文摘》照著黃頁信息、雜誌訂閱名單、各類組織和俱樂部的花名冊，寄了 1000 萬份明信片做民調，最終收到了 240 萬份回信。
它根據這些數據得出結論蘭登和羅斯福選票比例為 57:43，蘭登可以取得當時 531 張選舉人票中的 307 張。
最後開票結果為羅斯福取得 62% 選票，羅斯福以 523:8 的選舉人票，壓倒性地戰勝蘭登，成功連任。
《文學文摘》的問題在於它挑選的人群不能代表整個美國，在那些名冊上的人都不是工薪階層。
今天依然是民調主力的蓋洛普則在 1936 年用隨機抽樣調查，用更少、但分布族群、階層更廣的樣本預測了羅斯福勝利，一戰成名。
今天隨著技術的進步，民調覆蓋的人數已經不是問題，也不存在一個龐大的階層沒有電話聯繫不上。
實際上，民調數字的差別也不是太大。
本屆大選前一周的整體民調顯示，柯林頓領先優勢為 4%，而實際結果為柯林頓領先 0.6%。兩者偏差不到 4%，屬於一個合理的範圍。
民調偏差較大的地方是對搖擺州選舉人票歸屬的預測。一方候選人支持率領先優勢小於 6% 的州一般會被稱為搖擺州。
在不少選前分析、民調結果看來，柯林頓拿下民主黨保底的 242 張選舉人票沒有什麼大問題，再拿下搖擺州佛羅里達的 29 張選票，即超過法律規定的 270 票當選總統。
而如果特朗普想要當選，則需要在保住共和黨基本盤的情況下，儘可能多地爭取搖擺州選舉人票。因為他沒什麼可能拿下支持民主黨的加利福尼亞州，那裡有 55 張選舉人票。
最關鍵的五個搖擺州佛羅里達、密歇根、新罕布希爾、北卡羅萊納、賓夕法尼亞加起來有 84 張選票。
據 FiveThirtyEight 事後整理，民調偏差大的也就是這幾個州。在猶他州、俄亥俄州、威斯康星州和艾奧瓦州，特朗普的票比例領先優勢遠大於民調平均預測結果，兩者差值高達 6% 以上。
幾乎所有分析機構都根據民調結果預測特朗普拿不下這幾個州的選票。而實際結果是特朗普拿下了五個關鍵搖擺州中的四個。只輸掉擁有 4 張選舉人票的新罕布希爾州。
產生這種結果的一個合理猜測是，其實有很多支持特朗普的人在接受民調時不願意說出真實的想法。他們可能對外聲稱支持柯林頓，但在最後把選票投給特朗普。
皮尤調查中心把這類選民稱為害羞的特朗普支持者。
反特朗普的媒體和名人不可避免地影響了民調準確性
矽谷有名的風險投資人彼得·蒂爾，本月初在華盛頓的美國記者俱樂部公開發表演講支持特朗普時說，「我也不是同意特朗普在每個場合說的每一句話。但媒體都沒有認真研究特朗普，只抓住了他的言論。而支持特朗普的選民恰好相反。」
特朗普的競選口號是讓美國再次偉大起來（Make America Great Again）。他宣稱可以帶來就業、讓美國更安全、會掃除華盛頓的腐敗。在經濟不景氣、槍擊案頻發的現在，非常好地迎合了民眾的不滿情緒。
但特朗普平時說話是非常招人討厭。比如他在 Twitter 上發了一組錯誤的黑人槍擊數據，數據錯得離譜。
以至於力挺他的福克斯新聞台也在節目中指出此事不妥。雙方在電視上對此事討論的原話是：
比爾·奧萊利：你在 Twitter 上說你從別處看來一組槍殺數據，2015 死於謀殺的白人有 81% 被黑人殺害。這是完全錯誤的，實際上只有 15% 的白人被黑人所殺。
特朗普：嘿，比爾，比爾，我從網上看到成百上千萬的數據，是不是每個我都要檢查？比爾·奧萊利：必須的啊，你是總統競選人。
這只是特朗普日常言論中的一個例子，其它還包括關於使用核武器的荒謬言論和殺死恐怖分子家人這樣有違國際法的話。媒體和公開發聲的名人也緊盯這些言論，試圖說服大眾，投票選這個人再荒謬不過了。
福克斯新聞頻道主持人克里斯·華萊士評論說，共和黨黨代會之後，很多媒體機構一致認為特朗普突破底線，於是他們便作出決定，也不用再遵守新聞行業的一般規則和客觀性。
特朗普言辭中侮辱女性的錄像帶出來以後，反對他的聲音更多了。 隨著媒體密集報道，幾十個共和党參議院、議員宣布不再支持特朗普。南方公園本季第 5 集直接諷刺說「我說了那麼多殺人、關於穆斯林和墨西哥人的瘋話，最後你們因為這點事受不了？」
這人說了很多不體面的話，但他確實代表了一個階層對現實的不滿。雖然許多投票者也不喜歡他說的一些話，但他們對找一個人打破現狀的期望更強烈——就像彼得·蒂爾所說的那樣。
實際的例子是，FiveThirtyEight 八月底做過一個民調對比，一組民調數據來自現場採訪，另一組來自非現場採訪。結果現場採訪的民調模型顯示柯林頓勝率高達 86%，而非現場採訪的數據是 70.5%。
也有研究調查發現，用電話錄音打過去得到的特朗普支持率遠比真人打過去要高。
到最後，還是怎麼解讀的問題
儘管民調對於關鍵州的計算有偏差，但直到搖擺州開票前，民調說的還是特朗普和柯林頓的普選選票差距不太大。說明兩個不受歡迎的候選人能爭取的人數可能差不多。
另一個跡象，很大比例的人遲遲沒有決定。最後一輪全國民調結束後，仍然沒有做好決定的選民比例高達 12.5%，此前三次大選這個數字都不到 4%。
這些跡象表明，大選情況未定，特朗普的錄像帶、大選前不久 FBI 重提柯林頓郵件門都讓選舉結果變得難以預測。
那為什麼各路媒體、分析機構解讀的時候，還是給出了這樣的結果？
一個客觀原因，最後能傳遞出來的數字過於簡單了。一篇典型的預測報道大概是一千字不到的篇幅，有一些圖表和一些分析。FiveThirtyEight 也有文章警告說這會是一場競爭膠著的大選。
但真正被外界看到的不是那麼多長段文字和複雜的數據表格。大多數人看到的是社交網路里的一句話、或者在電視直播里所引用的、或是放在媒體預測頁最頂端的大圖。它們都只是一個數字。
機構花費大量時間，分析了數以千萬計的數字，但最後大眾真正在意的，只是一個數字。而一個數字恰恰不可能反映選舉的複雜。考慮到大選本身的形式，這個數字給人的感覺也更像是支持率——更像是一個誤導。
而主觀上，負責解讀的人基本都不喜歡特朗普。他們倒不是為了誤導讀者，美國不是人人都會出門投票，嚴重低估特朗普反倒會加大他的勝率。但這些人從媒體接收到的信息、從各行各業的專業人士所看到的評論，也都和自己一樣反對特朗普。
一個人相信什麼，就能組織出怎樣的解讀，尤其是在差距小的時候。
大選結束後，《紐約時報》執行總編 Baquet 說：「我們需要花更多時間在路上、去更多地方、接觸你平時不會接觸的人。如果你這媒體正好在紐約，得提醒自己，紐約不代表真實世界。」（特朗普在紐約只拿到三成選票）
題圖來源：wikimedia1、wikimedia2、wikimedia3
喜歡這篇文章？去 App 商店搜 好奇心日報 ，每天看點不一樣的。
推薦閱讀：
TAG:大選 | NateSilver |