案例 | 希拉里競選背後的 AB 測試

01-29

我做了5年 AB 測試，這是我看到過最成功、效果最好的一次試驗。
——Kyle Rush

你知道希拉里·柯林頓擁有一個軟體工程師團隊嗎？我們並沒有發展到谷歌那樣的經營規模，但是我們的員工與產品也在快速增長。僅僅花了一年時間，我們就實現了很多事情。我們的產品線里有大約50項後端服務和20個前端應用。我們有多於237個 Git 倉庫，以及還維護著一個為數據科學家和分析師團隊服務的15 TB 的密集型數據倉庫。我們建立了很多應用，包括從籌款到方便基層支持者組織和投票的工具。

當我在為2012年總統改選活動工作的時候，我們並沒有公開談論過我們的工作。我們的技術是具有競爭力的秘密，所以並不希望這成為選舉這一年人們的飯後談資。而這一次我們希望可以公開化一些正在做的事情。政治是一項很民主的運動，當群眾越清楚我們在做什麼時，他們就會更積極的參與。所以技術團隊在總統競選里究竟在做什麼呢？

我們在做什麼

你可能猜到了，我們最重要的目標就是讓希拉里柯林頓入主白宮。為了實現這個目標，我們需要跟不同部門進行合作，包括數字媒體、分析、財政和組織部門。我們貢獻技術，而其他部門貢獻政治活動相關的東西。這種結合為我們創造了一個可以持續學習的合作環境。

數字媒體部負責所有網站、社交媒體、線上廣告、電郵、宣傳視頻、基層籌款、線上組織等部分的內容。這個團隊由許多在各種活動中工作過的人組成，他們都是各自領域的專家，很有天賦。

現場小組是競選里最接地氣的。對我而言這是最鼓舞人心的團隊之一。他們每天去現場辦公室，挨家挨戶敲門，一個一個打電話，然後幫助投票者註冊。2012年我花了一些時間跟著現場小組一起去了 Paul Ryan 的家鄉威斯康辛州的簡斯維爾進行遊說。這工作非常辛苦。我以前總認為一天寫10小時代碼是一件精疲力盡的事情，結果沒想到跑現場的工作是另一種水平的精疲力盡。

我們與分析小組的合作專註在創建和維護架構上，便於分析競選中的數據。我們與財政小組的工作，毫無驚喜可言，都是關於籌款的。

我們工程師小組主要的工作是為這些搭檔們做一些技術產品。這些產品可以提供重要的功能，比如對投票者的培訓、籌款、組織，以及發布希拉里的一些消息。

現在你有些背景概念了，那就一起來看看我們在做的一些事情吧。

保存信用卡信息

我們的捐款小組要處理許多與收款相關的事情，而至今為止最大的應用就是我們的網上捐款平台。每一次我們在網上接受捐款時，都是通過這個應用完成交易的。在它有限的壽命中，它已經處理了超過100萬的捐款。我們是在2015年的第三個季度啟動這個項目的，12月正式上線，之後一直在不斷的改進。我們加了一些比如通過 ACH（自動付款中心）捐款的功能，這樣做讓我們這一季度付的信用卡費用減少了100萬美元以上。不過並不全是因為這個新功能的發布而已，我們也做了其他改進效率的事情。每個季度做的 AB 測試分別提升了超過200%、105%和80%的轉化率。我們組至今已經運行了80多個 AB 測試了。

我們做的效果最好的 AB 測試之一是重新設計了捐款之後的頁面，我們會要求訪客保存他們的信用卡信息。這對我們來說很重要，因為就像你可以想像到的，那些保存了信息的支持者們更可能再次捐款。

最初支持者們在捐款之後看到的頁面是這樣的：

在點擊「保存我的付款信息」後，用戶會進入下面的頁面。值得注意的是大多數捐款者都是沒有賬戶的，所以他們必須去點擊左下角的「創建賬戶」。

然後捐款者需要填寫這個創建賬戶的表單。

在表格提交以後，捐款者的信用卡信息就被保存了。這有很多令人感到困惑的部分，我們知道我們可以做得更好。

在新的版本中，沒有賬戶的支持者們會看見下面的頁面。注意一下我們已經在註冊的步驟上放上了用戶的郵箱——我們從用戶填寫的捐贈表單里提取出的郵箱地址。

而已經有賬戶的支持者則會看到下面的頁面。我們依靠捐贈表單里填寫的郵箱地址來判斷用戶是否已經有跟這個郵箱關聯的賬戶。

最後，已經登錄進賬戶的支持者們在捐款完後會看到下面的頁面。

綜上，我們做了這些改變：

1. 使用用戶在捐款表單里已經提供的郵箱地址

2. 判斷用戶是否已經有賬戶，幫助他們解除疑惑

3. 去除過程中的一個點擊

以下是我們在 AB 測試平台得到的結果的截圖：

你在上圖中看到的是保存付款信息的版本與原始版本轉化率的對比。藍色的線是原始版本，橙色的線是新版本。在圖表下方你可以看到實際的數字。在改善那一欄中可以看到新版本比原始版本提升了238.8%的轉化率。在統計顯著欄里可以看見新版本有大於99%的可能性比原始版本好。我做了5年 AB 測試，這個是我看到過的最成功、效果最好的一次試驗。

AB 測試的一種常見的情況是，新版本其實是增長的，但是在之前的報表中看不到什麼跡象，只有當流量分配給100%用戶時，增長的結果才能明顯得顯示出來。下圖展示了競選中保存信用卡信息的情況。1月1號之後的大跨度就是我們把表現更優的版本推送給100%用戶以後的情況。

提交投票

另一個有效的產品案例是提交投票應用。這個產品可以讓那些投票者有機會展示他們對希拉里的支持。大多數情況下投票者還可以查閱他們的投票地址以及得到周邊的投票者的一些信息，包括時間、人、地點和方式。我們使用 CDN 里的 Geo IP 數據來自動定位你的州。這是一個截圖：

郵件發送

最後一個產品的例子是我們做了一個叫「氣球」的郵件應用。這個應用背後的故事很傳奇，而且是當前競選中我們技術團隊最大的成功之一。去年一個供應商的產品在最糟糕的日子裡，也就是季度末的時候，脫銷了。這個供應商的產品對我們趕在聯邦選舉委員會籌款報告的最後期限前完成任務特別重要。如果你曾經為一個活動工作過，你就知道這是現有的五個最大的災難之一。

當中斷出現的時候，我們迅速將工程師們集結起來，並通過數字媒體團隊的小夥伴發郵件與供應商進行聯繫。小夥伴們給了我們一些最小可行性的產品指導，並幫助工程師們了解了郵件發送系統的細小差別。他們在4小時之內一起用 Python 和 AWS 寫了一個郵件群發器。這個為我們節省了700000美元。第一次快速行動中 Balloon 一共發送了1400萬封郵件。一次又快又有效的成功！

期待更多

這些例子僅僅很有限地表現了我們的工作。其實還有更多。在接下來幾周內我們將會發布更多關於我們用於創建應用的技術的文章。為了提供更高水平的應用，在後端我們用 Python/Django 做了標準化，雖然我們在產品中也有大量 Node.js 的代碼，甚至還有一些 Ruby/Rails 和 PHP。在客戶端我們用了 React 和 NuclearJS 組成的 Flux 的實現方式，以及我們採用了 Sass 來組織 CSS。

除了討論技術、產品與軟工的方法外，我們也會討論在開源社區所作出的貢獻。

原文作者：Kyle Rush
譯者：@顏軒
原文鏈接：https://medium.com/git-out-the-vote/a-first-peek-behind-the-scenes-of-hillary-clinton-s-technology-operation-d4536079be4e#.qaiodp4dz

如果您有 AB 測試需求，訪問吆喝科技開始免費試用 AppAdhoc A/B Testing！