沒做AB測試，我們損失了100萬美刀【UXRen譯#147】

作者：Noah | 翻譯：郭亮，校審：佚名

因為沒有實施A/B測試，我們損失慘重也獲益良多。

我們已經深刻的意識到，我們應該分享我們在投身商業和技術時所學到的東西。這裡面既有成功經驗，也有失敗的教訓。

我們已經描述了成功案例，比如如何提升響應時間、如何加快APP迭代速度以及如何提升APP的可用性等；今天我想分享一些失敗的案例。

我要分享的故事是關於我們對http://Basecamp.com做了哪些改變從而導致我們損失了百萬美元，以及我們如何找到解決方案，在這個過程中學到了哪些東西。

一、發生了什麼？

故事發生在2014年2月，我們正式成立了Basecamp公司。這是一個重要的轉折點——我們要進行一系列改變，主要包括品牌重塑、部分產品下架、清倉和拆分等。

作為這個過程中的一部分，我們決定重新設計http://basecamp.com網站（我們的銷售網站），以傳達出這個網站不僅僅是Basecamp的商品聚集地，也代表Basecamp的公司形象。

改版後的網站在內容和視覺效果上都有全新的改變，但這次改版不僅僅局限在落地頁上，最大的改變在主頁上。

Before 「Becoming Basecamp」（改版前）

After 「Becoming Basecamp」（改版後）

最大的改變是在首頁去掉了用戶註冊區，對於這個決定，我們並沒有進行深入全面的考慮；也沒有針對註冊步驟對用戶的影響做足夠的調研測試。

在過去的幾年間，我們一直在權衡快速註冊（一開始能夠引入大量的新用戶）和完整註冊（只能引入少量用戶，但是這些用戶都能夠成為購買者）所帶來的價值的差別。但是我一直明白，我們不希望註冊流程太慢。這是我們在 「變成Basecamp網站」的過程中做的眾多決定之一。

我們沒有對改版網站做A/B測試的原因有很多：我們沒有時間準備多個風格迥異的版本，我們需要在改版後維持和之前一致的視覺效果，以及我們覺得我們的改版設計很不錯。

變成營銷型網站之後，很快我們就發現轉化率有所降低；訪問網站並進行註冊的用戶佔比相比改版之前減小。這與我們預期的效果差異很大，主要是因為：

我們的網站已經有了很大的流量。我們通過對http://37signals.com的訪問者重定向，引流至http://basecamp.com網站；我們從其他不知名網站也購買了一些科技媒體報道曝光和用戶流量，所以，對於改版初期註冊量的降低完全出乎我們的意料。新版本basecamp上線之後幾個月，註冊量趨於穩定，這比較符合我們的預期。

在變成營銷型網站後的頭兩個月，註冊量相比年初有所下降。但我們認為這並不是一個嚴重的現象：因為我們最大的註冊量集中在一月份，之後註冊量逐漸下降，在秋季又逐漸回升。由於網站是由部分小企業的季節性業務驅動的（其中很多業務在年初展開），所以新用戶的註冊量變化有較強的季節屬性。

但經過一段時間的發展後我們最終發現，2014年夏天申請人數的下降幅度確實比往年同期下降的多。申請人數在秋天沒有季節性回升，很明顯還有別的原因。在我們的2014年業績總結中，我提到：

自從2月份新版的營銷網站上線之後，2014年的轉換率顯著下跌（一月轉化率= 1.06％，二月轉化率=0.89％;部分是由於流量增長，但有效的申請人數也下降了大約10％），之後也沒有太大改善。轉化率下降並不奇怪，因為我們增加了很多註冊內容，並將註冊表移動至一個單獨的頁面。

到2015年上半年，數據仍然沒有任何提升。對此我們不時的進行討論但卻沒有採取任何改善行動。最後，在7月，我們在網站首頁重新上線了註冊表並進行A / B測試，結果收到了立竿見影的成效：首頁有註冊表的註冊率相比首頁沒有註冊表提升了16％。根據A / B測試來調整設計，其效果是清晰可見的。

我們很高興能夠看到這樣的結果：基於現有業務規模，這樣的改進能帶來價值數百萬美元的收入。註冊量下降的那段時期雖然沒有威脅到公司的生計（2014年是我們收入最高的一年），但那段時期確實影響了收益。

二、我們錯在了哪裡？我們學到了什麼？

一個明顯的教訓是：根據Basecamp當時的特殊情況，讓用戶能夠越簡單快捷地訪問網站，越能為我們轉換更多的付費用戶；所以在營銷型的新版Basecamp的主頁我們會儘快上線註冊區域；但是這些僅僅是一些表層教訓而已。

在這個過程中我們得到的更深的教訓，我認為需要深刻反思的主要有兩點：

我們沒有針對改版做A/B測試，這意味著很長一段時間後我們才知道改版的效果和影響。若早在2014年2月進行新舊版本的A/B測試，那就有可能在幾周內就發現新版本數據表現差的問題。在A/B測試中，需要保證兩個版本的測試環境一致——同樣的測試時期，同樣的流量來源等。這樣可以讓你直觀的看到新版本的修改（設計、註冊流程步驟）和註冊率之間的關聯。

因為我們沒有對新版的設計進行A/B測試，我們僅對新舊網站做縱向比較，受季節性和其他變數影響（例如，當您重命名公司、停止部分產品），我們很難確定哪些因素影響了最終的註冊率，所以我們需要花費更多的時間定位問題。

決定不做測試是很容易的——你很忙沒有時間；你認為新版肯定更好，你不想面對對比測試帶來的問題。但是將來，我們很容易就能證明進行全面的A/B測試的價值——因為我們已經經歷了不做測試帶來的教訓。

我們不想再去經歷同樣的錯誤，但是我們需要考慮我們還會在哪裡遇到同樣的錯誤。這些我們沒有進行測試的部分是否會對商業本身或者用戶順暢訪問Basecamp產生重要影響？我們的設想是否可以量化？

因為我們是一家小公司，類似於「註冊表放在哪裡」的決定一般由小組討論即可確定，而不會經過更廣泛的討論。在這種情況下，不充分的討論就決定從首頁去掉註冊表是有風險的，如果回溯到2014年，我們可能會做出不同的決定。

在知道問題的原委後我們也未能迅速採取有效行動：從我們知道問題原因到採取行動中間經歷了六個多月。

我們是一個以項目為導向的公司：我們往往把重心放在有特定時限的事情上並積極對待。重新設計至今，我們已經共同完成了很多不同的項目。我們上線了The Distance，為Basecamp增加了許多新功能，參與了很多項目的幕後工作，並一直為下一個版本的Basecamp做準備工作。我們也從一個網站設計師向Android設計師轉變，而且我們探討了有關廣告、贊助等營銷的新思路。

所有這一切導致我們沒有花很多的時間去思考我們的營銷網站的改版，這也反映在測試和更新的進度上。在2014年之前我們只進行了1/3的的A / B測試，也獲取了相當少的反饋信息。這也就解釋了為什麼我們的進度如此緩慢：這是因為營銷網站沒有正在進行的項目，所以我們沒有花太多時間去思考討論網站。

作為一個數據分析員，我本應做更多——我知道我們在重新設計時應該進行A / B測試，我知道我們應該在測試前就找回註冊表。但是在這兩種情況下，我既沒有找機會去做測試，也沒有努力地影響設計結果。現在回想起來我希望自己當時能更努力地去推進這些事情。

這些無疑都是慘痛且昂貴的經驗教訓。很幸運，我們的業務面比較廣泛，不會因為一些錯誤就輕易地引發生存危機。相信經歷過這些經驗教訓我們會成為一個更好的公司，希望將來我們不會再犯同樣或類似的錯誤。

作者：Noah

譯者：郭亮 審校：佚名（請審校者速與baozhu聯繫）

原文鏈接：How we lost (and found) millions by not A/B testing

原文標題：How we lost (and found) millions by not A/B testing

發布日期：Sep 22, 2015

頭圖素材來源：https://cdn.slidemodel.com

版權聲明：

• 本文版權歸：UXRen翻譯組 所有；
• 轉載帶有「UXRen譯」抬頭的翻譯文章，文章標題必須保留「UXRen譯」字樣；
• 轉載文中必須保留：「UXRen翻譯組」、「作者」、「譯者」及「審校者」信息；
• 轉載文末必須保留本譯文網頁鏈接地址；
• 如未遵照上述規則轉載，視為侵權，UXRen社區保留隨時追責的權利。

推薦閱讀：