實施AB測試的阻力在哪裡?

一些企業目前已經了解AB測試，但在實施上還是有些顧慮，原因在哪裡？

謝邀！ @張毅飛

感謝毅飛兄能夠與我深入討論這個話題，我今天就代表我們兩個回答一下這個問題。

第一阻力是缺少數據驅動的產品文化

前幾天， @宋偉beta 宋老師在一個500人的產品經理群里參與了一次關於國內A/B測試為什麼落地難的討論，很有意思，大家可以感受一下。

中國企業更加容易崇拜大牛，相信經驗，這個是民族性的特徵，談不上好壞，在某些領域甚至有其獨特的魅力。比如張小龍曾經說過在最初做微信的時候自己是從來不看用戶數據的，他在那個著名的長達九個小時關於微信產品方法論的騰訊內部培訓中，也幾乎沒有提到數據的作用。

但以一己之力創造出優秀產品的大牛是可遇不可求的，而且坦言之大牛的成功是不可複製的，做產品不可能有放之四海而皆準的規範。在移動端紅利逐漸消失，獲取流量越來越難的當下，如何用數據驅動產品迭代，漸漸變成每一位產品經理的必修課。然而說到用數據驅動優化產品，以及數據決策方面，就不能不提到AB測試這樣重要的方法和工具，所以，AB測試的普及和應用只是個時間問題。

阻力二：是企業文化

這個比較複雜，方方面面，舉兩個例子：

a、A/B測試用來說服老闆「哎，張總，你看你提的那個方案我們跟現有方案A/B測試了一下，成交量下跌了不少，要不就先不上了，換一個？」很多有智慧的PM用A/B測試來說服老闆，比直接硬剛正面會好很多；

b、做完試驗發現很多關鍵指標，新版本不如老版本，最後結論是「數據統計有問題」——不能接受自己主導的B版本不如其他人主導開發的或者老版的A版本，就否定第三方工具，要麼個人看不開，要麼所在公司的辦公室政治問題很嚴重；

實際上，AB測試的方法是純數據決策的思路，試驗對比的數據會告訴你結果的好壞；然而冷冰冰的數字和很多國內公司「人治"的文化是天然對立的。如果一個公司的文化並不足夠開放透明，AB測試驅動產品優化，則會成為一句空話，很難落到實處。

阻力三：落地執行對公司內部團隊協作要求比較高

如果是自建AB測試系統，不僅僅是產品團隊的工作量，還需要多個部門的協作，設計師、QA、數據部門、都需要參與其中。一旦決定要開啟AB測試的試驗，相應的原有產品迭代節奏會因此而改變。

毫無疑問這意味著額外的工作量，這對於大部分開發資源緊缺的公司或許是一個不小的挑戰。而且AB測試對於數據採集和統計學演算法是有一定要求的，如果數據不準確反倒會導致得出和真實結論完全相反的結果。

阻力四——AB測試基礎知識的普及

還有很多從業人員認為數據統計是必須的，A/B測試是可選的，這就相當於我只想知道問題在哪裡，而不想知道怎樣可以解決問題，但很多人就是不明白這層道理。正確姿勢是利用數據統計發現產品轉化率低的薄弱環節，然後再跑AB測試去優化它。否則不停的所謂迭代更新很可能只是原地打轉，並沒有有效的改進。

所以首先要有利用AB測試的試驗數據優化產品的意識很重要。

而且經常會有「偽AB測試」這樣的情況：

• 比如這個星期上A版本，下個星期上B版本，然後對比兩個星期的數據去做結論，完全不考慮AB測試試驗樣本需要的並行性。
• 再如，Android小渠道發版，不同的版本發兩個不同的渠道，然後再對比兩個渠道的數據，完全不考慮AB測試試驗樣本需要的一致性。
• 再如，只是單純的比較不同版本指標的大小，完全不考慮統計學意義上的數據波動性。

這些不正確的AB測試姿勢是無法得到正確結論的，甚至會誤導決策起到完全相反的作用；做了還不如不做。

最後再來看看下面的圖，55位產品經理的投票，任重道遠啊！