轉化率 75% 提升的一次官網 A/B 測試復盤

01-28

「你們的註冊太複雜，你知道你擋住了多少有需求的人嗎？」

我們的產品很牛逼，我們的團隊很牛逼，為什麼在註冊轉化上還是不夠好。癥結在哪裡，怎麼解決？

如果註冊這個很關鍵的環節沒做好，流失的極有可能是一位有價值的潛在客戶。

問題可能出在轉化漏斗的任一環節，也可能是所有環節。所幸，我們找到了我們的癥結，而解決的方法就是A/B測試。

事實上，網站優化的全環節是都能進行A/B測試的，這裡以我們自己在註冊流程的優化為例，講講A/B測試帶給我們的改變。

試驗背景

從用戶反饋，以及對更多用戶線索的需求，我們發現在現有基礎上增加用戶申請註冊數量，獲得更多有效商務線索，既必要，也必須。

在A/B測試之前，官網的申請流程是信息准入制的，用戶需要先填寫5項信息，提交審核發碼，這個流程。審核是需要人工介入的，而且必不可少，那麼能不能通過降低用戶申請成本，來帶來更高轉化和銷售線索呢？測試了才知道。

試驗方案

版本設置：加上原始版本，一共4個版本，分別是「5項全能」（需要申請者填寫姓名、產品/公司名稱、手機、郵箱、月活量級）、「郵箱版本」、「電話版本」和「郵箱+電話版本」。這幾個版本都需要運營同學審核後，才會發碼。

優化指標：設定提交申請按鈕的點擊次數、成功提交申請的次數為主要優化指標，同時將各版本最終帶來的有效線索轉化情況作為參考數據。

試驗過程分析

第一階段試驗

這一階段一共在線3個版本（包括原始版本、郵箱版本、電話版本），每個版本分配給試驗流量的33%。運行1周後，發現郵件版本的回復率相對較低。考慮到申請信息的跟進可能性，產品運營部門決定將郵件版本的流量調低至20%，為了更好地對比版本數據，所以把試驗中的其他版本的試驗流量也統一調降至20%。

試驗運行3周後，各個版本的差異逐漸顯著。從試驗均值和轉化人數的比較中，能夠觀察出每個版本的不同特徵，並可以針對性的做出優化改進。

兩個試驗版本點擊提交的用戶數遠高於原始版本，看來在降低申請成本後，用戶提交申請的意願是有明顯提升的。

但郵件和電話版本的數據，也說明了各自的特徵和問題：電話版本的提交用戶數最多，但經運營核實後，無效申請數量也排在前列，同時在與有效申請用戶溝通的過程中，郵箱核實的過程比較困難。

郵箱版本篩除了大量個人用戶，一旦用戶回復則表明試用意願很強，而問題在於通過郵件交流等待用戶回復的周期較長（甚至有時收不到回復）。

考慮到本次試驗的目的，是在增加用戶提交申請數量的前提下，找到更多有效的、可跟進的商務線索，因此產品和運營部門在討論之後，決定對試驗做出如下修改：為保證數據對比更清晰，決定結束現有試驗進程，通過克隆功能創建新的試驗，同時去掉電話版本，替換成試驗版本三，即電話+工作郵箱版本（用戶須填寫有效手機號和工作郵箱），原始版本、郵件版本保持不變。

第二階段試驗

這一階段運行了12天。我們發現，郵件版本的提交按鈕點擊率明顯佔優，提交率比原始版本高出90%，但經運營審核後的有效轉化率卻最低。說明儘管准入信息縮減到一個後，用戶的提交意願明顯上升，但由於增加了對公共郵箱的篩查，所以屏蔽了大量以個人名義的嘗試了解的非目標用戶，因此真正能夠轉化成有效線索的數量相對其他版本來說沒有明顯差異。

此外，考慮到郵件版本的跟進可控性較差，因此，產品和運營部門做了本次試驗的第二個調整：將郵件版本停止（試驗流量調為0%），原始版本和電話+郵件版本流量各分配50%的試驗流量。我們希望通過放大試驗流量，收取更多用戶數據，以便做出最終的優化決策。

第三階段試驗

隨著版本流量調整並即時生效，試驗各版本的單日流量明顯增多，在10天之後，產品運營部門終於得到了本次試驗的最終結果。

根據我們A/B測試平台的數據統計，產品運營部門將相關測試數據和最終有效轉化數據匯總統計如下：

「郵箱+電話」版本的漏斗有效率提升了143%，有效銷售線索的比例也提高了75%。

試驗分析解讀

1）本次試驗只改變用戶進入申請浮窗後的信息內容，因此申請流程的最底端轉化（官網的「免費試用」點擊）與試驗結果無關；

2）在剔除內部測試數據後，電話+郵箱版本的提交轉化率略高於原始版本；

3）由於對工作郵箱的篩選條件，成功提交率方面原始版本表現較好，但最終經過運營聯繫後的有效線索轉化，依舊是電話+郵箱版本勝出；

4）進一步篩選原始版本中提交工作郵箱的數據，發現整體表現介於原始版本和電話+郵箱版本之間；

5）另外，從運營的人工成本來看，電話+郵箱版本效率的更高。

綜上所述，電話+郵箱版本的綜合表現最佳，我們在 AppAdhoc 後台將試驗版本全流量發布。試驗版本發布後，官網申請入口統一變成電話+工作郵箱的准入內容，產品和運營部門可通過工作郵箱用於過濾無效用戶，通過預留電話進行人工審核，更加便捷的獲取有效商務線索。

試驗經驗總結

試驗流量會影響試驗周期，若分配流量過小（一般來說建議每個版本單日至少分配1000 UV），會導致試驗周期整體拉長，同時數據結果很難得到統計學顯著性；
相關部門要實時關注試驗數據，及時調整各版本流量，保證試驗進度處於積極態勢；
合理應用 AppAdhoc A/B Testing 的各項功能，在試驗運行正常的基礎上，保證不同版本增減後的環境一致性；
此外，在解讀試驗數據時，應結合產品自身數據統計工具，綜合考量試驗中各版本的優化效果。

無實驗，不增長

If you』re not running experiments, you』re probably not growing .（無實驗，不增長！）
增長黑客之父——Sean Ellis

增長黑客之父 Sean Ellis 在之前的一次線下分享中也說了：在保證產品價值的同時，需要為產品設定測試目標，並且需要儘可能多，影響力高的測試。測試非常重要，測試能夠驅動增長。因為如果我們不去測試的話就無法確定這個想法能否可行。所以我們要盡量的去多做測試，去確定什麼是有用的，什麼是沒有用的。

官網是獲取銷售線索的重要渠道，對企業服務和 SaaS 行業來說尤其如此。不管互聯網是否進入下半場，通過A/B測試這種科學方法的精細運營來挖掘現有流量的價值都是沒錯的。

本文作者：吳嘉瑋@吆喝科技。