如何有效增長用戶,AB測試在產品中發揮的6個關鍵點
A/B測試是由數據驅動且科學預測,快速驗證的一種有效方法,它可以在規定的範圍內,以保證質量,控制成本為前提,在最短時間內,幫助企業找准商業機遇,實現商業收益。
當我與十多位創業公司的產品經理交流後,發現很多人對A/B測試不是很重視,聽他們解釋主要有兩個方面的原因:
1、公司沒有A/B測試這方面的意識;
2、公司儘管知道A/B測試,但了解的不夠深入所以也無法很好的持續執行。
什麼是A/B測試?
假如我們將線上的產品稱作A版本,那麼針對A版本正進行優化改進的另一個版本就叫B版本,在B版本發布上線後,經過一段時間的測試,我們通過觀察埋點數據以評估B版本的效果,最終做出後期決策,那我們就可以將這樣一個過程理解為A/B測試。
日常工作中,假設我們有兩個方案,如下圖所示:
在投入使用後究竟哪個版本的效果最好,我們都不知道,我們只能主觀的認為。在很多創業公司,要麼由多個人保持相同的意見來決定,要麼最終由部門領導或者老闆來拍板決定,但如果決策錯誤有可能會在同類產品的競爭中拖後一大截,或者會有更嚴重的風險。
決策錯誤的原因大多都在於決策者們站在一個相對片面的角度上,我們知道一個產品的成功是由多方面的因素組成的,從大的方面來看有市場、產品、運營、政策、資金、時運、企業文化、人才等。若將每個大類在做進一步的拆分又能分出很多來,在如此多的因素影響下決策者自然是難以顧及周全,有的企業甚至對這些影響因素都沒有一定的認識。
在創業公司做產品,我們首先會去看競品有哪些功能,如果覺得挺有意思很好玩,我們開始計劃在我們自己的產品中也應該增加這樣一個功能,在這種情況下,我們這種主觀的認為恰恰會造成我們對自己產品的誤判。首先在研究這些好玩的功能的時候,我們與用戶的出發點便不在同一個起點,我們覺得是好玩有意思應該會對用戶有幫助,而用戶想要的並不是好玩有意思而是符合他們的場景下能滿足他們的訴求,解決他們的問題。
好比下圖,我們想的是種許許多多的草讓駱駝吃,當我們種成的時候突然發現,原來在駱駝前面還隔了一面無法越過的牆。
在我們實際工作當中,我們儘管不能規避這些風險,但通過A/B測試卻能降低風險。
如何開展A/B測試?
開展A/B測試工作,我們以此通過以下6個步驟分別進行,按照先後順序依次為發現問題、提出假設、制定方案、投入測試、分析數據、做出決策。
1、發現問題
我們觀察產品,或者查閱行業相關資訊,發現我們產品某方面的功能可能不夠完善,因為這些功能的不完善,可能是造成我們用戶留存低的罪魁禍首。
還或者同事、合作夥伴以及用戶反饋了一些功能使用上的問題,經我們驗證發現,這些問題可能需要通過產品手段去完善。
2、提出假設
假設我們將這些功能完善,對我們產品的提升有哪些方面,分別提升在多大,在商業層面、運營層面,市場營銷、品牌建設、售後服務、客服、合作夥伴等不同的關係人之間會造成哪些影響,假設我們將這些功能完善後,非但對用戶的增長沒有幫助反而造成了用戶的流失,那我們該採取怎樣的措施,針對各不同方面的因素我們提出多方面的假設。通過這些假設的真實存在與否,以及假設的風險權重,來決定是否繼續接下來的環節。
3、制定方案
方案自是要解決假設存在的問題,假設我們要完善某某功能,那麼這個完善的過程究竟是怎樣的,調整的邏輯,增加的邏輯,不同角色的使用許可權是怎樣的,方案是否能滿足假設的需要,如果是需要,投入的成本在多大、在保證質量的前提下,需要多少個人來完成且需要多長的時間。
4、投入測試
根據產品類型的不同,用戶群體的不同,從而決定了測試的途徑,測試的範圍,測試我們可分為兩種情況。
1)直接測試
假設我們線上的版本是2.5,在2.6版本發布以後,根據產品類型,使用情況來確定測試的周期範圍,在個人的項目經驗中,當新版本發布後,在一周以內,數據有個明顯的下滑,然後突然會爆髮式的增長,在兩周左右的時間後,數據開始穩定。
另外的一種情況是新版發布後數據依然保持穩定,或者稍微增長,在一周後數據下滑的比之前更為厲害,如果產品經理對此次版本的迭代信心比較大的話,可以將測試周期相對延長,如果後期依然不見增長的趨勢,趕快找原因或者切回之前的版本。
2)間接測試
間接測試是一種相對謹慎的做法,比如新版本開發結束後,開始拿少量用戶進行測試,如果數據客觀發布向所有用戶再進行測試。關於間接,這裡介紹三種方式:
1)隨機抽樣
從我們用戶群體中隨機抽取1%的用戶來代表我們所有的用戶進行測試,通過這1%的用戶的使用情況來預測投入所有用戶使用後的整體效果。
2)代表抽樣
代表抽樣是從特定的用戶群體中進行抽樣,假設我們對自己的用戶群進行了分組,分別為粉絲用戶、付費用戶、普通用戶和流失用戶這四個類型,我們從其中一個類別中抽取一部分用戶出來,進行測試。
3)聚類抽樣
我們用戶共分為粉絲用戶、付費用戶、普通用戶和流失用戶,聚類抽樣就是從這些分類中分別取樣,進行測試。
5、數據分析
在測試結束後,觀察埋點數據,針對我們假設的問題進行驗證。
6、做出決策
以數據分析結果為主要根據,針對測試結果做出決策。
A/B測試的目的是關注產品各方面的數據有效且健康增長,杜絕團隊成員的奇思妙想,天馬行空,每一次的版本更新都要為某個指標發揮有效價值。
A/B測試將幫助企業在節省人力、財力、物力以及時間的前提下,抓准機遇,儘快在朦朧的迷霧中,摸索一條走向成功的捷徑。
原文作者:易辰,未經允許不得轉載。個人微信yichenbz,個人網站,需求分析研習社,QQ交流群:489899046
推薦閱讀:
※我是學生黨,我要做產品經理!
※論PM的自我修養
※《人月神話》讀書筆記③:項目控制
※課程篇(7):產品設計-基本理念
※年底了,讓我們殺一個產品經理祭天。