產品經理的用研手冊08 - 用研四式之「切」

今天我們來介紹用戶研究「望聞問切」第四式，也是最好玩的招式：做試驗。

如果說用戶研究的目的無非是解答疑惑、輔助決策，那麼是不是也可以跳出「假設-驗證-判斷」的循環，直接測試用戶的反應和行為，直接獲得判斷？

答案是肯定的。

做試驗的目的，是用較低的成本去測試想法的可行性和接受度，以及從中發現可能會遇到的問題。

人心難測。互聯網變化如此之快，有時候我們可以通過邏輯和分析得出結論，但是更多時候需要把手伸到水中一探深淺。前面花了那麼多時間望、聞、問，這回終於可以來真的了。

測試態度和概念

當我們有一些新的想法，尤其是一些比較具體的點子，不知道用戶會如何看待，想在開始做之前快速收集一些想法。這時候除了去找用戶聊，還可以直接在產品或者用戶論壇中擬造一些信息，吸引用戶的注意，獲取他們的反饋。

第一招，以假亂真的泄露版。

2004 年愚人節，Google 對外發布了擁有 1GB 存儲空間的免費郵箱 Gmail，被大家當做笑話，也引發了無數討論。到了第二天，大家才發現只是來真的，Gmail 一炮而紅。

第二招，先建城門後建城。

功能太複雜來不及開發？但是又想提前收集反饋？沒問題，入口先擺出來。但是注意不要玩火自焚，承諾最終還是要以某種方式兌現的。

比如 2015年火起來的計步 App Walk up ，記錄每天的步數，然後可以在虛擬的世界地圖內前進，抵達不同的城市。因為擠牙膏般的開發進度，不得不先放出入口，再慢慢開發。這個過程中可以收集大量的反饋。

測試新版本的使用體驗

每當產品有較大改動時，產品經理都免不了神經緊繃：如果上線後效果不好怎麼辦？如果罵聲一片怎麼辦？

那麼就儘早做用戶測試，儘早反饋。

這裡所說的測試，跟前面介紹過的可用性測試基本類似，只是不必等到開發完成才開始找用戶測試，而是在概念階段、設計階段、開發階段，就可以用一些「假」的原型或者半成品給用戶試用，只要能夠讓用戶明白這只是初步一些想法，希望了解他對這些想法的意見。

在設計開發階段，還不需要完整、嚴謹的測試，只需要快速了解用戶意見、找到明顯問題的「迷你測試」：

測試不同方案的真實效果

在產品設計開發過程中，總是有各種各樣的糾結，特別是兩個方案擺在一起，不相伯仲，改選哪一個？說到這裡，A/B test 終於要出場了。

大家對 A/B test 的直觀印象是：有 A、B 兩個方案，分別放在線上，測試看哪個效果好，最終就採用哪個。

每當有重要頁面的修改和流程上的優化，通過灰度發布到 1% 或者 5% 的用戶，看實際數據的變化（訪問時間增加、留存提高、下單率提高等），決定此修改到底是 100% 發布還是被砍掉。聽起來簡直是完美的解決方案，對不？

但是事情遠沒有這麼簡單。A/B test 的本質，是受控的對照組科學實驗。通過嚴謹的實驗設計、採樣樣本代表性、流量分割與小流量測試等方式來獲得具有代表性的實驗結論，並確信該結論推廣到全體樣本仍然可信。

什麼是「可控」？變數是定義清晰、完全受人為控的。

假設有一個因變數 Y（比如購物車結算率），它的變化會受到 A、B、C、D、E、F、G 等 7 個自變數的影響（如何確定只有這些影響因素？），且這種影響無法通過確定的函數來表示。我們現在設計了兩個方案，想提高 Y，怎麼通過實驗驗證哪個方案更有效呢？可以接受的做法是，進行若干組試驗，讓 A 的值變化，而其他自變數全部不變，若 Y 也產生變化，說明 A 的改變起到了效果。

但是如果現在有兩個方案，一個改動了 A、C、D，一個改動了 B、D、G，就無法證明是哪些因素影響了 Y 的變化，也就無法判斷到底哪個方案更優。

A/B test，難就難在識別所有自變數，並且控制單一自變數的變化。數據不全、臟數據、隨機事件、建模人為因素等等影響，都會影響 A/B test 的結果。要解決這個問題，對採樣、聚類、流量分割等要求非常的高，而且要檢驗統計結果的有效性。

所以在現實應用中，A/B test 多用於測試界面元素/控制項變化對結果的影響，因為這些因素容易分離和控制。大部分實驗只能帶來個位數百分比的改進，或者甚至是分數百分比。

A/B test 是好東西，但是要真正用好，需要特別注意實驗設計和數據統計：

測試不是萬能

不論是用戶測試還是 A/B test，都無法完全反應客觀現實。即便通過 A/B test 提升了某個按鈕的點擊率，但是它依然不能解決產品的深層次問題。通過測試，我們也許可以知道哪個方案更受歡迎，但卻無法解釋反常識的結果。測試只能讓我們「知其然」，想要「知其所以然」，還是需要配合其他的招式，用心解讀。

那麼，什麼時候該「問」，什麼時候該「切」？

如果重在探究背景和原因，用「問」；如果需要快速測試行動結果，用「切」。當然，另外一個重要的考量因素是執行的成本，面對面調研要花費較多的時間獲取和分析數據，灰度試驗需要把多個方案都實現出來，選擇哪一種，投入產出比會更高？最終還是要靠經驗去做成判斷。

產品經理的用戶用研四式「望聞問切」就介紹完了。

下一篇探討用戶研究與精益方法的關係。

專欄文章

• 產品經理的用研手冊01 - 朦朧的用戶，懵懂的你
• 產品經理的用研手冊02 - 你真的懂用戶嗎？

• 產品經理的用研手冊03 - 成也需求，敗也需求
• 產品經理的用研手冊04 - 做問題求解者，先對症後下藥
• 產品經理的用研手冊05 - 用研四式之「望」
• 產品經理的用研手冊06 - 用研四式之「聞」

• 產品經理的用研手冊07 - 用研四式之「問」

歡迎加入「你丫全棧」微信討論群。入群方法：請加微信 artncode，稍後會拉你入群。

如需轉載本文，請聯繫 uegeek@gmail.com