你會怎樣衡量你的產品？ —— 一點產品數據分析的經驗分享

目標讀者：涉及產品數據的新人（PM、數據分析師、產品運營）

當我剛開始在文圖做產品實習生的時候，想做點數據分析，但有很多問題，不知道怎麼做，比如

• 怎樣對產品做數據分析？用什麼樣的工具？
• 怎麼定義產品的指標 (metrics)？
• 為什麼要做數據分析？數據分析能帶來什麼樣的價值？

於是找了不少書和資料，才做了一點微小的工作。

目前，這方面的例子並不多，所以，這裡以我們的產品文圖(https://www.wentu.io/) 為例，分享一點微小的經驗，希望能對和我一樣的新人們有所幫助，當中存在的問題也歡迎指正

註：因為商業上的一些考慮，所以對數據做了遮擋處理，希望大家可以理解

1. 產品與Metrics

(1) 文圖是什麼？

文圖是一款用來做數據報告（下圖）的產品

比如，你寫了一篇數據分析報告，然後希望看起來比較專業（排版、顏色），那麼可以用文圖，因為有設計好的樣式。另一方面，圖表、表格中的數據都是可交互的，也有目錄導航，對讀者有較好的閱讀體驗。

(2) 怎麼定義產品的數據指標？

產品數據分析的基本，是各項指標(metrics)，當中最常用的是AARRR模型 [1]，也就是把用戶從訪問到使用，分成了獲取（Aquisition）、激活（Activiation）、留存（Retention）3個階段（下圖）

其核心指標是留存/活躍用戶數，也就是希望用戶能再次訪問（e.g. 微信, 微博）

然而，AARRR並不適合所有產品

一個簡單的例子是，Airbnb的留存肯定也很低，因為沒有人會每天訂房間。文圖也類似，沒有人會每天寫報告，可能一個月一篇就不錯了。因此，短期留存的意義不大, 留存/活躍用戶更大程度上是產品好壞的最終反映，而非需要直接提升的指標。

所以，我們用HEART模型來定義metrics （下圖，具體介紹見[2]）

具體而言，是從產品本身的目的入手，更為本質。

文圖的目的是幫助用戶製作數據文檔，在產品中由多個事件組成：文檔創建 -> 編輯文檔 -> 文檔完成（發布/下載）。最核心的指標，是完成文檔的數量，即有多少文檔發布、下載了。同樣的, Airbnb的核心指標之一是訂床的數量, 而不是每天的活躍用戶有多少。

不過，這只是對「製作者」而言。對於運營人員、數據分析師這些製作者來說, 他們最終的目的是希望「讀者」能方便的閱讀文檔，了解數據和分析的結果，文圖也因此才會有移動端閱讀、分享到微信等功能。所以，只有保證讀者有良好的體驗，製作者才會長期的使用下去。不過，這方面並沒想到好的指標。

最後，總的metrics包括

(1) 基本狀況

• 註冊用戶數（按周/月）
• 活躍用戶數（按周/月）

(2) 業務指標

• 文檔製作者: 創建文檔 -> 編輯文檔 -> 發布、下載
• 文檔讀者: 暫缺

(3) 增長指標

• aquisition 轉化率: 訪問 -> 註冊按鈕-> 註冊成功
• activiation 轉化率: 註冊成功 -> 創建文檔 -> 編輯文檔

2. 實現

設計好了metrics，怎麼具體得到這些數據呢？

我們用神策（類似Mixpanel/GrowingIO），包括基本的dashboard和更複雜的事件分析

上圖是我們的dashboard, 包括註冊用戶、文檔創建等指標，每天用來了解產品的基本使用情況。

在代碼實現上，用戶做了相應的操作，就用js把相應的數據傳輸到後台進行記錄（埋點），之後就可以用神策進行分析了。

比如

(1) 文檔製作漏斗

可以用漏斗模型看文檔製作中各個步驟的轉化率（創建 -> 編輯 -> 下載/發布）

而完成文檔的用戶數，就是我們產品的核心用戶群

這個也放在了dashboard中，可以看到，每周都會有許多用戶在文圖上完成了文檔製作

(2) 註冊成功/失敗比例

對用戶註冊的行為做了記錄（分成成功和失敗），能看到產品註冊成功/失敗的曲線

(3) 文檔類型比例

文圖的文檔有多種類型，包括單頁-PPT-列印文檔3種，這3種各佔比例多少呢？我們內部幾乎都是用單頁文檔，但看到數據，發現實際用戶創建PPT的並不少，比我們預想的多多了

3. 案例：這個模板好用嗎？

文圖的核心功能之一，是用戶可以使用模板（下圖）創建文檔。這些模板都是經過設計的，比單純的Excel + Word來的要更好看。

但是，我們對模板的設計並不滿意，覺得一些模板並不好看，而且，也常有用戶說某個模板顏色對比不夠等等

這些模板好用嗎？怎麼分析這個問題？

可以從文檔完成率考慮 —— 用戶創建文檔後，經過一系列的操作，最終完成文檔（發布、下載）。期間，有沒有可能因為模板的不足（e.g. 顏色對比不夠），而放棄呢？

各模板的創建量、完成量和完成率（完成率=完成量/創建量）如下

可以看到

• 默認模板(blue)創建量明顯高於其他模板，說明數據基本準確
• 完成率和創建量相當不同，創建最多的並不是完成率最高的，而一些小眾模板（pure）的完成率不錯，說明計算基本上有效。而且這個順序和我們主觀的感知也大致相符

仔細觀察完成率最後幾位 (my_red, my_blue, my_green)，可以發現一個共同點，都帶有header. 這和一些用戶的反饋相同，「自己寫了個文檔，結果頭上頂個別人家的header, 覺得不爽 」，也難怪寫到一半就不寫了

而很有意思的是，blue 和my_blue的關係（下圖）

這兩個模板大體相同，只是後者帶了header，而完成率就有了區別。考慮到blue作為默認的模板本身會有大量的試用，其實際完成率要更高， 因此可以說，單單加上這個header，文檔的完成率就會往下掉大概15% 。而去掉header, 文檔完成的數量就很有可能提升。

總之，通過完成率，可以發現模板設計的好壞對文檔完成有較大影響

而且，假如把所有模板的設計水平都提升到第一的水準，是近40%的提升。把這些分析結果告訴設計師，他們也就更有動力、方向做改進了，而不是簡簡單單的說「把模板設計得更好看」

4. 案例: 為什麼產品沒有增長？

仔細觀察dashboard，會發現更深層次的問題

• 註冊量: 始終不變. 意味著自然流量來源沒有增加，也就是說沒有任何人為我們自發宣傳，沒有口碑傳播
• 文檔創建量: 始終不變，意味著活躍用戶沒有增長, 否則應該逐漸積累並增加. 意味著大量的用戶流失, 沒有繼續使用

簡單來說，產品沒有明顯的增長，儘管這一年更新了許多功能 ，儘管每周會有許多用戶在文圖上完成文檔製作（此處應有心碎的聲音，嗚嗚）

為什麼會這樣？

可能原因之一，是文圖本身的特性所致。

像上圖，是典型用戶的行為次數統計，可以看到3-4月第一次使用，再次使用就是8月了，而下次使用呢？這是我們的用戶，但他的留存效果並不明顯。Airbnb也是類似，其留存是按年計算的 [3]。

那怎麼分析這個問題？

數據分析師同學們可能已經摩拳擦掌，想了很多模型、演算法了。。。。。

但更好的辦法是直接找到用戶，問他們為什麼繼續使用/放棄使用，也就是用戶訪談。在這裡，可以分群體訪談，比如

• 流失用戶：3個月前註冊並完成文檔的用戶，但之後沒有再使用的。為什麼沒有再使用？是使用效果不滿意，還是行為本身低頻？
• 留存用戶：本月完成文檔，但是在3個月之前註冊的老用戶。為什麼持續使用？他們用來做什麼？有沒有可能找到更多類似的用戶？他們是從哪裡知道文圖的？
• 嘗試但是未完成文檔的用戶：本月註冊成功，並嘗試使用（編輯文檔5次以上），但最終沒有完成文檔的。產品在哪些方面有問題，最終沒有完成文檔？

5. 總結

這裡，我們以自己的產品文圖為例介紹了產品數據分析的一些基本的內容，包括

• 怎樣設定metrics (HEART)，而不僅僅是從活躍用戶數的角度去考慮
• 怎樣運用metrics分析 （模板完成率的分析，實質是定量分析）
• 怎樣不用metrics做分析（用戶訪談，實質是定性分析）

不過，為什麼要對產品做數據分析？

數據分析只是手段，重要的是目的

通常，我們會關心這些問題

• 產品發展得如何，是否有增長？存在什麼問題？
• 新開發的功能反映如何？是不是起到了效果？
• 怎麼和團隊溝通這些判斷、分析？

用數據分析可以較好的回答這些問題，尤其在團隊內部溝通的時候。

因為對產品，人們總有不同的看法/感覺，有的人覺得這樣好，有的人覺得那樣好。用數據交流，效果就更好一點，因為是在拿結果說話，而不是光靠感覺。更何況，大家很多時候會發現，用戶的實際反饋和你的感覺並不一樣。（這點對老闆們也很重要，否則團隊就是在滿足老闆的「感覺」，而不是實際的用戶需求。）

但另一方面，數據分析也不是萬能的，很難告訴我們「為什麼」

就比如最後的例子，產品做了很多功能，為什麼還是沒人用呢？數據其實沒有辦法直接告訴我們原因，這需要採用訪談等其他方法了。

6. 學習資源

最後，介紹一些產品數據分析方面的學習資源，方便同學們入門

關鍵字：Product Analytics，不是Data Science. Data Science更接近於推薦系統中涉及到的演算法，而Analytics 則是數據分析、指標這些了。

(1) Lean Analytics, 中文版《精益數據分析》

https://book.douban.com/subject/19992844/

包括了許多實際的案例，很好的說明了數據分析能帶來什麼價值。我個人非常喜歡案例中通過分析解決問題的思維方式。

剛入門的話，只看第1部分即可，之後可以按需要再回頭看

(2) How to Measure Anything, 中文版《數據化決策》

https://book.douban.com/subject/24773139/

只看第1部分即可，也是學習當中數據分析的思維方式

順帶一提，看完這部分，產品面試中常見的估算問題也能基本搞定了

(3) Growth（用戶增長）

說到產品的數據分析，一定會提到Growth，這兩個很多時候是等價的。這方面內容很多，作為入門，我推薦

a. Andrew Chen: The Next Feature Fallacy

http://andrewchen.co/the-next-feature-fallacy-the-fallacy-that-the-next-new-feature-will-suddenly-make-people-use-your-product/

「產品沒人用？ 那做個更NB的功能吧，這樣就有人用了。」 —— 這樣做對嗎？

b. YC Startup課程: How to Get Users and Grow - Alex Schultz

https://www.youtube.com/watch?v=URiIsrdplbo

YC的課程，Facebook的VP Growth專門講Growth的，個人也非常喜歡

最後，數據分析落到實處，其實就是這句話 [4]

Good teams celebrate when they achieve a significant impact to the business KPI』s. Bad teams celebrate when they finally release something.

好的團隊在達成重要的KPI的時候進行慶祝, 差的團隊在終於發布了點東西的時候進行慶祝。

[1] AARRR, http://500hats.typepad.com/500blogs/2007/09/startup-metrics.html

[2] HEART, https://library.gv.com/how-to-choose-the-right-ux-metrics-for-your-product-5f46359ab5be

[3] Airbnb, http://blog.ycombinator.com/growth-guide2017/

[4] Good Product Team, Bad Product Team, https://book.douban.com/review/8421504/

文： @子珂

可視化工具：文圖

更多文章關註：數據冰山-知乎專欄