數據產品經理的工作類型和能力要求

世界正在信息化，數據越來越多，基於數據開發的產品也越來越多，越來越多！n

一般數據產品，都包括如下典型流程：n

1.數據獲取n

2.數據轉換n

3.數據應用n

數據產品經理的工作，如果按上面的數據流程來看，主要包括三種類型的工作，不同的數據PM工作偏向不同（以下分類也不是嚴格劃分的）。n

一.數據獲取、清洗

要做數據產品，首先要有數據，數據來源，大概有2種方式：別人給、自己找。n

別人給，當然好，但是要麼得掏錢，要麼會有使用限制。別人給的數據，數據質量也可能會是問題，亂碼、缺欄位是常有的事。n

自己找，會比較麻煩，自己的系統，可以加碼、埋點，地圖的產品，會需要定期更新地圖。數據不受自己掌控的話，看看能不能通過爬蟲抓取（爬蟲幫你圓大數據的夢），有很多基於爬蟲的數據分析產品，用戶分析、輿情分析、物價分析、量化投資等。n

在數據獲取和清洗環節，數據PM需要：n

1.會將業務需求進行解讀。

最終轉化成不同的數據需求，數據PM首先要確定這些數據如何獲取，確定最終的方案。n

2.特別注意數據質量和數據穩定性。

上游數據質量就差的話，下游的每個環節都要浪費很多時間來處理。數據質量可以靠校驗、對比，數據穩定性可以靠監控。數據的上游，需要勇於懷疑數據的質量，這是最容易出問題的環節，在這裡，各種抽樣、枚舉、對比、假設，各種SQL、ES、Hive查詢，善於對數據做各種圖表分析。要比用戶更早的發現問題，比工程師更快的排查問題原因。n

3.評估數據的成本和收益。

數據是有成本的，量越大，質量越高，成本越高。所以，要合理的設計數據獲取的策略：n

走介面、FTP、還是硬碟郵寄；n

數據多久更新一次，是否去重，如何去重；n

熱數據怎麼存，存多久，冷數據怎麼存；n

雖然說數據越全，數據質量越高越好，但是一分錢一分貨，最終的數據獲取和清洗方案，需要綜合考慮成本、收益、開發難度、開發排期（似乎每個產品都這樣，不止是數據產品@@）。n

經常需要談數據合作，找數據找破頭；n

經常需要看API文檔，介面查欄位；n

經常需要和人撕，別人的東西總是容易出問題的。n

二.數據轉換、數據服務

基礎數據已經有了，開始要大幹一場了，數據轉換的環節，高端的說法，是ETL，我簡單的理解為：拿到基礎數據後，會根據不同的業務需求再做數據清洗，然後將數據導入各個數據轉換或計算模型，並對更下游的應用提供數據服務。n

這裡的模型，不一定是用戶畫像、推薦這些，也可以是基礎的篩選、排序、匹配、簡單的邏輯計算。n

為了讓應用層拿到更高質量的數據，減少應用層的計算，這一層做有很多很多的小的計算模塊，也經常做服務分層，分為基礎數據服務層（業務弱相關層）、業務強相關層。n

數據轉換層，可以對外提供商用的計算、存儲服務，還可以直接數據變現，比如ID匹配，或者直接賣數據。n

在數據轉換環節，數據PM特別需要和架構師深入溝通（或者工程師），數據PM的職責包括：n

1.需要了解很多數據存儲、計算的知識

MySQL、Hadoop、HBase、Spark、Redis、Kafka...很多很多，不需要都深入了解，但至少了解他們的功能、特點、差別，然後能更好的和工程師溝通，更好的參與方案設計。n

2.全局設計能力

PM更了解業務，工程師更了解技術，兩者協作，完成數據處理流程的設計或優化。但是，大公司，可能分了很多很多層，基礎服務層，可能不需要PM，PM提需求就行。這部分比較虛，沒什麼經驗的時候也沒法做，做久了、思考深了，慢慢就會了（其實，這一層，和應用層的關聯很大）。n

3.成本收益評估、數據質量、服務穩定性

數據轉換層，會消耗更多的計算資源，這裡通常有著龐大的集群，所以，這裡設計的好，能節省大量的資源，同樣也要評估成本收益，要勇於拒絕應用層妙想天開的需求。n

這一塊的數據質量、服務穩定性，同樣重要，對上要擔心數據供應的問題，還需要對下游的數據應用負責，三明治的感覺，出問題的時候容易感覺鴨梨山大！n

數據轉換層，需要更強的邏輯分析能力，業務那邊反應的問題，很可能是他們自己的問題，也可能是上游數據供應的問題，當然，更有可能是漫長的數據轉換流程，有環節出了問題。這一層，除了要會各種SQL、ES、Hive查詢，還需要熟練Excel或者SPSS，還需要熟練使用業務端的產品（故障復現很重要），還需要做好業務級指標的監控告警，最最重要的是，要提前想好各種情況的應急方案，是艱難的提供服務，還是提供有損服務，還是人工支持。n

三.數據應用、數據展現

應用層，各個公司的數據應用層就豐富多彩千差萬別了，有流量分析、廣告分析、用戶分析、銷量分析、財務分析、傳播分析、ERP...(額，本狗知道的有限)。但是，本狗認為用戶畫像、反作弊、廣告投放策略、推薦、NLP等模型或策略類的產品，才算是數據PM，像BI類的產品，各種業務的指標維度，以及可視化展現（業務有多豐富，BI系統就有多麼龐大），應該分類為是商業（數據分析）產品，這類的PM工作和具體的業務嚴重綁定，而且經常有很多定製化功能要做。n

本環節的數據PM，能力偏向如下：n

1.數學功底及數據分析能力

懂演算法、建模、調參，是必不可少的，貝葉斯、隱馬、協同過濾…撿起矩陣論、數理統計的課本，掏出機器學習、人工智慧的經典，親手擼起R、python、java，準備一大疊白紙推公式...n

但是大公司，會有專門的演算法工程師，PM只要能理解就行。數據分析能力也是必須的，這裡更需要去解讀數據，特別是異常的數據。n

2.深度理解業務

用戶畫像、反作弊、廣告投放策略、推薦、NLP這些，是和業務緊密關聯的，比如廣告、打車兩個領域，都有反作弊。這些應用離錢更近，一點點的指標的改進，都能帶來很多錢。n

數據產品和商業產品、用戶產品，差別很大，每天都是和數據打交道，需要深入了解各種數據分析方法、數據的存儲計算。數據PM也需深入理解業務，否則就變成數據分析師或者數據科學家了。n

經常發出這樣的感慨：數據質量怎麼這麼差啊！前面的人清洗了么？尼瑪清洗了過後怎麼還這麼差...

經常忙於這樣的事情：找好樣本、維護黑名單、挑語料、人工標註…吃力而且不討好

（鄙人在數據PM坑中混的不夠久，如有謬誤，歡迎指出，一起探討）

推薦閱讀：