大數據有哪些工作崗位，日常工作內容是什麼，需要掌握哪些工具和技能

02-24

大數據相關工作崗位很多，有大數據分析師、大數據挖掘演算法工程師、大數據研發工程師、數據產品經理、大數據可視化工程師、大數據爬蟲工程師、大數據運營專員、大數據架構師、大數據專家、大數據總監、大數據研究員、大數據科學家等等。下面先主要總結歸納最常見、需求量最大、最普遍的4個崗位，其他的崗位以後逐步補充，也歡迎大家一起來補充和優化

數據分析師：

工作內容：

a.臨時取數分析，比如雙11大促活動分析；產品的流量轉化情況、產品流程優化分析，等等；

b.報表需求分析--比如企業常見的日報、周報、月報、季報、年報、產品報表、流量轉化報表、經營分析報表、KPI報表等等；

c.業務專題分析：

精準營銷分析（用戶畫像分析、營銷對象分析、營銷策略分析、營銷效果分析）；

風控分析（策略分析，反欺詐分析，信用狀況分析）；

市場研究分析（行業分析、競品分析、市場分析、價格分析、渠道分析、決策分析等等）；

工具和技能：

工具： R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT

技能：需掌握SQL資料庫、概率統計、常用的演算法模型（分類、聚類、關聯、預測等，每一類模型的一兩種最典型的演算法）、分析報告的撰寫、商業的敏感性等等；

數據挖掘工程師：

工作內容：

a.用戶基礎研究：用戶生命周期刻畫（進入、成長、成熟、衰退、流失）、用戶細分模型、用戶價值模型、用戶活躍度模型、用戶意願度識別模型、用戶偏好識別模型、用戶流失預警模型、用戶激活模型等

b.個性化推薦演算法：基於協同過濾（USERBASE/ITEMBASE）的推薦，基於內容推薦，基於關聯規則Apriot演算法推薦，基於熱門地區、季節、商品、人群的推薦等

c.風控模型：惡意註冊模型、異地識別模型、欺詐識別模型、高危會員模型、

電商領域（炒信模型、刷單模型、職業差評師模型、虛假髮貨模型、反欺詐模型）

金融領域（欺詐評分模型、徵信評分模型、催收模型、虛假賬單識別模型等）

d.產品知識庫：產品聚類分類模型、產品質量評分模型、違禁品識別模型、假貨識別模型等

e.文本挖掘、語義識別、圖像識別，等等

工具和技能：

工具： R、Python、SAS、SPSS、Spark、Mlib等等

技能：需掌握SQL資料庫、概率統計、機器學習演算法原理（分類、聚類、關聯、預測、神經網路等）、模型評估、模型部署、模型監控；

數據產品經理：

工作內容：

a.大數據平台建設，讓獲取數據、用數據變得輕而易舉；構建完善的指標體系，實現對業務的全流程監控、提高決策效率、降低運營成本、提升營收水平；

b.數據需求分析，形成數據產品，對內提升效率、控制成本，對外增加創收，最終實現數據價值變現；

c.典型的大數據產品：大數據分析平台、個性化推薦系統、精準營銷系統、廣告系統、徵信評分系統（如芝麻評分）、會員數據服務系統（如數據縱橫），等等；

工具和技能：

工具：除了掌握數據分析工具，還需要掌握像原型設計工具Auxe、畫結構流程的X-Mind、visio、Excel、PPT等

技能：需掌握SQL資料庫、產品設計，同時，熟悉常用的數據產品框架

數據研發工程師：

工作內容：

a.大數據採集、日誌爬蟲、數據上報等數據獲取工作

b.大數據清洗、轉換、計算、存儲、展現等工作

c.大數據應用開發、可視化開發、報表開發等

工具和技能：

工具：hadoop、hbase、hive、kafaka、sqoop、java、python等

技能：需掌握資料庫、日誌採集方法、分散式計算、實時計算等技術

以上是我在在行APP做「大數據人的職業生涯規劃」諮詢的時候，針對學員的問題簡單的總結歸納，歡迎大家拍磚指正，歡迎大家關注我的知乎專欄「大數據實踐與職業生涯」並留言，專欄會陸續的推出過往十多年的大數據工作經驗總結和我的一些研究實踐成果。如果你是大數據新人，或者想轉行進入大數據領域，或者職業生涯上存在一些疑惑，都歡迎關注我的知乎live分享「大數據人的職業生涯規劃」和「數據分析師-從零入門到精通」。