數據分析師,數據挖掘師,大數據工程師,三者的工作有何區別?
首先說明一點,目前看到的公司招聘里,還沒有「數據挖掘師」這個崗位。另外「數據挖掘」是一個學科,集工程和演算法於一體,但是更偏重於工程,至於為什麼,後面細說。所以基本招聘時都分在「工程師」下面。
下面結合個人的工作經驗,說點三者之間的區別。
「數據分析師」,一般招聘這類崗位的公司規模都不會太小,人數可能不是一個唯一的衡量指標,但是業務規模肯定比較大(反而言之,業務規模太小的公司就沒什麼可分析的了)。此崗位重在「分析」,首先要有一定的數據靈敏度和數學底子,知道在什麼樣的數據規模下,需要看什麼樣的數據指標。了解常規的數據挖掘演算法,可以使用一些工具得到預期的結果。當然是用工具的話是需要公司系統支持一些數據分析軟體的,SPSS啊,Clementine什麼的,如果沒有,說句難聽的,弄個Excel表格在有些公司也叫數據分析師。當然有些數據分析師Excel玩兒的可以很溜,就像我,可以用Excel模擬一個CTR預估演算法的迭代過程。。。大部分公司會成立一個BI部門,集合了一群數據分析師,每天找開發提數據需求,然後使用工具做一些預測。
「數據挖掘工程師」,通過title就可以看出,本崗位重點是要「挖掘」,所以對於人的要求就是要熟悉挖掘的方法,挖掘的工具,或者至少知道在什麼平台應該用什麼工具,面對什麼樣的需求應該怎麼解。簡單來說就是負責接收需求然後產出結果,大部分公司的數據挖掘工程師都比較被動,比如BI找你說「我要100年內的AV女優數據,而且要知道他們每個人在什麼年代拍過什麼類型的片子」,這時候你就需要做數據採集(爬蟲啊,文本處理啊,etc.),加工整理(ETL),結果產出(可視化)。中間可能會加一些數據可視化或者演算法工作,但都要求不高。
「大數據工程師」,這年頭大數據這個概念太火了,對於一般公司來說,基本上的邏輯就是,數據一多就叫大;一叫大數據,就用Hadoop啊,Spark啊。都是近兩年的初創公司愛招這個title的人,由於業務規模不大,用不上並且用不起IOE這種體量傳統平台解決方案,想借著大數據的風頭招點兒人,用廉價的機器組個Hadoop甚至直接用阿里雲或者AWS,這樣對外也好吹牛說,我們用的「大數據」。這些公司一般招這些人,就是要求會用這些平台和工具,要是能同時兼職「數據挖掘工程師」就最好啦~找一個人干兩個人的活,簡直不要太賺了!
總而言之,要想進入現在最火熱的「大數據」圈工作,編程底子不錯的,去做「數據挖掘工程師」;數學和演算法牛逼的,去做「機器學習工程師」;數學不錯有商業sense的,去做「數據分析師」。謝邀,
數據分析師==》廚師
數據挖掘師==》廚房採購員
大數據工程師==》廚房主管
推薦閱讀: