數據分析師和數據挖掘工程師的區別?

2016應屆畢業生,前幾天去參加了iPIN(愛拼信息公司)的宣講會。聽了大牛楊洋的精彩演講,受益良多。在筆試的時候,他說到:「投遞數據分析與數據挖掘工程師崗位的同學,請在試卷上註明。因為這兩個崗位的區別非常大。」

請問知乎上的各位大牛,「數據分析」與「數據挖掘工程師」的區別到底是什麼??如果可以詳細講解,不勝感激!!

謝謝!~


作為一名數據分析師,表示高票答案中的模型十分扯淡。。

既然最終目標是對答案打分(有分值),即意味著要實現的是一個回歸模型。首先,聚類這種無監督學習對數值預測有個毛線球的用處;其次,即使是想用決策樹來做個回歸,你也首先得有個訓練集,也就是說自己得給一部分答案打個分才能做後續的模型構建,主觀性比分析更甚。。

還有就是,用寫爬蟲來區分兩種職位有點太隨意了吧,這玩意上手起來也就是幾天的功夫(當然寫大型分散式的爬蟲需要一些功力,光是集群管理就比較麻煩)。

大部分時候模型構建的活,都是調用現成的工具包,然後做feature engineering和調參數,分析師幹不了么。。而且抽feature大部分時候拼的不是技術,而是業務的理解深度。。

至今唯一一次讓我覺得是數據挖掘工程師應該乾的活是在面試飛利浦的時候,面試官直接丟給我兩篇最新的英文論文,裡面闡述了一個新的關聯規則演算法,給我三天時間用C++實現出來,並跟其他幾種常見演算法比較一下優劣。。

結果,我就去當數據分析師了。。


數據挖掘有的公司定義就是做爬蟲的,有的公司定義做一些推薦、廣告、搜索之類的相關工作,這個你要向對方問清楚,工作定位差別很大的。產出工程系統,作為產品的部件。

分析師就偏向於BI那類,主要產出數據、報告之類的,以供決策之需,可以是供公司內部使用,也可以作為商品供客戶使用。

知識背景上有比較明顯的區別。工程師通常是計算機等工科類專業出身,分析師則多是統計等理科類專業出身。

工作內容上,工程師當然是寫代碼做出業務功能,分析師則主要是使用工具(如SPSS、R等)處理數據得到結果。


數據分析與挖掘的聯繫和區別!數據分析與挖掘的聯繫和區別!


這類問題好多,給你個栗子:

數據分析師和數據挖掘工程師在遇到你這樣的問題會怎麼解決。

數據分析師:

1、打開知乎

2、輸入關鍵詞

3、搜尋所有相關問題

4、羅列每個問題的答題人數、總贊數、人均贊數......

5、判斷高質量問題(答題人數前20%,總贊數前20%,人均贊數前20%......)

6、找到高質量回答

7、解決疑問

數據挖掘工程師:

1、打開IDE

2、寫個爬蟲

3、根據關鍵字爬取知乎上相關問題

4、根據點贊數、關注數、回答數等做個聚類/分類

5、給出一個評估答案質量的方法,最終以得分的形式呈現

6、給答案打分

7、從高分答案開始看

以上!


謝邀!

這個問題我應該有回答過。再舉個簡單的例子吧。你女朋友生日要到了,你需要送他禮物。

數據分析師要做的:收集並加以分析你女朋友的喜好,比如喜歡什麼樣的美食?什麼樣的顏色?最近比較缺什麼?你女朋友怎麼樣容易感動?她是不是大姨媽來了不適合吃什麼或者用什麼……等等,作為分析師,你其實是收集她的信息並加以分析。

數據挖掘工程師要做的:在數據分析師工作的基礎上,找出符合條件的要求。例如:你這個月剛剛入手iPhone8身上沒啥錢了,因此此次生日禮物的價格不能錯過99塊錢,而你女朋友生日那天有大姨媽不能吃各種辛辣酒類……再滿足各種情況的條件下,找出送什麼禮物給你女朋友既實惠又能讓她感動投懷送抱,這就是數據挖掘工程師要做的。

這兩個崗位目前我覺得有時候一個人就能勝任,當然,最好是有計算機和統計學的基礎,要不還是得分開,公司越大越細分,而公司越小往往一兼多能。有對大數據感興趣,歡迎加我們微信 idacker


很多時候數據分析師也在做挖掘方面的工作,而數據挖掘工程師也會做數據分析的工作,數據分析也有很多時候用到數據挖掘的工具和模型,很多數據分析從業者使用SAS、R就是一個很好的例子。而在做數據挖掘項目時同樣需要有人懂業務懂數據,能夠根據業務需要提出正確的數據挖掘需求和方案能夠提出備選的演算法模型,實際上這樣的人一腳在數據分析上另一隻腳已經在數據挖掘上了。

事實上沒有必要將數據分析和數據挖掘分的特別清,但是我們需要看到兩者的區別和聯繫,作為一名數據行業的從業者,要根據自身的特長和愛好規劃自己的職業生涯,以尋求自身價值的最大化。

數據分析可以分為廣義的數據分析和狹義的數據分析,廣義的數據分析就包括狹義的數據分析和數據挖掘,我們常說的數據分析就是指狹義的數據分析。

數據分析

(1)定義:簡單來說,數據分析就是對數據進行分析。專業的說法,數據分析是指根據分析目的,用適當的統計分析方法及工具,對收集來的數據進行處理與分析,提取有價值的信息,發揮數據的作用。

(2)作用:它主要實現三大作用:現狀分析、原因分析、預測分析(定量)。數據分析的目標明確,先做假設,然後通過數據分析來驗證假設是否正確,從而得到相應的結論。

(3)方法:主要採用對比分析、分組分析、交叉分析、回歸分析等常用分析方法;

(4)結果:數據分析一般都是得到一個指標統計量結果,如總和、平均值等,這些指標數據都需要與業務結合進行解讀,才能發揮出數據的價值與作用;

數據分析師,一般招聘這類崗位的公司規模都不會太小,人數可能不是一個唯一的衡量指標,但是業務規模肯定比較大(反而言之,業務規模太小的公司就沒什麼可分析的了)。此崗位重在「分析」,首先要有一定的數據靈敏度和數學底子,知道在什麼樣的數據規模下,需要看什麼樣的數據指標。了解常規的數據挖掘演算法,可以使用一些工具得到預期的結果。當然是用工具的話是需要公司系統支持一些數據分析軟體的,SPSS啊,Clementine什麼的,如果沒有,說句難聽的,弄個Excel表格在有些公司也叫數據分析師。當然有些數據分析師Excel玩兒的可以很溜,可以用Excel模擬一個CTR預估演算法的迭代過程。大部分公司會成立一個BI部門,集合了一群數據分析師,每天找開發提數據需求,然後使用工具做一些預測。

數據挖掘

(1)定義:數據挖掘是指從大量的數據中,通過統計學、人工智慧、機器學習等方法,挖掘出未知的、且有價值的信息和知識的過程。

(2)作用:數據挖掘主要側重解決四類問題:分類、聚類、關聯和預測(定量、定性),數據挖掘的重點在尋找未知的模式與規律;如我們常說的數據挖掘案例:啤酒與尿布、安全套與巧克力等,這就是事先未知的,但又是非常有價值的信息;

(3)方法:主要採用決策樹、神經網路、關聯規則、聚類分析等統計學、人工智慧、機器學習等方法進行挖掘;

(4)結果:輸出模型或規則,並且可相應得到模型得分或標籤,模型得分如流失概率值、總和得分、相似度、預測值等,標籤如高中低價值用戶、流失與非流失、信用優良中差等;

數據挖掘工程師,通過title就可以看出,本崗位重點是要「挖掘」,所以對於人的要求就是要熟悉挖掘的方法,挖掘的工具,或者至少知道在什麼平台應該用什麼工具,面對什麼樣的需求應該怎麼解。簡單來說就是負責接收需求然後產出結果,大部分公司的數據挖掘工程師都比較被動,比如BI找你說「我要100年內的AV女優數據,而且要知道他們每個人在什麼年代拍過什麼類型的片子」,這時候你就需要做數據採集(爬蟲啊,文本處理啊,etc.),加工整理(ETL),結果產出(可視化)。中間可能會加一些數據可視化或者演算法工作,但都要求不高。

綜合起來,數據分析與數據挖掘的本質都是一樣的,都是從數據裡面發現關於業務的知識,從而幫助業務運營、改進產品以及幫助企業做更好的決策。所以數據分析與數據挖掘構成廣義的數據分析。

註:圖片來自視覺中國,希望繼續在IT行業突破提升自己的各位朋友,歡迎加群384053806,不管你自我感覺牛不牛B。


幹得活不一樣。完全是兩個工種。數據分析師編程能力不需要特別高,會點Python,R什麼的就行了,主要是用各種現成的工具。但是數據分析師數學一定要好,特別是統計,他們基本上都是數學家。


解答全部來自知乎:

數據挖掘工程師:

數據挖掘工程師的工作和任職要求是什麼? - 數據挖掘

數據挖掘工程師在公司中一般都具體做什麼?需要了解哪些知識? - 互聯網

數據分析師:

數據分析師的具體工作職責和工作內容有哪些? - 互聯網數據分析

數據分析師的主要工作有哪些?發展前景如何?需要掌握哪些相關知識? - 職業規劃

如何快速成為數據分析師? - 大數據


簡單來說數據挖掘更偏向於代碼能力,偏工程,你需要會寫代碼,目前畢竟流行的python,R,如果你是做演算法的可能還需要會c++,需要清楚當下前沿的機器學習、深度學習;而數據分析的一般看的是分析的思路,更偏向於業務, 對代碼演算法能力要求不高,例如業務部門推了個活動,需要你分析下活動帶來的效果,此時你需要知道如何來分析這個東西,可能使用到的工具只要sql,excel就可以完成了,目前大多做數據分析的(杭州)一般做報表的居多。總結:數據分析&>sql+業務經驗+報表展示;數據挖掘&>R or Py+演算法知識+業務+sql+等,數據挖掘比數據分析深。


數據分析和數據挖掘其實都是從數據中分析出決策依據的方法,都需要數理統計能力、數據敏感性為基礎。但兩者過程和重心不同,一個側重藉助現有工具分析,將數據背後的狀態顯性化;一個側重自行編程,發現隱藏的知識和規律。可以理解數據挖掘是更高級的數據分析。而分析師和工程師的主要區別,還是偏業務和偏技術。

數據分析的大致流程如下:

數據挖掘的大致流程如下:

數據分析需要對業務和行業有深刻的理解,數據挖掘要求更高的技術能力,主要是分類、聚類、關聯和預測,更依賴機器學習方法。不過在當前很多企業,數據分析和數據挖掘的界限已經變得模糊,數據分析師使用SAS、R、Python、SPSS等編程工具是尋常事了。

如果是面試需要,最好是和相應企業的用人部門了解清楚工作崗位職責。


304300039


我的理解,數據分析師和數據挖掘工程師關係,相當工廠里的質檢員和品質工程師的區別,質檢員只需負責流水線上某一段的產品質量問題,而品質工程師管控的範圍更廣,需負責整條產線的產品質量問題。


推薦閱讀:

加入某個控制變數後原解釋變數不顯著了是什麼原因?
市場調研中如何做數據分析?
數據分析如何轉數據挖掘?
一般通過什麼軟體收集、分析和可視化數據?
怎樣分析烘焙店客戶滿意度數據,怎樣撰寫研究報告?

TAG:數據挖掘 | 數據分析 | 機器學習 |