做大數據相關專業,如Hadoop、Hive、Impala等研究與優化的人就業情況如何呢?
01-05
大數據的產業鏈很長,至少分為大數據收集/整理、大數據存儲/處理、大數據應用/變現三大階段。Hadoop, Hive, Impala等都屬於大數據處理的底層技術。專註Hadoop, Hive, Impala的研究與優化的人才,可以考慮以下幾個方向的就業:
1. 大型的互聯網公司(或者類似的使用前沿技術的大數據公司)的核心研發。這些公司的好處是可以看到大數據的真正落地的應用,並且有較大的機會享受到公司高速增長帶來的財務收益。Facebook的Data Infrastructure Team有上百人,負責Hadoop以及相關技術的開發與維護。Baidu有一個很強的Hadoop團隊,對Hadoop的優化甚至超過了社區。國內其它一些公司也有聘用類似的系統工程師/研究員來參與公司內非開源的類似項目的開發。2. 專註提供大數據開源技術的公司的核心研發。這些公司的好處是可以專註於把技術做好,並且更容易在開源社區建立威信。這些公司的例子有Cloudera,HortonWorks,DataBricks,DataStax,Techyon Nexus, MongoDB, Confluence,等等。
3. 老牌技術提供商。這些公司的好處是相對比較穩定,業務壓力比較小。這些公司雖然有很強的技術積累,但是在大數據這一塊的進展不及上面2里提到的公司,但是他們也不甘心錯過大數據這班車,目前也開始投入很多的資源來發展開源或者獨有的技術。這些公司有IBM,Oracle,EMC,也有硬體廠商如Intel,Dell,華為等。從整個就業市場來講,做大數據底層技術雖然很吃香,但是它的工作機會遠少於大數據的應用。如果真的確定要做大數據底層技術,就一定要做到業界領先的水平,對社區有一定的貢獻(例如提交patch),在社區有一定的知名度,爭取在各個相關的技術會議上作報告,如Hadoop Summit,Hadoop World,中國大數據技術大會,等等。否則還不如就去做大數據的應用。大數據現在是一個比較吃香的行業。
現在的企業都提大數據,但是真正做好的不多。大數據包含兩部分, 第一是大數據的存儲和管理,就是數據倉庫。 第二是把準備好的數據,進行分析,提煉數據中有商業價值的信息 第一階段做數據倉庫比較容易
第二個做好的太少
做好第二個要有很深的業務知識。沒有業務知識,只是看數據分析挖掘裡面的聚類、分類結果要 么只能得出表面現象,得不到真是的內在原因。或者得出很偏離現實的一些因素。搜狗目前大數據平台做的不錯,感興趣可以私信我選擇的是大數據這個方向,而不是hive,hadoop這樣的技術,技術總是更新很快的,但是大數據處理的技術總就那麼幾種,國內很多廠商都做,TAB這些都做,還有各個銀行,移動之類。
剛畢業可以選擇做幾年大數據底層,然後轉一個好行業做大數據應用。排名第一的答案最後一段真是一針見血。
沒有前途吧,過兩年就掛了。
推薦閱讀:
※如何進入大數據領域,學習路線是什麼?
※大數據,hadoop,spark,mahout的學習路線和需要的基礎知識,以及掌握到什麼程度?
※MapReduce和Spark主要解決哪些方面的問題?
※Spark可以完全替代hadoop嗎?
※為什麼在中國搞不出 Spark 和 Hadoop 這種東西?