閑話國內大數據發展簡史&產業化落地

05-06

文·blogchong

引子

之所以想要說一說這個話題，是因為下午在技術群中不經意間，就類似話題進行了比較劇烈的腦暴討論。

討論範圍包括了互聯網公開數據的挖掘、價值變現、數據獲取的合法性以及數據產業落地等相關方向。

當時就一直在思考這個問題，後續完了自己又想了幾遍，發現確實有所得，也挺多東西想表達一下的。

大數據在國內的發展簡史

大數據是在2009年開始相對比較正式引入國內的，基本上與Hadoop的「入侵」國內同步。

但在那時其實並沒有實際落地的東西，除了一些大公司在試探性使用，直到2012-2013年，國外已經完成一輪「探險」，國內才陸續開始思考大數據如何落地的事了。

確實是這樣的，國內在新技術領域上，一向落後於國外半拍，而我也恰恰也是在那個時候「入坑」的。

那個時候其實很多公司企業(除了當時BAT內部使用的案例)，也是在嘗試性的涉足大數據領域，一邊追逐技術的完善，一邊在探索大數據與實際業務的結合點。

直到2014年，算是大數據在國內的一個爆發點，正式的轉折點。

首先，以Hadoop為代表的生態趨於成熟，甚至結合內存處理領域、數據實時處理領域，已經形成了一套完整的大數據平台技術解決方案。

其次，已經越來越公司結束了探索性實驗，用實際的成果嘗到了大數據這種處理模式的好處，已經形成了越來越多的實際可參考的良性案例。

當然，最重要的是確實存在實際的規模數據處理的需求。其實這個需求一直存在，只是很多時候沒有找到合適的契機爆發出來。

也就是從2014開始，大數據的人才市場需求在急劇擴增，很多其他IT領域開發人員紛紛轉型到數據行業，其中以逐漸沒落的傳統IT行業為代表。

有人才市場需求，進一步促進了大數據培訓市場的發展，各種大數據培訓機構如雨後春筍般的出現。

其實這也是沒辦法的事，因為當時還沒有哪個高校開設有大數據相關的課程呢。

當然，這波浪潮同樣卷到了學術界，部分高校也意識到了這個技術大勢，陸續有不少高校開始開設大數據相關的專業課程。

2015年，隨著互聯網的發展，市場各種互聯網應用需求的飽和，導致了流量紅利的消失，讓很多企業公司不得不考慮通過數據來提升效率以及推進用戶體驗，例如推薦系統、個性化服務等。

資本市場從2014-2015年逐漸介入，進一步促進各大互聯網企業公司向數據化轉型，使得大數據這個領域進一步達到高潮。

那麼，2016呢？

我們知道，資本市場算是迎來半個寒冬，流量紅利的消失，o2o在15年底都死的差不多了，16年讓資本市場變得更謹慎。

但是，就算是這樣，國內很多以大數據為技術驅動的公司依然拿了不少融資，包括神策、諸葛IO、GrowingIO等第三方數據分析公司，明略數據等這種針對於服務偏傳統行業的數據公司，甚至如DataEye類似垂直領域的數據分析公司都活的好好的。

是的，資本依然看好大數據這個領域方向。

同時，在國家政策方面，2016年可謂是大數據的國家政策元年，各種國家政策開始偏向大數據。

這意味著，大數據已經從半個風口的狀態，過渡到理性、穩健的狀態，這是一個良性的狀態。

透過現象看本質，2016年之後呢？

正如上面所說，目前大數據已經逐漸從「潮流」這種略帶風險性的標誌狀態，過渡到穩健、良性發展的狀態。

提前「入坑」的童鞋，相信已經享受到「潮流」帶來的部分福利，包括比其他普通IT同行們略高的薪酬待遇，以及更多、更自由的選擇性等。

好吧，其中也包括我了~~ 哈哈

那麼，後續會是一種什麼樣的情況呢？

首先，數據化依然會是一個不可逆的趨勢，在資本以及政策的驅動下，更多的公司會逐漸的進行數據化，甚至包括很多傳統IT產業，一樣擋不住這個大勢。

那麼在人才市場需求上的情況呢？個人感覺需求還是在的，因為市場遠沒有達到飽和，但是福利待遇會有所下降。

這是為什麼呢？

2016-2017年，各大高校逐漸會開始投放專業的「正規軍」，是的，那些大數據專業的學生們將被正式投放到市場中了。

此外，從2014年到2016年，大數據的培訓市場一直在增加的，不管是線上的還是線下的。

這意味著，每年，哦不，應該是每幾個月都會有大量的大數據速成工投放到人才需求市場中。

最重要的一點，經過四五年的大浪淘沙，市場已經有一大批「自學成才」的「老司機」可以撐起場面了。

在人才需求以及人才的待遇上，而不是一才難求的現象了，也會逐漸的趨於良性，趨於理性(之前寫過一篇大數據招聘亂象的文章，喜歡可以看看《你們是不是真的很缺大數據工程師？》)。

所以，如果你從大學剛畢業出來，發現大數據沒有傳說中那麼「香饃饃」，也不要奇怪；而從大數據培訓流水線上下來的童鞋們，也需要做好準備，薪水可能無法跟你想像中那樣了，翻個幾倍之類的。

不過「老司機們」到不用太過於擔心，雖然大數據的人才市場趨於日漸飽和，但是「駕齡」足夠，「車」開的足夠溜的，依然只有那麼一小戳人。

你依然是稀缺資源，所以不要怕怕。

你看我就不怕怕，哈哈~~

雖然，這一切看似良好，但是有些東西依然值得我們更進一步的深思。

那就是，大數據產業化情況。

正如之前在技術群中進行腦暴討論的那樣，這幾年大數據雖然市場需求不少，但是依然難以達到產業化的狀態。

這裡貼一個產業化的概念：產業化是指某種產業在市場經濟條件下，以行業需求為導向，以實現效益為目標，依靠專業服務和質量管理，形成的系列化和品牌化的經營方式和組織形式。

目前大數據的實際落地形式大部分都以輔助、加速其他業務為主，起一個催化劑，提升效率，加快速度的作用，鮮有看到以大數據作為獨立產業而存在的。

當然也有，比如上面提到的第三方數據分析商、垂直領域的DataEye，以及為企業提供大數據解決方案的明略數據等，也算是以大數據為根深立命而存在的。

但是總體來說，真的不多，而且絕大部分都是以2B的形式存在。我們知道，從格局上來看，2B的產品永遠是難以做到2C產品那種真正宏偉規模，改變產業格局的。

所以，從這點來說，雖然你市場需求放在這裡，但想真正以大數據為切入點、為立足的根本做點事，其實也沒有想像中那麼容易。

糾結~~

不過作為大數據領域的半個「老司機」，依然是希望大數據這個技術領域、這個行業，有一天能夠形成獨立的、推動人類進程的一些東西。

亦如互聯網、亦如社交網路、亦如電子商務、亦如移動互聯網等！

結語

最近一直有很多新手同行們向我請教大數據方向上的一些事，自己也一直在思考互聯網開放數據落地變現、以及大數據產業格局相關的問題。

所以，想的多了，對一些東西還是有一些看法的，藏在心中不吐不快。

也希望，上面閑話里的一些東西能夠引起你的一些共鳴，當然反駁也歡迎，歡迎一切與人格無關，與技術有關、與業態有關的探討。

下次希望有時間，能和大家一起探討一些關於互聯網開放數據落地變現相關的話題，這也是我目前一直想探索的東西，下次如果有所收穫再寫點東西吧。

(正文完)