在大數據時代，每家公司都要有大數據部門嗎？

作者：桑文鋒，神策數據創始人兼 CEO，前百度大數據部技術經理

如果這個問題換做是：在電氣時代，每家公司都要有個發電廠嗎？是不是會更好回答一些？事實上每一種重大技術的出現，都會對產業產生大的變化。在蒸汽時代，採礦機採用蒸汽機後，會帶來生產效率的極大提升，而輪船加上蒸汽機，再也不需要靠風才能航海了。在電氣時代，電燈代替了蠟燭，電報代替了快馬送信，而報紙也被廣播和電視所侵蝕。可以說是現有產業加上新技術，形成了新產業。

我們回過頭來看這兩次工業革命，生產蒸汽機的企業只有少量幾家，而發電的企業在美國也只有通用電氣和西屋電氣。並不是每家企業都要從事這些基礎設施的研發和生產，更多的是對新技術加以應用，發揮新技術帶來的價值。

在 IT 領域，軟體剛出來時，可以說是計算和存儲完全混雜在一起。有人嘗試將計算硬體進行分離，歪打正著成就了 Intel。有人嘗試將存儲系統分離，因而有了 Oracle。Intel 和 Oracle 固然偉大，但它們的價值更多的還在於有廣大的企業採用了這些新的技術，在具體的行業中，產生了更大的價值。同樣，雲計算這種理念固然是好，但如果每家企業都建立自己的雲計算中心，從資金和人力投入上，一定是不划算的，更嚴重的問題是做不到最優。相反，有了 AWS 和阿里雲這樣的雲計算提供商，讓中小企業更便捷的進行創新應用。

回到題目中的問題，在大數據時代，每家公司都要有自己的大數據部門嗎？結論也不能下的太武斷。早在 2008 年，雲計算的概念剛剛興起，百度內部出現了兩撥勢力。一撥要從零開始打造自己的大數據底層技術，把 MapReduce、GFS、BigTable 這些組件都要實現一遍，結果花了兩三年時間，也沒能穩定運行。而另外一撥勢力，直接採納開源的 Hadoop 生態，很快在公司內應用起來。而我當時做的日誌統計平台，也是採用了 Hadoop。但百度的數據規模畢竟太大了，所需的集群規模，開源版本根本撐不住，於是不得不改寫 Hadoop，這樣就和開源的版本漸行漸遠，等到後來再也合不到一起了。曾經有一年多的時間，我們部門新設計和實現和底層的存儲及計算系統，結果發現開源的版本也差不多實現到了同樣效果。雖然許多內部的人覺得我們怎麼總重複造輪子，但我明白還是需求使然，你面臨的需求相對領先，但也沒有領先到像 Google 那樣提早 5 年。但對於小公司來說，則完全沒必要從零開始做，還是要盡量用開源的產品。

整個 Hadoop 生態，要比我 2008 年剛用的時候，要成熟很多。那個時候我們去拿開源的版本，編譯部署，一個新手可能兩周都不一定能正常的運轉起來。而現在下載一個 Cloudera 發行版，兩個小時就可以正常跑任務了。與此同時，又面臨了新的問題，因為大數據平台牽涉到數據的採集、傳輸、建模存儲、查詢分析、可視化等多個環節，而開源領域只是一些組件，於是各家公司都在紛紛打造自己的大數據平台，這就像 Oracle 之前，各家都在打造自己的存儲系統。這顯然不是一件性價比高的事情。

有市場需求，就會有滿足相應需求的公司誕生，於是就誕生了一堆提供大數據服務的公司。由於這一新領域還處於早期，這些創業公司所能提供的服務並不會特別的完善，要麼是以項目制的方式運轉，要麼是提供專門應用場景的服務。這樣，對於一些企業來說，這些創業公司提供的服務，似乎自己也能實現，那何不幹脆自己做？這創業一年多以來，我看到了太多的公司在打造自己的數據平台，但做的還不夠完善。不管是技術實力還是人力投入上，都有點力不從心。如果選用了這些第三方數據服務，那豈不飯碗被搶了？可我要說的是，飯碗早晚都會被搶，只是時間早晚的問題。這裡只需要問一個問題：我所做的數據平台，是不是其他公司也是類似的需求？如果是的話，那肯定也有其他公司做著類似的事情，做的東西會大同小異。

那麼，就會出現專門的公司，來解決這種通用的需求。因為這些公司專註於解決這一塊問題，所以會更加專業，並且捨得投入。而對於需求公司來說，除非自己轉型去專門做大數據平台，不然在投入上，肯定不是一件性價比很高的事情。與其如此，不如及早側重於自己的核心業務，關注應用需求本身。

那對於企業來說，在大數據時代，應該怎麼做呢？我的建議是三點：

首先，要擁抱大數據技術。

新的重大技術出現，都帶有顛覆性。一不小心，就會被革命。但也不是說企業已有的業務不用搞了，都來搞大數據吧。在大數據這件事上，還是要從需求出發，而不是從大數據出發。有人會問我，我有了一些數據，給我講講怎麼能發揮更大的價值。坦率來說，許多時候不了解業務場景，很難提出建設性的意見的。相反，我們要先看在企業滿足客戶需求的時候，還有哪些重大問題沒有解決好，如果採用了大數據技術，是不是可以更好的解決？如果有這樣的點，那非常好，就勇於去嘗試。如果沒有，那就繼續學習大數據的知識，再等待這樣的場景出現。

其次，企業要有懂大數據的人。

這種人不一定是全職的，但至少是可以將企業的業務和大數據技術結合起來的人。這種人不一定對大數據技術本身很懂，但善於使用新技術。如果企業現在還沒有，並且還沒招到。可以去培養一個頭腦靈活，樂於學習新技術的人。如果拋開大數據系統的實現挑戰，理解大數據的應用場景，那難度會降低不少。

最後，要善於利用第三方服務。

能用第三方服務解決的，就儘快去嘗試。在競爭激烈的情況下，通過採用新技術，獲得技術紅利，跑的更快。就像愛迪生當年發明白熾燈後，那些更早將白熾燈用於工廠的企業家，更有可能提升工人的工作效率。

這篇文章的內容，主要參考了吳軍的新書《智能時代》。對大數據和機器智能感興趣的讀者，強烈推薦這本書。
推薦閱讀：