大數據之路依然還很長，看你怎麼走

來自專欄 數據蟲巢

文·HCY崇遠

01

前段時間做了一次大數據直播課，主要是大數據職業生涯規劃的一些內容。第一次做，磕磕絆絆，但總算順利搞完了。

直播課中有收集到群里朋友的一些問題，並且在直播中進行了觀點闡述解答，但是基於時間的關係（只直播了3個小時左右），所以很多問題並沒有闡述的很完全。

在這裡，我們著重的對一些核心關注的問題進行更全面的分析，以及對直播課中遺漏的一些內容做補充，或許結合直播課的錄屏以及這篇文章的內容，會讓大數據職業生涯規劃這個話題更完善一些。

02

作為大數據領域的從業者，或許對於偏技術類的，諸如大數據開發工程師、數據分析師，俞或者是數據挖掘工程師等崗位已經很熟悉了，但在此之前甚少人會關注偏業務的，比如數據產品經理，大數據售前工程師等這種崗位。

所以，在直播的時候，就有不少朋友提到過類似的問題：

數據產品經理的職業發展路徑是怎樣的，已經注重鍛煉什麼核心技能？

偏前端的工作，諸如大數據產品銷售、售前等崗位，需要掌握什麼知識？

這類問題逐漸被越來越多的人所關注，說明大數據這個點逐漸的被越來越多人所認可，並試圖逐漸的將其應用於業務，將其產業化、產品化，這是個可喜的進步。說明，大數據這個東西正在試圖標準化與常規化。

在過去，並沒有很正經的數據產品經理，或者大數據銷售、售前這類崗位之說，但隨著其形態以及重要性逐漸被探索，這也是必經的一個過程，說明大數據逐漸往健康良性的狀態里轉換。

並且，就我個人來說，也在一直有意義的將自己從一個大數據技術人員往大數據產品應用層面去轉換，或者不能說轉換，最起碼需要兼顧大數據產品應用的屬性。大數據再怎麼神化，終歸是要業務落地的！

回歸到上面的問題，我們需要如何去調整，來應對大數據產品化的節奏呢？在我認為對數據理解最透徹的應該是早期參與到數據流程處理的人，其實就是大數據工程師們，但是他們離數據產品還隔著業務，所以，他們需要補充大量的業務知識，並試圖將兩者打通貫穿，從這個角度說，我個人是很推薦一些思維靈活的大數據工程師往大數據產品甚至是售前售後這種偏上層崗位上轉。

對於傳統的產品經理們來說，在未來，數據一定是驅動力所在（不見BAT都忙著玩數據、說AI么），所以在未來大部分的科技產品中，必然會包含數據以及AI的元素，那麼，對於他們來說，理解數據並使數據很好的落地就成了一個可升值的屬性。

對於數據產品經理，以及大數據銷售、售前售後等崗位的人來說，要習慣以數據的思維去看待業務問題，學會常規的業務數據分析的角度去思考問題，多看多了解大數據的一些典型落地場景，並結合自身的業務，能夠把數據和業務的事情說透，基本就差不多了。

更落地的做法是，技術人猿需要更多的與業務人員溝通，嘗試通過數據解決業務的瓶頸，加速業務的過程；而對於偏業務的產品以及銷售來說，需要了解更多大數據落地的場景，了解數據的基本流轉流程、數據的應用模型等。

關於數據產品經理這部分，可以參考之前寫的兩篇文章：

• 《在大數據領域裡，你們是不是忽略數據產品經理這個剛問？》
• 《數據產品篇續：技術與產品難道註定要相愛相殺？》

03

關於大數據與傳統領域的關聯，同樣很多人關注，並涉及到了未來大數據的一個大致發展方向問題。

其實我個人認為，大數據真的要成為一個變革性的東西，一直在互聯網圈子裡玩是遠遠不夠的，它必須是能夠深入到普通人的生活裡頭的，而不僅僅是偏愛互聯網的群體。那麼，如何覆蓋呢？打通線上與線下的場景，讓數據流通起來。這點，不管是騰訊也好、阿里也好，或者是百度也好，都深諳其道！

以支付場景為例，騰訊近兩年來一直致力於將手機移動支付「侵入」到我們生活的方面方面，並且甚至不惜與ZF一起聯合在各個方面做嘗試，並且其他幾家同樣也在跑馬圈地，與各個地方ZF打造智慧城市等項目。

試想一下，你騎個車、打個的、坐個公交地鐵、加個油，去個超市，你的各種數據都會通過你的支付入口，流入到線上，進行數據的集成，然後分析挖掘，再反向反饋給你，比如基於你的消費能力、行為、習慣，完善你的資產評估、信用評估，而在未來數據化的信用將是個好東西，意味著很多時候你不再需要證明你的信用。再比如說，基於你的各種出行數據，結合LBS服務，再實時的將線上的服務推送給你，充分體現便捷性。

這就是線上技術往線下侵入，實現數據的全面收集，打造更完善的用戶畫像，並基於畫像提供覆蓋線上線下的一體化服務，未來你的生活的方方面面都會發現，更加的便捷了。

除此之外，傳統領域必將會被大數據逐漸侵入的另一個原因就是，感測技術的逐漸成熟，導致了各種感應器、感測器的成本直線下降，各種智能終端鋪天蓋地，這也是線下數據快速集成至線上的重要原因，有了數據，後面的事就簡單多了。

一個很落地的疑問是：

大數據在傳統行業(非互聯網行業)有哪些落地應用？

其實大數據在非互聯網領域已經逐漸越來越多的應用了，目前相對比較成熟的，諸如通過感測器收集工業製造環節的所有數據，進而構建數學模型，用於改進工業生產流程，減少次品率，提升生產效率。這就是數據很純粹的走向線下，並對線下領域帶來變化。除此之外，商業選址也是個很成熟的案例了。

目前一些大的品牌連鎖店，已經在探索數據的另一個應用。他們不止對購物清單進行分析，還在各個連鎖門店安裝大量的感應器，來收集客戶的門店活動數據，然後通過分析，來進行商品鋪陳拜訪，格局的設置，商品的搭配各種優化。而那些收集過來的數據是顧客的店內行動軌跡、目光的聚焦點、商品的查看數據，商品櫃的挺溜時間等等，各種以前很難去收集的數據。

聽起來有點懸，但事實卻是是存在，並且越來越多的大型線下傳統零售商會走這個路子。只要線下數據能變成線上的虛擬數據，一些場景都可以進行數據化，而未來一定是個高效的社會。

從目前看，其實已經有部分比較偏傳統的公司開始涉及數據，但他們面臨的最大的挑戰是如何進行數據的規整、打通。因為在傳統領域很多信息都記錄在紙質實體上，所以進行數據線上化是第一步，此外就是他們很多線上系統數據都是孤立的，哪怕是不同部門之間的數據都是孤立的，需要進行打通，使之流轉，才能言之分析挖掘。

關於數據在傳統領域以及未來發展相關的觀點，在這些文章里可以看到一些：

• 《數據化政務輿情的探索》
• 《閑話互聯網開放型數據價值挖掘》

04

由於現在越來越多公司試圖在數據時代真正顛覆之前佔得一席之地，所以也早早開啟了數據研究使用之路，那麼，問題來了，如何完成0到1的過渡階段呢？

之前很多參與《大數據職業生涯規劃直播課》的朋友一些疑惑的點諸如：

針對一個傳統企業做大數據頂層規劃，幫他們組建大數據團隊，制定階段計劃，目標是快速用數據帶來業務提升?

初創公司數據團隊是否更需要能力更加全面的工程師？

記得很久以前寫過一個系列《從0到1構建數據生態系列》，其中就涉及到了不少這塊的話題。針對於上面第一個問題，其實不止是傳統企業，一般其他企業的過程也一樣的。

第一，我們首先需要解決的是，基本數據架構的搭建、並且圍繞架構將數據流程的打通，只不過結合傳統企業的特點，這一步會走的更艱辛點。在這一步，結合業務實際情況，進行數據平台架構設計，並逐步落地，所以，對於數據架構你需要住夠的清晰。此外，這個階段有個很重要的點就是，不要想過於遙遠的事情，但也不能忽略未來，即我們在做平台規劃的時候，盡量的滿足當前業務數據即可，但依然要留下可擴展的空間，以防未來規模擴大。

第二，在數據流轉的基礎上，進行數據價值的輸出。這點很重要，搭建數據團隊的核心目的是數據價值挖掘，但是千萬別一上來就想著能從數據里挖金子，不現實，第一步能把數據分析體系搭建起來，把業務數據運營分析結論等做常規輸出，腳踏實地，階段性成果輸出這個很重要，這是讓別人相信數據是有用的第一步。

第三，在淺層數據價值輸出的基礎上，你需要讓別人相信，數據的價值遠不止如此，這個階段會很難。在無數歷史慘痛的案例下，很多數據團隊最終無疾而終，都是停留在了上面第二點，一直沒有突破，最終產生了數據的價值也就如此而已了，最終導致了數據團隊不上不下的地步。其實要突破這個桎梏確實很難，我們需要更深一步了解業務，主動尋找業務與數據的結合點，然後讓數據更落地，確實的能幫到業務的提升，不管是從效果還是從效率上。但對於絕大部分團隊來說，這些東西都是新的，很難從外界找到可參考的點，這就意味著需要數據團隊自己去摸索，依靠自己的能力去推進，去說服別人。從這個角度上來看，這已經是超出了工程師的範疇，多了推廣者、佈道者的角色身份。所以到了這個階段，作為數據團隊的leader，已經不能滿足於技術了，他需要試圖挖掘數據更深層的價值，並主動去尋找業務與數據的價值點，然後將想法落地，並最終證明這條路是可行的。

回到第二個問題上，對於初創的數據團隊來說，一個資源有限，這就是上面我一直提的，在有限的資源情況下，進行階段性的成果產出，這很重要。那麼，這種情況下，必然是更希望工程師能多面輸出，從數據收集到數據處理、到數據存儲、分析淺層挖掘。但是，到了中後期，還是希望每個角色的能力能更聚焦，比如有更職業的分析師、演算法工程師加入等。

關於這塊的很多觀點，可以從《從0到1構建數據生態系列》看到：

• 《從0到1構建數據生態系列之一：蠻荒時代》
• 《從0到1構建數據生態系列之二：拓荒》
• 《從0到1構建數據生態系列之三：拆解架構圖》
• 《從0到1構建數據生態系列之四：與研發的愛恨情仇》
• 《從0到1構建數據生態系列之五：讓你的數據生態更高效》
• 《從0到1構建數據生態系列之六：數據價值挖掘》

05

再來聊聊，以什麼樣的最佳姿勢進入的話題（好吧，描述有點污，其實說白了就是如何入門）。

實際情況還是蠻多蠻複雜的：

沒有任何開發基礎，從事大數據開發是否有可能？

大四學生，目前java實習，想往大數據方向發展，是否換實習？如何準備，大數據崗位是否會招募畢業生。

目前從事傳統IT領域的運維，想進入大數據行業，該如何著手？

以上是實打實的從上次直播課中收集到學員問題，雖然上次直播中已經有回答，但是這裡做一個更詳細的分析。

首先，對於一門新起的技術，培訓市場永遠是最敏銳的，他能在潮流的拐點處巧妙的抓住機會，然後迅速崛起，參考java、安卓等培訓市場的發家史。

對於大數據領域，2014左右是培訓市場開始大規模切入的時候，除了第一批大數據從業者是自學成才，緊隨其後就出現很多從培訓流水線走下來的轉型工程師，直到今天甚至是未來幾年，在學校正規軍成型之前，它依然會是主力供血渠道。

其實對於培訓市場本身這個事，我沒有偏見，畢竟市場是有需求的，而它能解決這部分的問題，沒毛病。但是有毛病的是，現在很多培訓機構打著大數據培訓的幌子、做培訓java或者資料庫的事。一些培訓機構講師連互聯網都沒待過、連正式的Hadoop都沒有玩過，只是在傳統IT領域玩透了資料庫，也敢妄稱大數據專家，我呸！

其實這就是我想針對這個小節話題描述的第一個觀點，想入大數據行業，從培訓的渠道走，沒啥毛病，但是需要有識別的能力，不要被騙了，你相信一個事，大數據技術最佳的沉澱地一直是互聯網，這個不會變的，注意區分java培訓、資料庫培訓與大數據培訓的區別，識別不出來就多問多看多學，別亂花這個冤枉錢。

對於第二個問題，比如學生的問題，突然想到了股市的經典術語，最後逃生門。其實對於目前正要畢業的學生來說，要入行趁早，未來數據會有一席之地，這點毋庸置疑。但是從目前的發展態勢來看，正規學校畢業的從業者將會越來越多，市場是有飽和性的，當越來越多的資源湧入的時候，就到了崗位福利枯竭的時候，那豈不是又是一個java和移動開發轉型的實例？

但現實就是這樣的，所以，對於學生同學來說，一個建議就是要入趁早，要麼就抓准更未來的一個趨勢點，博人之先，但是這個是有風險的，更未來趨勢誰也不知道，就比如物聯網早在我念書的時候就說要火，這不也磨了這老些年，直到現在智能硬體成本下降才有一絲崛起的可能嘛。

第三，對於那些有一定開發基礎的朋友來說，其實就方便很多了，你要相信萬法是相同的，無非是有沒有接觸過而已。有一定基礎，比如java、linux等基礎，對於大數據開發來說，是有好處的，額外再進行空缺技能點的點亮就行了。

最後，我個人認為並不是所有人都適合從事大數據相關工作的，大數據本身就是一個年輕的領域，這就意味著他會有更少成熟的案例、可供參考的經驗，所以需要有探索、創新的精神和思維。所以，真的是需要一定創新精神，以及靈活的思維的，所以，它對於那些更善於解決問題的人可能會更適合點點。

關於這部分，或許之前的文章會有點幫助：

• 《寫給想要跨界、初入大數據領域，以及想了解數據業務模式的朋友》
• 《大數據跨界，從這裡開始》

06

不知不覺圍繞這幾個點說了不少了，希望能夠對大家有所幫助，對於那些參加了之前的《大數據職業生涯規劃直播課》的同學來說，希望這些東西能夠更全面的補充之前的一些遺漏的點。

突然想起上兩次有篇文章《那些大數據新手們所關心的》，引起了少數讀者的不滿，認為我沒有實打實的去回答那些羅列的問題，所云非善。扯犢子，我寫那篇文章的時候我有說過我是奔著一一解答所列問題去的嗎？我只是想通過那些問題，尋找一些問題的共同點並發散那些想法而已。算了拉到不解釋了，想看就看，不想看的就當路過，看不懂的也當路過。

打完收工。