互聯網時代發揮大數據作用為何需要政企合作？

廈門大學張德富談互聯網+大數據=大智慧

2月25日，廈門大學信息科學與技術學院計算機系副主任張德富在CIO時代APP微講座作了題為《互聯網+大數據=大智慧》的主題分享，進一步闡釋了互聯網+大數據如何變成大智慧。

一、大數據時代來臨

隨著移動互聯網和物聯網的發展，人、設備與感測器均有機聯結在一起，人們從移動互聯網和物聯網上獲得了很多數據，其中包括結構化數據、半結構化數據及非結構化數據。大數據主要由非結構化數據構成。

1.大數據之「大」

眾所周知，我們每天都面臨著大量的數據，無論是Internet網路傳輸的電子郵件、Facebook、微信，還是QQ。2020年，全球數據總量將達到40ZB（1ZB=1萬億GB位元組），將1ZB數據用A4紙列印出來，堆疊起來相當於585棟帝國大廈。

2.大數據的概念

大數據是指數量大、變化快和多樣化的信息資產，需要快速地處理，從而給出決策，促進洞察力及優化流程。大數據有不同的定義，但其意義在於通過對海量數據的獲取、整合、分析發現新的知識，創造新的價值，帶來大知識和大智慧。通常所說的海量數據的規模，即是否具有1TB數據以上。

3.大數據的「4V」特性

體量/Volume——傳統是指數據量的大小，隨著計算機技術的發展，存儲視頻、圖像數據變得容易。非結構化數據佔總量數據80%~90%。

多樣性/Variety——由於數據採集的方式多種多樣，特別是數據的格式也各不相同，如文本、圖像、視頻、機器數據都具有異構和多樣性。

價值密度/Value——挖掘大數據的價值類似沙裡淘金，從海量數據中挖掘稀疏但珍貴的信息。

速度/Velocity——要實時處理，例如1秒內給出答案。

4.大數據帶來的挑戰

1）從數據的不同維度看待數據也會得到不同的結果

大數據要想挖出有價值的信息，需從不同維度、全方位考慮。

2）存儲、計算、可視化

需要更高性價比的數據計算和存儲方式。

3）不同的數據管理策略

即海量數據管理的問題。多數企業正在試圖建設自己的數據中心，來滿足大規模的數據量的產生，但隨著數據的進一步增多，很多數據的查詢和分析性能急劇下降，有的數據中心甚至出現了無法響應的狀況，為企業的業務帶來的很大損失。此外，還有數據的安全和隱私問題。

4）超越企業現有IT的數據解決能力

只要少數企業，例如跨國企業，能夠有實力處理大數據，對中小企業而言，超越了本身的解決能力範圍，加之無法招到大數據處理人才。

5.大數據處理技術

包括數據採集（即從感測器、移動互聯網、移動終端獲取的數據）、對數據進行預處理、海量存儲（數據存儲很重要）、數據分析和挖掘、對結果進行可視化（方便決策）。

目前流行的大數據處理技術為Hadoop/Spark

Hadoop的特點：

並行模式簡單、編程較易

為程序員屏蔽通信、並發、同步與一致性等問題

計算與存儲一致，計算向數據靠攏，高效專用存儲模式

任務之間無依賴，具有高系統延展性

Spark是一種基於內存和Hadoop的分散式系統，克服Hadoop不擅長迭代計算的弱點，因此比Hadoop快很多倍。

因此，大數據技術是真正的大智慧，可將大數據變廢為寶。用戶在線的每一次點擊，每一次評論，每一個視頻點播都是大數據的典型來源，通過互聯網便可了解大數據帶來的價值，如京東、阿里巴巴會捕捉用戶的消費行為，進而給出推薦。

6.大數據的隱私安全

大數據是一把雙刃劍，在給企業帶來財富的同時，往往也會對企業和個人帶來傷害。

二、互聯網+大數據

「互聯網+」是利用互聯網的平台，利用互聯網技術、物聯網技術、雲計算與大數據技術等，能將互聯網和包括傳統行業在內的各行各業結合起來，在新的領域創造一種新的模式。創新是互聯網+的靈魂，互聯網+是創新的引擎。

大數據、互聯網+在某一方面的創新便是用戶的競爭，如360安全免費、機場免費WiFi、滴滴打車等，均為大數據時代的商業模式。當然，很多商業模式是不可複製的，如小米。

因此，互聯網+大數據如何實現大智慧，取決於不同的行業應用，需要對具體行業進行具體分析，明確應用需求，行業痛點，才能建立一個有價值的行業大數據平台，產生真正的大智慧。

三、互聯網+大數據=大智慧的案例

以阿里的信用貸款為例，阿里通過掌握的企業交易數據，藉助大數據技術自動分析判定是否給予企業貸款，全程不會出現人工干預。目前阿里信用貸的壞賬率約0.3%左右，大大低於商業銀行。大數據使阿里巴巴直接受益，成為整個阿里巴巴的財富。

大數據變廢為寶的例子很多，如騰訊視頻利用大數據受到大量用戶的使用關注、助選奧巴馬等，都為大數據成功的案例。目前，大數據與證券投資直接為消費者帶來幫助，如新浪、騰訊利用大數據對每家企業的信息進行收集，建立指數基金，從而幫助決策與投資。

四、創業實踐——我知盤中餐大數據平台

創建平台的原因：源於我的三個夢想：幫助農民解決農產品銷路問題；致力解決食品安全問題；理論聯繫實際。

為了實現這個夢想，創立了我知盤中餐互聯網+大數據平台。為了實現大智慧，我們深入調研了餐飲產業鏈的痛點問題。

痛點產生的原因：食材到達餐桌前會經過許多中間商，中間商需要賺錢，導致農民賣不出價錢，而城市消費價格又偏高，還可能產生食品安全問題。

解決方法：即互聯網+大數據，該平台是一個連接農產品供應商，餐飲企業，物流企業以及廣大消費者的餐飲採購產業鏈互聯網+四大行業（現代農業、物流業、餐飲業、金融行業）平台，形成產業鏈的閉環。用戶可以方便的在平台上進行採購和訂餐。

用大數據解決如下問題：

第一，農產品的銷路問題：用大數據整合資源，實現按需生產和消費，實現訂單式生產，精準扶貧，解決三農問題。

第二，吃的問題：用大數據實現農產品、餐飲企業質量排名推薦等，讓大家採購到放心食材，吃得安全。

第三，食品安全問題：餐飲產業鏈大數據的有效整合，可以進行食品安全溯源，讓造假者無處可藏。

第四，大物流問題：方便快捷的智能配送系統，通過整合物流大數據，減低物流成本，同時緩解交通擁擠狀況。

第五，智能對接、精準營銷：讓農業、餐飲、物流大數據插上科技的翅膀，實現精準營銷，消費行為分析，客戶關係管理，用大數據為用戶創造價值。

關鍵創新點：核心為大數據、智能配送、人工智慧，具體模式創新包括食品安全溯源、模式創新、互聯網金融、智能對接精準營銷、產業鏈整合的創新。

由於我知盤中餐平台對能保證品質的農產品供應商、餐館、物流企業，免費入駐，消費者可以採購和點餐。產品數據，餐飲數據，物流數據以及消費者在平台留下的消費和點評數據等，會越來越多。利用這些大數據，可以指導我的博士、研究生進行深入研究和分析，創新出更多的產品，並始終保持技術的先進性，體現真正的大智慧，最終實現農餐大數據的共創、共享和共贏。