標籤:

大數據漫談(五) -- 數據生態

「演算法經濟」:演算法交易將會形成一個全球性的市場,世界各地的研究人員、工程師都能在這個市場上創造、分享乃至合成大規模的新演算法。屆時,演算法也將變得像集裝箱一樣,能夠任意組合擴展,從而搭建適用於不同應用的架構。

數據和雲存儲也都遵從摩爾定律:每過兩年,世界上的數據量就會翻倍,同時用於存儲這些數據的成本則會以同樣的速度下降。這些大量的數據使得人們可以創造出更多的產品特徵和更好的機器學習模型。

智能商業的世界裡,數據為王,而那些能夠產生最高質量數據的服務將獲得壓倒性的優勢。正如上文所言:活的、高質量的數據,將更容易生成更好的演算法、模型、引擎,進而創造出擁有更好用戶體驗的數據產品,再吸引到更多高質量的用戶數據。換句話說,這不僅僅是反饋閉環,也不僅僅是閉環的效率,這裡涉及到一個新的名稱 -- 正向反饋閉環

讓我們再次回到工業時代:工業革命的早期,企業為了生產最終的產品,不得不生產這個產品中的每一個部件,有的甚至還得自己解決生產這些部件的能源(蒸汽能,電能)。

而隨著工業化進程的發展,企業的分工越來越細化,有人專門解決能源問題,有人專門生產特殊部件。在社會分工越來越精細化的全球化過程中以及未來的工業4.0,生產企業甚至只需要根據用戶的個性化需求,智能化地採購,組裝,配送就能完成未來的工業生產,那將是一個沒有預先規劃,沒有庫存的新工業時代。

我們再看看互聯網時代、無線互聯網時代的軟體/App市場:各種各樣的個人,即使不向投資人兜售自己的創意和想法,或建立自己的銷售,市場和分發渠道,也能夠在全球範圍內發行和銷售軟體,最終形成App生態。

為什麼不論是在工業時代,還是互聯網時代,分工都越來越精細化?

一是因為最終用戶所需要的產品越來越複雜,必須有社會分工才能完成;

二是因為每個人,每個企業擁有的資源不一樣,擁有的優勢技能也不一樣。所以大家必須一起分工合作,這樣就形成了工業時代的商業經濟,互聯網時代的App經濟。

DT時代也是如此。

DT時代將催化出大數據生態。DT時代的數據生態,我從如下兩個方面來定義:

一、數據交換/交易市場

智能商業的基石就是數據,作為智能商業的第一要務,數據是最重要的。

數據作為生產資料,大數據時代的血液,好比汽車的汽油,沒有汽油,再精美高端的汽車也無法運轉。而數據的來源往往是多方面的,未來一個企業所用到的數據往往不僅僅是自身的數據,甚至是多個渠道交換、整合、購買過來的數據。對於「羊毛出在豬身上」的大數據商業形態,數據一定是流動的,數據只有整合關聯,才能發揮更大的價值。

但是數據要實現交換,交易,正如我上文所言,我們最終所必須解決的是法律法規,數據標準等一系列問題。

二、演算法經濟/生態

Gartner分析認為,演算法將形成一個全球性的交易市場,就像當年的App,催生出全新一代的專業技術初創企業,並且革新機器與機器之間的交互方式。

同時,更多的數據將生成更好的模型和用戶體驗,進而吸引更多的用戶以及更多的數據,而這將導致儲存和計算數據的成本持續降低。

Gartner曾發表報告,對演算法經濟可能帶來的市場影響做出評估。

Gartner認為,無可避免地,演算法經濟將創造一個全新的市場。人們可以對各種演算法進行買賣,為當下的公司匯聚大量的額外收入,並催生出全新一代的專業技術初創企業。

想像這樣一個市場:數十億的演算法都是可以買賣的,每一個演算法代表的是一種軟體代碼,能解決一個或多個技術難題,或者從物聯網的指數級增長中創造一個新的機會。

演算法是創造智能應用的基石,是大數據的核心價值。

也就是說,多個機器學習演算法可以結合起來成為更強大的演算法,從而更好地分析數據,充分挖掘數據里的價值。

在演算法經濟中,前沿的技術項目,無論是先進的智能助理,還是能夠自動計算庫存的無人機,最終都將落實成為實實在在的代碼,供人們交易和使用。

廣義的演算法存在於大數據的整個閉環之中,從大數據平台、ETL(數據採集,數據清洗,數據脫敏等)、數據加工、數據產品等的每一個層面都會有演算法支持。演算法可以直接交易,也可以包裝成產品、工具、服務,甚至平台來交易,最終形成大數據生態中的一個重要組成部分。

甚至有人認為好的演算法能夠擺脫很多公司對大數據的過度依賴。儘管數據在DT時代可能是最昂貴的生產資料,但若演算法足夠強大,大數據並非必須。如遷移學習能讓計算機擺脫對大數據的嚴重依賴,從而讓人工智慧不再只是「富人的遊戲」。

正如App經濟變革了人類與機器的交互方式一樣,我們將會看到,演算法經濟將會促進下一代機器對機器互動演進的巨大飛躍。

人們將會通過產品使用的演算法來評價它的性能好壞。企業的競爭力也不僅僅在於大數據,還要有能夠把數據轉換為實際應用的演算法。因此,CEO應該關注公司有產權的演算法,而不僅僅是大數據。

正在湧現的機器智能平台可憑藉「模型作為服務」的方式,託管預訓練過的機器學習模型,從而令企業能夠更容易地開啟機器學習,快速將其應用從原型轉化成產品。當企業們採用了微服務(microservice)發展範式後,接入並使用不同的機器學習模型和服務以提供特定功能的能力將變得越來越有價值。

所有的這一切,最終也離不開雲計算,數據平台天然就是基於雲計算來實現。而數據交換,演算法交易則需要一個商店,雲端就是目前最好的商店。不管是數據的互通,還是基於雲端預訓練、託管的機器學習模型,將促使每個公司的數據產品都能大規模地利用演算法智能。

我們看一個現實的場景,未來的機器人怎麼生產運作:

DT時代之前的機器人,都是離線的,它們各自分開,軟體的升級與知識的共享變得基本不可能,它們是「死」的。

DT時代的機器人,它們都是在線的,可以在線升級,知識共享,他們是「活」的。

機器人作為終端,可以理解為一個數據產品/應用,負責跟用戶交互,交互的過程中會使用,消耗數據,使用基於雲端的智能化服務。同時,它在跟用戶交互的過程中,也會產生數據,並會把這些數據上傳到雲端。

雲端基於大數據技術平台,搭建一個雲端大數據中心,並在這裡運行著很多基於演算法的智能化應用,如智能語音,智能圖像識別,機器學習模塊等等。這些智能模塊負責跟機器人通訊,並指導機器人的運轉。

更重要的是,它會自動學習機器人終端採集到的數據,使得雲端變得更聰明,進而促使機器人更聰明,實現 正向反饋閉環。每一個機器人採集到的數據,通過雲端的機器學習之後,可以同步到所有的機器人。

機器人公司不一定需要自己生產終端,他只需要把他的需求提交給市場,市場上就會有機器人終端的提供者,這是工業時代的商業經濟。

機器人公司也不需要自己研發雲端的基於演算法的智能化模塊,它可以採購,整合使用別人的智能演算法,服務。而且,如果別人有了更好的演算法與服務,該公司也可以隨時替換,讓自己的技術始終處於領先優勢,這是DT時代的演算法經濟。

最後,機器人公司覺得訓練的數據不夠,他們也可以生產,採購一些新的數據,通過智能化的機器學習,讓機器人擁有新的能力。

這一切,就是DT時代的大數據經濟,基於數據的新商業時代。

參考資料:2016 機器學習三大趨勢:演算法經濟將引導人工智慧走向何方?


推薦閱讀:

阿里巴巴下一代數據集成技術
王家林的技術水平到底咋樣?
【巡洋艦首發】有趣的機器學習 第一章:最簡明入門指南
大數據那些事(18):DoNotEvil公司的程序猿味

TAG:大数据 |