大數據時代的新變數

由中國計算機協會主辦,中國大數據專委會承辦,CSDN協辦的大數據技術大會進入了第十個年頭。在這十個年頭中,從早期的幾十人的會議,到如今的幾千人規模大會,大數據技術大會成為了大數據技術的佈道者,見證了我國大數據產業與生態的建立、發展和成熟。

在本次大會上發布的關於大數據十大發展預測中,人工智慧相關的命題已經佔有其中之四。作為大數據分析的重要手段之一,人工智慧的火爆不難預料。人工智慧技術的火熱已經不僅僅體現在技術應用上,在日常生活中與之相關的談論也隨處可見。

那麼大數據到如今還面臨著怎樣的問題,如何看待大數據與人工智慧之間的關係?在會議過程中,澳洲昆士蘭大學教授周曉方博士,微軟亞洲研究院副院長、首席研究員劉鐵岩,華東師範大學數據科學與工程學院副院長錢衛寧,滴滴出行高級副總裁章文嵩接受了採訪。

數據質量是重點

眾所周知,目前,數據正在以指數級的量倍增, 這些數據來源廣泛,既有來自各行各業的行業性數據、又有來自個人的數據,這些數據既包括機構化的,也包括非結構化的。

數據是如此的龐雜,對於數據質量的管理將是一個非常大的問題,也是一個較為核心的問題。無論是以人工智慧作為對數據的分析手段,還是最為基礎的數據分析,數據質量都決定著數據分析最終的準確性,一個錯誤數據集合,得出的結果可想而知。

周曉方表示,數據質量管理是大數據最為傳統的問題,從數據的完整性,時效性、準確性、一致性等眾維度出發,無論是在哪個方向上如果不能夠對數據有明確的理解,之後由數據所產生誤導的概率將大大增加。

章文嵩提出對於滴滴而言,數據質量非常關鍵,公司里在數據的收集、生產、傳輸的整個過程中,為了提高數據質量,需要做到層層校驗,這些都有利於最終結論的準確性。以派單執行為例,他表示,在此過程中,利用層層校驗可以明確數據產生的合理性和準確性,最終保證買點的正確性。

更深入而言,大數據雖然是對於數據的利用,但是並不是針對所有數據,從實際情況出發,需要明確最終的目標,劉鐵岩表示,想要數據產生價值,就必須了解哪些數據對於企業而言是合適的,在這個過程中,合理的利用演算法減少噪音是必須的。

對於數據的應用,錢衛寧認為,簡單的將數據展示和報表化是數據最初的應用模式,通過數據收集將數據重構,並且以此為依據,實現對業務流程的重新設計才是更為重要的事情。

人工智慧與大數據

最近,有傳聞 AlphaGo Zero未來將不需要大數據就能夠實現人工智慧,此消息一出,很多人都在感嘆科技的飛速發展。但事實上,真相併非如此。劉鐵岩表示,AlphaGo Zero並不是不需要大數據,只不過,因為它是一種特殊的應用,這種特殊性是否能夠真的在其他應用中廣泛的實踐有待驗證,而實際上,小樣本學習才是人工智慧發展的方向。

劉鐵岩認為,當機器學習任務最終實現精細化和個性化後,所有的數據都有可能成為小數據。他表示並非所有的知識都能完全數據化,而豐富的大數據也可能更多是數據噪音,所以需要以全局的眼光看待人工智慧。

人工智慧所受到的高度關注,也給我們的帶來了一些啟示。錢衛寧認為具體表現有四點,首先,現實世界的各行各業都可以開發計算機應用,通過自動化和智能化替代人;其次,現實世界的各行各業不像圍棋那樣有簡單的規則和輸贏標準;再次,各行各業都有數據,怎麼用好是關鍵;最後,各行各業都需要AlphaGo,但不是每個行業都能有AlphaGo Zero。

在人工智慧與數據以及硬體的關係上,中國科學院計算技術研究所副所長陳熙霖認為,數據使AI走出Toy World,而AI使數據發揮價值,離開了數據的演算法不會成為智者,沒有硬體支撐,AI或者大數據也難以真正應用,同樣缺乏分析的大數據智能是垃圾的數據,並且沒有新的應用需求,硬體發展也會迷失。

在採訪過程中,無人駕駛與智能出行,作為人工智慧應用最為火熱的話題,也引發了專家和學者的討論。具體觀點可以總結為,無人駕駛是一個大的趨勢,但是,真正的落地應用還需要很長的時間。舉例來說,在沒有3D激光掃描技術的時候,公路上一片小的陰影與斷裂的公路就不能有效的區分,而現實當中,目前還存在許多類似的問題並沒有更好的解決方案。同樣,對於無人駕駛而言,未來也許更需要立法來規範使用規則。

在我看來,人工智慧將成為大數據時代下的新變數,將更加刺激人們對於大數據問題的探索。當然無論是人工智慧,亦或是大數據等等,這些技術使用的最終的目的就是為了提高社會效率。就如同專家所提到的,有了網路、雲計算,在中國西部地區也能高效的實現數字化,而大山裡的孩子也有機會通過網路得到更好的教育。


推薦閱讀:

歡迎收藏丨6個免費數據源網站
在真正的「大數據」面前,每個人都像是在「裸奔」
八大數據分析模型之——事件模型(二)
數據壓縮有沒有可能發展到極限?
從頭學習大數據培訓課程 NOSQL 資料庫 hbase(五)讀取 hbase 的 hfile 文件並生成 hive 使用的 orc 文件

TAG:人工智慧 | 大數據 |