通往人工智慧未來的三路競賽:量子vs.神經形態vs.高性能計算
作者|Bill Vorhies譯者|馬卓奇編輯|Emily有三種技術正在相競為人工智慧帶來更快、更簡單、更廉價以及更聰明的未來。如今,高性能計算機已經是很容易得到的資源,不過量子計算機和模仿神經狀態的脈衝神經網路的新商業版也是如此。這兩個新的進入者將從現在開始徹底改變人工智慧和深度學習。更多乾貨文章請關注公眾號「AI 前線」,ID:ai-front人工智慧和深度學習目前存在的三個問題
時間: 訓練一個像卷積神經網路(CNN)或循環神經網路(RNN)這樣的深度網路所需要的時間可以達到數周。這還不包括定義問題,以及在深度網路達到所需性能閾值之前,對其進行編程的過程中不斷的成功和失敗所耗費的時間。
花費: 在上百台 GPU 上進行連續數周的計算是十分昂貴的。從亞馬遜的雲計算服務租賃 800 台 GPU 使用一周的時間,訂價就要大概 12 萬美金。這還沒開始計算人力成本。啟動一個 AI 項目可能意味著要聘用成本最高的人才幾個月或一年或更多的時間。
數據: 在許多情況下,無法獲得足夠數量的有標記數據,會導致項目無法開始。有許多好點子都由於無法負擔訓練數據的價格,而失去了探索的機會。
所以,我們主要在涉及圖像處理、文本和語音識別的商業領域取得了良好進展,然而這些初創公司往往利用了谷歌、IBM、微軟和其他大公司的工作,這些大公司提供了許多訓練好的圖像和語音模型,可以通過 API 使用。
人工智慧未來的三路競賽如果你一直在跟進該領域的進展,你會發現我們使用 CNN 和 RNN 已經向前衝出了一段,但是超越這些應用的進展現在才剛剛出現。下一波進步浪潮將來自於生成對抗網路(GAN)以及增強學習(Reinforcement Learning),以及一些像 IBM Waston 那樣的認知計算系統的助力。我們最近的文章《人工智慧的三個時代——我們現在在哪裡》中對此進行了總結。
以下是關於我們該如何前進的最常見的願景。用我們所知道的;從我們現在常用的 CNN 和 RNN 中將演化出越來越複雜的具有不同結構的深度神經網路。我們只需要讓它們運行的更快。
事實上,儘管未來可能完全不同。我們看到的是在人工智慧的未來,基於完全不同技術的三方競賽正在逐漸成形。它們分別是:
高性能計算(HPC)
神經形態計算(NC)
量子計算(QC)
其中之一,高性能計算是我們今天所看到的主要焦點。晶元製造商之間正在激烈競爭,還有一些諸如谷歌這樣的不太像晶元廠家的非硬體用戶,也在為了加速深度學習而開發晶元。而另外兩個,神經形態,也稱作脈衝神經網路,以及量子計算,聽起來似乎是很遙遠的事情。然而事實是,如今已經有商用的神經形態晶元和量子計算機在可操作的機器學習中投入使用。
這可以是冰山一角,也可以是帳篷下的駱駝鼻子,取決於你喜歡哪個比喻了。無論是熱的還是冷的說法,這兩種新技術都會顛覆人工智慧的一條看似筆直的道路,但是是以一種良性的方式顛覆了它。
高性能計算(HPC)大家一直最關注的方向是高性能計算。它專註於已知的深度神經網路架構,致力於讓它們運行地更快並且更容易訪問。
基本上這意味著兩點:更好的通用環境,例如 TensorFlow,以及在越來越大的數據中心對 GPU 和 FPGA 更有效的利用,並且更專業的晶元有望出現在不遠的將來。
人工智慧領域中,新的商業模式是「開源」。在 2016 年頭六個月,也就在 12 個月前,幾乎人工智慧領域的每一個主要參與者都開源了他們的人工智慧平台。他們都是競爭對手,擁有在數據中心、雲服務和智能 IP 的巨大投資。開源背後的策略很簡單,擁有最多用戶(平台採用人數)的平台獲勝。
當英特爾、NVIDIA 等傳統晶元廠商紛紛從 GPU 的新需求中盈利時,其他公司,例如谷歌和微軟,正在探索全新的領域,他們自主開發專有晶元,使他們自己的深度學習平台更快或更受歡迎一些。
谷歌用 TensorFlow 作為其功能強大的、通用的解決方案,與最新公布的專用晶元 TPU(張量處理單元)相結合打出了漂亮的一拳。
微軟一直在大力宣揚其使用的是非專有的 FPGA,並且他們剛剛發布微軟認知工具包(CNTK)的專業 2.0 升級。CNTK 提供了一個 java API,可將 Spark 直接集成進來。它支持 Keras 框架下完成的代碼,Keras 是 TensorFlow 的主要競爭對手,基本上是 TensorFlow 的一個前端,便於用戶從谷歌遷移過來。據報道,CNTK 要比 TensorFlow 更快,並且更準確,而且也提供了 Python API。
Spark 集成將繼續成為一個重要的驅動力。雅虎已經把 TensorFlow 集成到 Spark 平台。Spark 的主要商業服務提供商 Databricks 現在已經有自己的開源軟體包,將深度學習和 Spark 集成起來。
問題在於,就像摩爾定律的限制,這些進步能將我們帶去多遠的未來。他們現如今已經十分普遍,但他們將繼續前進。他們足以讓我們進入 GAN 和強化學習的階段嗎?也許是的,至少我們現在知道如何使用這些深度學習架構。
模擬神經形態計算(NC)或神經脈衝網路(SNN)模擬神經形態計算或神經脈衝網路正處在通往強人工智慧的道路上,它們基於對大腦實際工作方式的一些觀察來對網路進行設計。這種方式與我們目前所設計的深度神經網路工作的方式明顯不同。
首先,研究人員觀察到,大腦中並不是所有的神經元每一次都會響應。神經元發出選擇性信號沿網路下傳,數據實際上是在信號的電位峰值中以某種方式編碼的。其實這些信號由一系列峰值組成,所以目前主要研究信息是否在振幅、頻率編碼,或峰值之間的延遲中編碼,或者三者皆有。
在我們現有的深度神經網路中,所有神經元每次都按照相對簡單的激活函數,Sigmoid 或者 ReLU 進行響應。
由於不是所有的「神經元」每次都要響應,一個簡單的脈衝神經網路神經元可以取代傳統的深度網路中上百個神經元,從而在網路的能力和大小上都得到更高的效率。
早期的例子表明,它們可以從環境中只使用無監督技術(沒有標註樣例)進行學習,樣例越少,學的越快。
它們可以泛化它們的環境,從一個環境中學習並將其應用到另一個。它們能記憶並泛化,這是一個真正的能力突破。
它們的能量效率更高,為網路模型小型化開闢了一條道路。
因此,改變這種基本架構可以解決今天深度學習所面臨的所有三個基本問題。
最重要的是,現在就已經可以購買並使用模擬神經形態的脈衝神經網路系統了,它不是一項未來的技術。
BrainChip 控股公司(加利福尼亞州,Aliso Viejo 區)已經在拉斯維加斯最大的賭場之一推出了商業安全監控系統,並且宣布了將要交付的其他應用程序。在拉斯維加斯,它的功能是通過監視標準監控攝像機的視頻流來直觀地、自動地檢測發牌員的錯誤。它完全通過觀察來學習遊戲規則。
BrainChip 是一個在澳大利亞證券交易所(ASX:BRN)上市的公司,為他們所研發的脈衝網路技術申請了知識產權專利保護。它正在推出一系列自己的賭博監控產品,同時在為其知識產權尋求許可協議。
是的,這項技術還需要許多改進,但對於目前的人工智慧開發來說,脈衝神經網路已經成為一個商業現實和選擇。
量子計算關於量子計算的一些你可能沒有意識到的事:
如今,量子計算已經可供人們使用,並且自從 2010 年起,Lockheed Martin 一直將其投入商業使用。其他幾家公司正在推出的商業應用都是基於 D-Wave 量子計算機的,這是第一個商業市場。D-Wave 近期每年都將它的量子計算機的規模擴大一倍,並且有望繼續這樣做。
五月份,IBM 宣布其量子計算機 IBM Q 的商業可用性。這是一個基於雲的訂閱服務,這無疑在引導著行業向簡化訪問其他昂貴或複雜機器的方向發展。IBM 表示,到目前為止,用戶已經在他們的機器上運行了 300000 個實驗。
在接下來的兩到三年里,谷歌和微軟將在市面上發行他們自己的量子計算機,作為個人或學術機構的一套完整的伺服器。
由 D-Wave 和一些獨立的研究人員引入的開源編程語言可以使這些設備的編程更容易。
量子計算機擅長各類優化問題,包括基於隨機梯度下降方法的所有演算法。他們可以輕易模仿受限玻爾茲曼機,你可以將其視為深度神經網路結構之一,並且它們目前正在深度學習配置中使用,像卷積神經網路(CNN)一樣進行圖像分類的任務。由於一些結構差異,我們需要區分這類網路為量子神經網路(QNN)。
據 2015 年由谷歌對 D-Wave 的量子計算機與傳統計算機的基準實驗研究報告表明,量子計算機的性能優於傳統的台式計算機 108 倍,速度上快了一億倍。Hartmut Nevan 是谷歌的工程總監,在一個新聞發布會上宣布了基準實驗結果。他介紹說,「D-Wave 一秒鐘完成的工作需要花費傳統的計算機一萬年的時間。」
因此,量子仍然代表了第三條通往強人工智慧的道路,並且克服了速度和成本問題。
如何擺脫這些問題?事實上,神經形態計算和量子計算正在鋪設通往深度學習,甚至是更快或者更簡單的新版本人工智慧的競爭路線。
首先,時間線。高性能計算今天已經成為現實,並且基於新研發的晶元,在接下來的幾年可能會繼續提高其性能。然而,對其新工廠和數據中心的巨額投資可能會由於量子計算和神經形態計算的飛速進展而很快中斷。
深度學習平台。以谷歌的 TensorFlow 和微軟的 Cognitive Toolkit(CNTK)為例,如今它們已經被廣泛使用,但毫無疑問,其他競爭對手也將努力爭取最多的用戶。隨著量子計算和神經形態計算功能的普及,這一點也將適用於他們。
模擬神經形態的脈衝神經網路(SNN)和量子計算才剛剛用於商業。每一個都將為人工智慧提供非凡的新能力。
脈衝神經網路有望成為強大的自學習者,通過較小的未標註的訓練集和從一個域到另一個的知識轉移能力,開啟了超高效學習的大門。
量子計算機將完全消除時間障礙,並且最終成本壁壘也會將得到解決方案的時間從幾個月降低到幾分鐘。重要的是,目前正在使用的學習風格被稱為增強量子計算,因為它是基於我們目前的深度學習演算法,並且提高它們的性能。然而基於這些機器完全不同能力的全新的機器學習類型尚未到來。
我個人感覺,對於量子計算和神經形態計算,我們目前所在的時間點就像 2007 年,那年穀歌的大計劃是開源的 Hadoop。起初我們並不知道該怎麼用它,但三年後,Hadoop 在很大程度上接管了數據科學的進步。我想從現在開始,未來三年也將會有令人吃驚的發展。
查看英文原文:
https://www.datasciencecentral.com/profiles/blogs/the-three-way-race-to-the-future-of-ai-quantum-vs-neuromorphic-vs
關於作者Bill Vorhies 是數據科學中心的編輯部主任,自 2001 起成為數據科學家和商業預測建模師。
聯繫作者:Bill@DataScienceCentral.com
推薦閱讀:
※再論黑洞火牆與量子糾纏
※科學家製造宇宙最稀薄的液體,這意味著什麼?
※顛覆你世界觀的量子理論
※未解之謎:宇宙量子泡沫存在嗎?
※活生生的量子世界