周志華揭牌英特爾-南大聯合研究中心：探索「廣義深度學習」

來自專欄機器之心22 人贊了文章

機器之心原創，作者：邱陸陸。

英特爾與南京大學聯合成立了一個「人工智慧聯合研究中心」。9 月 12 日，英特爾中國研究院院長宋繼強與南京大學人工智慧學院院長周志華在南京為這個名為「英特爾-南京大學人工智慧 IPCC 中心」的機構揭了牌。

「我想通過和英特爾的合作，不僅會進一步推動我們在人工智慧、機器學習演算法方面的研究，同時也會進一步擴大這些研究對晶元硬體架構方面進一步發展的影響」，周志華表示，「此外，因為英特爾已經給各行各業的用戶提供了技術支持和服務，通過這次合作，也有可能進一步把我們的研究成果進一步推向產業化應用，提供更好的發展空間。」

周志華與宋繼強曾經是南京大學計算機科學與技術系的九年同窗，如今這兩位昔日校友又分別以學界和業界的身份走到一起，一位帶來了對深度神經網路結構的可替代方法的深入思考——「深度森林」，另一位帶來了以英特爾至強系列處理器為代表的「一片多核」硬體架構，目標是給更大、更需要可解釋性的任務提供不被數據規模局限的、更易訓練也更容易分析的演算法解決方案。

深度神經網路之外的深度學習

「很多外界的人有兩個有失偏頗的觀點。第一，會傾向於認為人工智慧這一波進步完全是深度學習帶起來的，但是其實深度學習只是背後的一部分，比如 AlphaGo 背後更重要的是強化學習。第二，會傾向於認為深度學習就是深度神經網路。我們的探索就是試圖告訴大家：深度學習不光是深度神經網路，還有很多別的東西。」在揭牌儀式之後的採訪上，周志華對於深度森林工作的意義這樣解釋道。同時他也講述了自己對於深度學習的發展趨勢的判斷：「在未來，完全基於深度神經網路的『狹義深度學習』的空間可能逐漸地變小，因為它有用的範圍我們逐漸都知道了。但是廣義的深度學習可能會長期存在下去，甚至變成以後的機器學習系統的一個基本配置。」

什麼是「廣義深度學習」？周志華將其定義為「由更深更大的由子模型組成的解決複雜問題的模型」，這裡的子模型可能是神經網路，可能是隨機森林，也可能是其他的結構。

深度森林演算法提出在去年年初，gcForest 也於去年六月開源。「『沒有免費午餐』定理嚴格證明了沒有一種模型適用於全部的數據類型。深度神經網路在圖像、語音數據上特別有效，而我們的前期研究發現，森林結構在符號數據、離散數據混合建模上可能有特長。」正如 IJCAI 論文結尾所言，團隊認為這項新方法能夠為使用深度學習方法解決更多任務打開一扇深度神經網路之外的大門。

在過去一年多的時間裡，周志華團隊也一直在從不同角度「敲門」。在會後的採訪中，周志華分享了一些團隊進行過的嘗試的方向：一方面探索深度森林的能力邊界，比如探索深度森林是否具有傳統認為只有神經網路才具有的的自編碼能力；一方面研究如何調動更多計算資源，更好利用其自身的高並行性的特點，做任務級的並行；最後在應用層面，他的團隊也和螞蟻金服等合作，檢驗深度森林演算法在一個真實場景下的真實任務（從有大量離散特徵的網上金融交易數據中進行非法套現檢測）里效果如何。如今三方面都有不錯的進展。

CPU 與其他硬體的深度學習加速之路

在應用層面上，沒有一套硬體解決方案能夠適用於所有的場景已經是一個共識了。宋繼強介紹了英特爾中國研究院的主要方向：面向未來無處不在的具備完整的外界感知、理解決策、以及行為能力的自主前端設備。這些設備對算力的需求可以說是五花八門。英特爾如今最新的至強處理器通過加強了單精度和可變精度浮點數的計算能力來對深度學習應用做了適應性的調整，但是可以進行的嘗試還有更多。

「同樣的人工智慧演算法在 100 個行業就有 100 種甚至更多的不同使用方式，每一種使用方式都可能有最好的軟硬體搭配的方法。在前端、雲端、邊緣的計算對於計算資源的功耗、尺寸、實時性的要求都不一樣。英特爾給出的答案是『混搭』，用多個晶元內核通過高級的集成封裝技術進行 2D 和 3D 層面高速互聯，實現異構計算。」宋繼強介紹道。

應用層面不能在硬體上以「一」待勞，學術研究方向也是如此。

「深度森林和現在的深度神經網路不一樣的一個地方在於，它不適合用 GPU 加速。」周志華坦言。

在「更大的模型會帶來更好效果」的廣義深度學習基本假設之下，想要將深度森林做得更大，就要進行一些不一樣的嘗試。

「一種是我們和在工業界的合作夥伴一起做分散式的計算系統，而另一種就是能否用其他硬體提高其可擴展性。經過大量的前期調研，我們認為英特爾的一片多核的結構極有可能對加速這樣的模型有特別的幫助。」

在軟體優化之外，如果能夠在演算法研究的前期直接從指令集層面乃至晶元布局層面進行思考與優化，對於模型效果會有怎樣的幫助？能不能同時思考軟硬體問題以實現最佳性能與效率？這是世界上的各個研究機構都在思考的問題，周志華團隊也不例外。

「深度森林主要基於樹架構，每一個模型可以視為由多棵樹組成。第一，能不能進行任務級的並行，能不能同時做多棵樹？第二，樹結構很難在 GPU 上運行，因為它中間涉及到很多分支選擇，這讓它與一個片上多個 CPU 的結構非常契合。」

團隊已經進行了一些實驗，「我們利用一塊英特爾至強融核的晶元（KNL），對一個特殊版本的深度森林做出了 64 倍的加速。」

同時，他們也有很多更遠大的構想，比如投入到大規模任務中，利用硬體加速提供更好的性能和效率：「受限於現在的計算架構，一個特別大的任務進來，內存馬上耗光了，計算也算不下去了。但是實際從計算開銷來說，一個森林的開銷比一個神經網路要小。神經網路能通過 GPU 加速獲得性能的大幅提升，那深度森林能不能利用合適的晶元架構，獲得類似的幫助？」

即使現有的晶元架構都不能完美地解決這一問題，研究者也十分樂於為硬體開發者提供一些下一步設計上的啟發。

計算機人才的硬體能力與硬體研發的人才需求

在周志華看來，與英特爾的合作是讓南大計算機學科「更進一步」方式。「原來南京大學的機器學習與人工智慧的團隊主要在理論和演算法方面做一些工作，在應用技術方面的研究主要也集中在軟體方面。南京大學作為一所綜合性大學，『硬體』一直是我們的計算機科學所欠缺的一條腿。這一步光靠我們自己很難再邁進，我們希望能通過和英特爾的合作，在軟硬體結合方面往前走一步。」

LAMDA 實驗室的一些研究生已經從培養前期就介入了與英特爾的合作，「他們在進行工作的過程中獲得了很多英特爾資深工程師的指點，現在他們的底層硬體的理解和操作能力，要遠遠超過一般課程培養出來的學生。」

而能夠「往前一步」的，除了以博士生為主的研究人員，當然也包含本科生。成立於今年 3 月的南京大學人工智慧學院剛剛迎來了第一批入學的本科生，之前公開的一年級課表裡，引人注目的是數學課：既包含了原先只有數學系學生需要學的《數學分析》和《高等代數》，也包含了原先只有計算機系學生需要學的《離散數學》。而本次周志華還透露，之後的專業課里還有一門是關於「智能晶元」。

「我們希望能夠培養出人工智慧領域高水平的人才，其中一條就是希望他們能夠兼備人工智慧需要的軟硬體能力。我們在考慮引進一些與晶元、硬體設計相關的課程，其中有一門課就是關於智能晶元的，而英特爾的合作為我們這方面的人才培養提供了一個非常好的支持。」

這是南京大學的角度。而從英特爾的角度，硬體的設計需要考慮「未來的演算法」，因此除了從學界獲得前沿的演算法動向，培養了解硬體、能夠同時思考軟硬體問題的研究者也同樣重要。

宋繼強說「硬體的設計周期是很長的，我需要預先知道哪些運算模塊在未來會非常重要，通過聯合實驗室的方式，我們挑選能夠『看到未來』的領域開拓者，讓學界在英特爾的硬體上進行重要的工作負載嘗試，從他們的方向上去尋找未來的方向，為我們的硬體架構設計提供很好的指導。」

英特爾與南大的人工智慧聯合研究中心的合作框架以三年為期，屆時南大人工智慧學院的全學年學生均已入學，而英特爾對於如何調整晶元設計思路以使其更適應廣義深度學習時代的思路，也會更明朗地體現在通用 CPU、專用於神經網路加速的 NNP、 為終端深度學習模型提供專門算力的 VPU 等等晶元中。屆時深度森林以及其他「廣義深度學習」方法的能力範圍，會隨著算力的升級有怎樣的提升呢？我們對此拭目以待。