中日深度學習研究和應用的比較（譯文）

來自專欄中日人工智慧學習工作者

JST2017年「中國のロボット分野における研究開発の現狀と動向」的章節「日中ディープラーニング研究と応用の比較」的中文翻譯稿

鏈接：http://www.spc.jst.go.jp/investigation/downloads/r_2017_06.pdf

2.4 中日深度學習研究和應用的比較

2.4.1 人工智慧：時代的拐點

人工智慧是模擬人類意識和思維過程的一門新興學科。與此同時，人工智慧似乎是從一開始就是產生於很多不可思議的奇妙想法。計算機領域的科學研究人員在機器學習和深度學習方面取得了長足的進步，並賦予機器識別和預測能力。在現實世界中，這樣的系統和應用的需求非常普遍。

早期人工智慧的定義是指機器模擬人腦的認知功能的能力。這樣的概念當時還只存在於幻想或科幻小說中。直到20世紀50年代和60年代，人工智慧最初的理論形成之後，迎來了第一次大範圍的增長。但由於人們未能在人工智慧方面取得技術突破，應用層面上無法取得理想的效果，人工智慧很快陷入沉寂期。在接下來的幾十年中，雖然有過幾個成功案例（例如IBM的超級計算機「深藍」擊敗國際象棋冠軍卡斯帕羅夫（Garry Kasparov））。但是在現實世界中，人工智慧的成功案例很少，能成為大規模商業化的前景還不夠明朗。

進入21世紀，人工智慧在數據採集和整理，演算法，高性能計算等領域取得了革命性的進展。例如，在過去計算機被認為不能擊敗人類的圍棋領域裡，AlphaGo擊敗了人類的世界冠軍李世石。這些給人工智慧的發展賦予了歷史性的意義。

超人工智慧的下一代先驅，各種應用機器學習技術的分析工具陸續出現。金融，醫療，製造等行業的應用也正迅速地發展。人工智慧領域的風險資本投資從2012年的5.89億美元增加到2017年的70億美元。據麥肯錫相關報告，人工智慧應用的市場價值將達到1270億美元。

據日本經濟新聞報道，美國和中國在全球競爭日益激烈的人工智慧領域佔據前兩名。從科學，技術分析的角度上看，各種大型國際會議的論文以及科學和教育，文化，體育，科學和日本，中國和美國的技術部隸屬關係部的技術政策綜合研究所宣布結果已經表明，美國和中國已經佔據了壓倒性的優勢。兩國的聯合研究報告近年來也有所增加。日本政府把人工智慧作為國家發展戰略的一個支柱，但是基礎研究的進展卻有所推遲。日本如果要重新追趕回自己在人工智慧產業方面的落後，需要採取合適的對策和有效的措施。說到人工智慧，以前是麻省理工學院和加州大學，斯坦福大學等美國大學的研究引領了全球的相關基礎研究。近年來，谷歌，Facebook，微軟等先進IT公司的研究也在不斷的發展。與此同時，中國各地的大學和企業的研究能力也在不斷提高。在日本，NTT，NEC，樂天等知名大手企業作為主導正在推動著人工智慧的研究以及產品和應用的業務的發展。 「Preferred Network」，「MUJIN」等新興的人工智慧公司也積極採用先進的技術，利用自身獨特優勢穩步增加，逐步佔領市場份額。從高校和科研機構例子來說，東京大學和國立信息研究所（NII）等機構為人工智慧的研發提供了大量的資金的人才。

2.4.2 深度學習的歷史

人工智慧的歷史幾乎與人工神經網路研究的進展同步。引起人工智慧新潮流的深度學習是指人工神經網路的層數在某種意義上的「深度」。深度學習本質上是一種基於多層人工神經網路的機器學習演算法。

與人腦和當前計算機的信息活動相比，深度學習有三個特點。首先是大的並行性和容錯性。人腦中有大約1000億個神經元，數十億個突觸連接在神經元之間，形成了一個像迷宮一樣的龐大的網路連接。大量的神經元信息活動同時執行，與現在的計算機逐一執行指令的機制非常不一樣。另外，人腦具有巨大的指令並發性功能，可實現超強的容錯性。

其次，信息處理單元和存儲單元結合在一起。目前的計算機通常採用馮諾依曼架構，分離內存和處理器，通過匯流排傳遞數據。隨著處理數據量的顯著增加，匯流排的有限數據速率被稱為「馮諾依曼瓶頸」。它對計算機的計算效率和功耗有很大的影響。當人腦與信息處理單元和存儲單元耦合時，功耗非常低（約20瓦）。

第三，有自我組織和自我學習的功能。大腦在與外部世界交互的過程中學習和改變。這與現有的按照預設演算法運行，具有固定的路徑和分支的計算機不同。

基於這三個差異，我們試圖模擬腦神經元的信息機制來設計演算法。也就是說，信號通過突觸進入神經元，神經元將所有來自樹突的信號合併，如果總和超過一定的閾值則觸發激發態。此時，它通過突觸向其他神經元發送信號。如果信號的總和還沒有達到閾值，神經元就不會被激勵而不會通過信號。

在簡單人工神經元的數學模型中，每個信號加權和進入神經元，如果總和超過設定的閾值時將輸出「1」，不超過閾值的時候便輸出「0」。最簡單的神經元的輸入和輸出連接時，可以構造一個複雜的人工神經網路。

通過訓練，人工神經網路可以實現基本的分類功能。以狗的圖像分類為例，輸入是狗的圖像信號。當計算機的輸出為「1」時，表示它是狗，當輸出變成「0」時，表示它不是狗。在學習網路時，首先將標有「1」的狗的圖像輸入到人工神經網路進行訓練。當輸出結果為「0」時，調整神經網路的各輸入信號的權重等參數，使神經網路輸出變為「1」。在學習了大量標記的狗的圖像數據之後，人工神經網路便能夠識別狗的特徵，並且還具有識別其他狗的模型的泛化能力。即使輸入了一個網路以前從未見過的狗的圖像，它也可以認出它是一隻狗從而輸出「1」。

2.4.3 深度學習快速發展的歷史背景

人工神經網路演算法在20世紀60年代陷入衰退，當時著名的人工智慧專家明斯基提出了人工神經網路的兩個極限。首先，單層人工神經網路也不能實現即使是最簡單的異或運算。

其次，不存在支持計算多層複雜人工神經網路的計算能力。自20世紀90年代以來，除了處理器處理能力的急劇發展以外，雲計算技術的普及也使大量計算機的並行計算成為可能。大規模人工神經網路計算能力的局限性逐漸被消除。但是，主流機器學習社區對人工神經網路仍然不抱有打的興趣。在此期間，加拿大多倫多大學的教授傑弗里·辛頓在機器學習領域中從事人工神經網路的研究的權威。為了改變研究人員已經隨著時間顯示出來的對人工神經網路長期的消極態度，辛頓教授決定給他的技術以新的名字：深度學習。他的多層次的抽象網路數據學習過程似乎在一定程度上吸引了當時人們的注意力。

2006年，傑弗里·辛頓教授的學生魯斯蘭的論文發表在國際期刊《Science》上。該論文被認為是在深度學習領域取得突破性進展的重要論文。論文的主要貢獻是為深度學習提供了再大數據方面的描述以及學習的機理。另一方面論文也為多層以及深層神經網路提供一個良好的訓練方法。辛頓教授通過論文以及其中的結果通知其他了其他機器學習的研究人員，深度學習的大型應用時代即將開始和爆發了，並因而激發了學術界和工業界的深度學習的廣泛應用和研究。之後，傑弗里·辛頓教授和他的實驗室DNNResearch被Google收購。

在Google上，深度學習在幾個產品組的應用程序方面取得了很大的突破（例如在應用到語音識別場景下，錯誤率降低了30％）。出於這個原因，更多的研究團隊開始採用深度學習演算法。目前，Google的深度學習產品包括Android程序，網路應用程序，藥物發現，Gmail，圖像理解，Google地圖，自然語言處理，機器人智能以及語音翻譯等。不得不提的是世界著名的Google DeepMind，它是一個大型的人工神經網路，是為谷歌各種業務的智力支持而實施的一項龐大的項目。

2.4.4 為什麼深度學習技術導致人工智慧的急速膨脹？

首先，深度學習可以直接應用於常見的基本功能模塊。例如說，它在語音，文本，搜索詞，圖片，視頻，標籤，短語，音頻功能等諸多領域具有多功能性，並且能取得較傳統方法更好的效果。

其次，與傳統的機器學習演算法不同，深度學習不需要人為提取數據特徵。它具有非常簡單的「終端到終端」訓練功能，可以快速過渡到很多應用領域。因此具有廣泛的應用適用性。

第三，作為數據驅動的機器學習演算法的深度學習可以隨著數據量的增加而大大增加訓練和預測的效果。它在大數據時代扮演著重要的角色。

事實上，人類通過學習和經驗的積累不斷地提高自己的智力和技能（他們可以通過大量數據的訓練過程抽象出來）。而且很有可能你學到的東西會應用到其他領域（你可以在處理其他類型的輸入數據的時候一般地進行建模）。人類的這一特點與深度學習的基本功能非常相似。因此，深度學習技術的進一步提高有助於許多需要具備人類經驗累積來完成任務的工作完成的可能性。

2.4.5 深度學習的應用

（1）語音識別

在中國，科大訊飛的語音識別方面引入了深度學習，使得識別錯誤率大大降低。錯誤率水平達到世界第一。雖然日本的語音識別領域的研究要稍微滯後一些。然而最近在語音識別技術方面的創業公司也越來越多。例如，東京大學發起的NeuroVoice公司開始使用與Google的Wavenet類似的深度學習模型來提供有趣的語音處理服務。相關的很多研究機構也開始將深度學習技術引入到語音識別研究中。

（2）圖像識別

ImageNet圖像庫擁有超過一千萬張照片，是計算機視覺領域最大的圖像庫。圖庫中有一千種種類別，每個類別大概存儲著多餘一千張不同的照片。在使用深度學習之前，最高識別錯誤率記錄為26％。在2014年，Google通過深度學習贏得圖像識別的冠軍，將錯誤率降至6.66％。並且錯誤率一度在2015年進一步降至3.46％，首次低於人類錯誤率（24小時訓練後的人類錯誤率為5.1％）。近兩年來，差錯率已經達到了近2％。

在圖像識別技術中，目前有兩個最重要的應用。

人臉識別領域：在深度學習的驅動下，人臉識別已經能在任意遮擋和任意視角條件下成為可能。一些被認為是人臉檢測的難題，例如側面，半遮擋，模糊臉部的檢測問題都極大程度被改善。在各種實際情況下大大提高了人臉檢測的性能也得到了提高。同時，人臉識別已經適用於檢測性別、年齡、識別面部表情和面部的生理功能的多樣性等。基於深度學習的技術不僅可以準確地識別照片中的人的性別和年齡，眼鏡，化妝品，唇膏，帽子，頭髮，並且可以表示40多種膚色，鬍鬚等人的屬性屬性，平均準確率達到90％以上。目前，比較有名的公司在中國有曠視和商湯科技。但在日本，雖然目前還沒有哪家公司能夠達到如此高的精度，但也有一些公司開發了自己的獨特的人臉識別技術。例如，歐姆龍，基恩士，NEC中央研究研究所人臉實驗室等被認為是該領域的領先者。

視頻監控區域：基於深度學習的行人檢測演算法在多重不同類和封閉條件下都能對行人的位置進行比較精確地掌握，並且向著能分析行人的位置和行為的方向發展。在駕駛和交通監控的情況下，可以達到從各個角度檢測車輛。監控者可以在一定程度上檢測出牌照和汽車品牌，型號，顏色和其他物理特性。深度學習技術慢慢地開始應用於交通監控，駕駛支援，自動駕駛等困難的研究領域。在這個領域，中國的代表性企業並不多，但是百度，滴滴打車商湯科技等在相關領域投入了大量費用。日本的代表公司是DENSO（AI）。相關領域的風險也在逐漸增加。

（3）搜索引擎

百度首次在搜索引擎中引入了深度學習，大大提高了用戶使用搜索引擎的滿意度。這是在自然語言處理領域深入學習的最成功的例子。同時，百度鳳巢系統首次在廣告系統中引入了深度學習，大大提高了廣告的點擊率。

Google宣稱在RankBrain中引入人工智慧搜索引擎，於2015年10月正式推出深度學習演算法。 RainBrain是確定搜索順序的重要指標，排名時比其他幾百個指標優先。RankBrain基於深度學習，在搜索答案時具有幾乎「直觀」的準確性。Google在內部進行了下面的實驗：讓研究演算法的工程師推斷出哪個頁面選擇搜索演算法的結果，其精確率是70％。RankBrain也重複了同樣的實驗，得到了80％的準確性。

在日本，搜索引擎上最著名的公司是雅虎。自2016年以來，雅虎創建了AI實驗室，開始在搜索技術中引入深度學習，開始從事新技術的開發。但是，日本人工智慧方面人才相對來說比較缺乏，發展速度比中國企業要相對慢。

（4）醫療領域

在醫療行業，數據的多樣性和複雜性正在迅速擴大。即使是一個癌症患者的基因數據已經相當於半個TB的數據了，這些數據的處理能力將是任何的醫生都無法達成的。基於遺傳因子的龐大的數據和大量的臨床研究試驗和治療產生的數據，是遠遠超出人類的信息處理能力的。人工智慧的自適應和學習能力，人類語言的理解和整合能力以及解決方案的提出和評價的能力是醫療領域不可缺少的東西。

醫學圖像是業內最大的數據集，是在深度學習進行訓練時最重要的「原材料」。2015年8月7日，IBM以十億美金收購了一家醫療圖像軟體公司Merge Healthcare，為Watson和數據分析部門提供了最大的醫學圖像數據集。讓深度學習系統學習更多的醫療圖像數據，能不斷強化Watson對病患情報的持續的智能診斷。

日本新興企業公司LPixel是這個領域的著名公司之一。LPixel的從事醫療IT的研究人員和的工程師利用深度學習的精度和自身醫療數據來源廣的優勢，進行醫療成像系統的開發和醫療圖像的分析，在很多領域都取得了比醫生更快速更精確的判斷結果。公司在日本國內和大醫院以及研究機關進行共同研究和合作，大幅度地開展醫療圖像的人工智慧事業。

（5）機器人領域

日本作為機器人製造國有很長的歷史，在硬體方面有豐富的技術積累。然而，與其他國家相比，日本的機器人人工智慧演算法相對比較之後。

日本的工業機器人製造商，同時也是蘋果公司的供應商法那科公司近幾年入股了Preferred Network，以自動尋找最有的設備裝備方案，和開發休息其他機器人的智能機械為目標進行事業開拓。

Preferred Network的目標是在機器人智能領域開發世界上最先進的技術。他們與豐田汽車合作正在開發無人駕駛技術，同時也開始了與松下共同研發監視攝像機和家用電器。以像微軟在20世紀80年代建立的工業PC操作系統標杆一般，Preferred Network也希望在企業里開展以深度學習應用為中心樹立起自己的品牌。其最近開發的一個深度學習操作系統「Chainer」可以為第三方的軟體開發工程師在編寫具有人工智慧的程序時提供大量的幫助。

中國的機器人行業雖然在起跑線上落後於日本，但研發速度要快好幾倍。這方面的代表性公司有新松和埃夫特智能裝備公司。根據國家政策，機器人工程領域是全國目前最受支持的行業之一。

2.4.6 人工智慧研究

（1）人工智慧和論文發表結果的研究

根據對美國人工智慧學會中最權威的學會的論文發表的統計結果看，美國和中國所取得的成就在過去三年的結果是迅速上升。2017年，美國的大學和企業一共發表論文數有326篇（佔總數的48.4％），中國的有138篇（20.5％）。兩國佔總數的70％左右。而日本只有20篇（3％），排名第八。在最近的6年里，美國的學會發表成果的74.6％是與其他國家的共同研究的結果。特別是與中國的共同研究達到80件。在另一方面，從和日本進行的共同研究的情況來看，和美國的共同研究有6件，和中國的有5件。日本和美國以及中國的共同研究明顯並不活躍。

作為一項重要的國家課題，中國政府積極推動著促進人工智慧研究的計劃。不僅僅是無人駕駛和機器人工學，人工智慧在諸如物流和農業等分支的廣泛應用也得到獎勵。美國在北京的研究基地微軟亞洲研究院被認為是亞洲第一。搜索引擎巨頭百度於2014年成立矽谷研究所。當時還採用了深度學習研究的先驅吳恩達作為領導者，積極發展人工智慧的研究。此外，從事傳輸和移動設備的巨頭華為也和加州大學伯克利分校開展了基礎研究領域的合作。

在另一方面，從諾貝爾獎獲得者的總數來看，作為先進國家的日本的科研能力是很明顯的。

日本一直在人工智慧領域進行長期的投資。在20世紀80年代，隨著專家系統的興起，人工智慧表現出高熱的膨脹。日本政府在或者男方有交談，或解釋，或解釋的形象，旨在開發一個機器人，可以以同樣的方式推理作為人類，是一個巨大的「第五代計算機項目」的投資金額。

由於受當時技術的瓶頸所限，日本的「第五代計算機項目」最後失敗了。但是，日本仍然在世界上被認為是人工智慧領域的領導者。此外，包括NEC在內的日本企業在中國建立了研究機構，為中國早期的人工智慧人才的培養作出了貢獻。

進入新世紀以來，大量的數據，嶄新的圖形處理器，對深學習演算法帶來了很大的影響，這導致了人工智慧浪潮的第三次發展。在AlphaGO取得了對李喆的生理以後，人工智慧時代的狀況開始發生逆轉。許多專家認為，當今人工智慧時代被認為是美國和中國較量的時代。日本在這個時代里卻遠遠落後。這在很多方面都能體現出來。

日本政府為了應付人工智慧發展的趨勢，在2017年預算中給人工智慧相關的研究撥款了924億日元。這是2016年預算的9倍。同時也開始了加強和企業的合作。另外，為了開展基於人工智慧的新葯開發的項目，最為日本理學研究的代表的理化學研究所在東京的中心日本橋區成立了創新智能同和研究中心（AIP）。

2017年，IJCAI（人工智慧領域的頂級會議）在澳大利亞墨爾本舉行。據騰訊科技統計，中國有475篇論文入圍，占論文總數的34％。在美國有255篇論文入選，占論文總數的18％。需要特別注意的是，入選的美國論文的作者中有一部分人是海外華人。與此同時，日本只有收到3篇論文被入選，還沒超過總數的3％。

事實上，不僅僅是IJCAI會議，其他主要的人工智慧協會中也有這樣的傾向，表現為中國的研究者的論文數急速增加。當然，數量並不一定意味著高質量，但從一系列數據來看，中國學者的文章質量也在穩步提高。去年發布的白宮人工智慧報告顯示，2013年以來，中國學者關於深度學習的論文數量呈現爆發性的增長。在2013年首次超過美國發表的論文數量成為世界第一。文章引用次數在2015年首次超過美國，成為世界第一。

最近，日本經濟新聞和學術出版巨頭愛思唯爾（Elsevier）分析了世界上有關人工智慧的文章的發展趨勢。結果表明，與人工智慧有關的引用次數，排名第一的有美國微軟所持有的語音識別相關的深度學習技術。第二名是新加坡南洋理工大學，第三名是中國科技大學。中國清華大學排名第九。在全球前100名中，美國佔30個機構，中國佔15個。日本只有東京大學進入到64位。

2017年9月，馬薩諸塞州阿默斯特大學的埃默里伯傑教授宣布了世界學術計算機科學排名「CS排名」。該排名是根據大學教師在計算機科學大會上發布的出版物的數量而創建的。有四個主要領域：人工智慧，計算機系統，理論計算機科學和交叉學科研究。在人工智慧領域，美國大學處於絕對領先地位，北大，清華都進入前十位，分別位居第三，第八位。但是，日本沒有大學在排名前十。

（2）日中人工智慧專利比較

在專利持有方面，中國企業和研究機構正在不斷追趕。根據市場調查研究機關的統計結果，在全球人工智慧專利申請量上，美國，中國和日本排名在前三位，佔全球總量的73.85％。第四位是德國，其專利持有量還不到中國的27.8％。

總的來說，與美國相比，中國提交的專利申請數量較少，但增長速度遠遠超過前者。日本新能源和工業技術開發組織（NEDO）平井成興說：「中國在深度學習等尖端研究領域取得了長足的進步。除了專利申請量之外，也有比較高的質量。另一方面，日本專利局提交的專利申請數量在同一時期從2134件下降到2071件。

2.4.7 總結

從人工智慧的發展趨勢看，日本和中國積極研究和開發人工智慧，但日本的發展速度明顯滯後於中國。原因是日本進入了一個成熟的社會，重要研究和發展的政策決策被拖延了，不是因為嘗試新事物的侵略性很短。與此同時，中國接受新事物非常開放，發展中國家是一個顯著的增長點，同時也是對新技術高度興趣的國家之一。也許日本社會存在四個阻礙技術創新道路的障礙。

（1）泡沫時代的後遺症

在日本泡沫破滅後的1993年至1993年間，由於經濟蕭條，畢業生在國內很難找到滿意的工作。計算機科學和通信科學沒有其他領域那麼有吸引力。有才華的人才去美國和中國尋找商機。相關領域出現了很多專業人才的流失。最終，很難找到在大型企業等人工智慧開發領域發揮主導作用的人才。

（2）濫用IT公司外包

由於IT行業整體衰退，日本企業即使在索尼和日立等大公司收到其他地方的訂單之後，仍然在尋找小型的業務外包解決方案。中小企業將扣除部分利潤，然後再將其外包給其他地方。由於複雜的多層次外包，造成企業技術管理混亂。在這種情況下，企業難以保持技術解決問題的能力。它將不能積累與人工智慧相關的非常重要的數據。

（3）政府被動回應

日本人工智慧等技術產業沒有太多的政策支持。投資環境的惡化和稅負的增加困擾著外國企業和創業公司，多次造成新興產業破產。政府的科技預算間接也對人工智慧產業的供應鏈產生了負面影響。

（4）出生率下降，人口老齡化的社會背景

日本屬於高福利社會，老齡化社會的社會需求正在上升。而且，由於出生率下降，勞動力短缺又在擴大。我們必須以社會資源來處理這些問題。人工智慧研究和開發以及人工智慧的人力資源開發資源被認為逐漸缺乏。

推薦閱讀：