無人駕駛、深度學習、人工智慧與社會,Mobiley CTO的演講

在美國時間6月27日下午舉行的CVPR2016大會上，作為僅有的三個受邀公開演講的嘉賓之一的Mobileye的聯合創始人及CTOAmnon Shashua發表了其基於自動駕駛主題的演講。Mobileye佔據了ADAS市場90%的市場份額，連Tesla也搭載了其開發的系統。Amnon Shashua作為著名的希伯來大學的計算機科學教授，在無人駕駛和人工智慧領域也是積累了豐富的經驗。雷鋒網(搜索「雷鋒網」公眾號關注)聽譯了Amnon Shashua在CVPR上進行的公開演講，選取了其中的重點部分發布出來同大家分享。讓我們一起看看這位ADAS領域的領袖級人物對自動駕駛、深度學習、汽車市場等都有怎樣的理解。

演講中的Amnon Shashua

Amnon Shashua：

大家好，我想起了不久前我們公司只有500人的時候，參加了CVPR會議，我們那時已經把取得的成就視為了一個巨大的成功。而現在我們已經有3600人了，真是讓我感慨萬分。我今天要講的是從Mobileye出發，談談現在的自動駕駛，這也是你們在PPT的左下角看到Mobileye的logo的原因。今天的演講不是那種告訴大家怎麼做到這件事的演講，我更傾向於跟大家聊聊，要完成這樣一件事我們該做什麼。我總是跟我的學生說，世界上的研究其實有80%是在尋找到底該做什麼的過程，一旦找到了，剩下的那20%你不做也總有人會去做完的。知道該向什麼方向努力才是最重要的事。

我會跟大家講講自動駕駛、機器學習等等這些東西和他們已經造成或即將造成的衝擊和震撼。

為什麼要發展自動駕駛？

我們為什麼覺得自動駕駛是必要的呢？在這裡我會講兩個方面的原因。其中一個是很明顯的，如果你是一個新入行的，想知道為什麼要發展自動駕駛汽車的從業人員，那你去谷歌就能搜到這些信息。比如：我們的汽車有96%的時間是閑置的，只有4%的時間在使用，利用率非常低。

並且車上各式各樣的感測器可以讓乘客獲得更多定製化服務。

不過我也可以在這裡跟大家說一些不那麼明顯的原因。現在科技界普遍有一個共識：未來將由人工智慧和機器人驅動，只是最後的社會和商業結構尚不清楚。

很多公司做出了很不錯的聊天機器人，但是實際上我們還不知道它們能用來做什麼，這些東西真的值得投入那麼多錢去研發嗎？又比如看看波士頓動力，他們做出了很多很厲害的機器人，我是說，真的很厲害，但實際上我們確實還不清楚它們能用來做什麼。我們確實還不知道AI和機器人在我們未來的社會結構中會扮演一個什麼樣的角色。

但是看看汽車，汽車絕對是一個非常適合用來發展AI的平台。因為它需要有各種各樣的感測器和計算平台、要讓它能夠自動駕駛，它需要在駕駛方面有接近人類的認知能力。所以我們需要幫助車輛駕駛的感測器，也需要能理解乘客在做什麼，想做什麼的感測器。這些都需要AI的幫助。而通過獲取這些信息我們也能開發出新的服務乘客的方式。所以汽車很適合用來發展成熟的AI技術和相關的商業模式，一旦我們在這個領域將AI發展成熟了，我們就可以把它應用到其他領域去。

支撐自動駕駛的三個支柱

我認為自動駕駛系統的完善需要三個方面技術的支持。它們分別是：

感測技術（Sensing）：感測器得到環境數據，將其傳達到計算設備，再由其中的環境模型決定車輛行為，這是目前定義最明晰和成熟的一個領域。

地圖繪製（Mapping）：自動駕駛汽車需要建立非常精確的地圖，方便應對路況。這個領域的定義就沒有感測技術那麼明晰了。

駕駛策略/路線規劃（Driving policy）：機器不是路上唯一的個體。就像人類需要去駕校一樣，機器也需要學習如何遵守交通規則、何時該走，何時該停，等等，均需要訓練和規定。而我們需要將這些翻譯成技術信息，讓機器能夠理解。

這三項需求必須要同時發展，作為一個整體來考慮，因為如果不這樣，就會陷入過度需求（unreasonable demands）的誤區。

早年我們曾有一款產品，可以幫車輛測量跟各種障礙物的距離，以避免與其相撞。但是當時行業並不相信他們能做到這一點，又一次我自己去和客戶溝通，客戶表示我們不可能做到，但實際上我們真的是可以的。我跟他們說，這個產品並不需要精確到這種程度。因為我們自己開車的時候也不可能對物體的距離有多精確的測量。比如說，你開車的時候能精確的看出前面那個東西離你有99.8米嗎？不可能，也不需要，我們只要能大概估計出它的距離就可以了。這就是過度需求。只有將這三項放在一起綜合考慮，才能避免它的發生。

感測技術

感測器是關於自動駕駛定義最精確的技術

關於感測器的選擇和使用有兩點比較常見的疑問。第一點是，為什麼一定要用相機？（而不是雷達、紅外感測器這樣的東西來作為主要測量依據）

第一是因為解析度，相機的解析度遠遠高於其他類型的感測器。那為什麼解析度這麼重要呢？因為你需要細節，細節越多越好。可能你能通過某些手段減少對細節的需求。但是那解決的就是另外一個問題了。

第二，相機是唯一一個除了物體的「形狀」，還能告訴你物體的「外觀」的技術。很多信息是只能通過對外觀的掃描來讀取的，比如路標、紅綠燈等。

一個「環境模型」需要的東西

我們要建立一個完美的環境模型，首先需要多個感測器，精確的判斷周圍的所有物體，錯誤率需要降至0%——不過其實這些是ADAS（高級輔助駕駛系統）繼續發展就會自然完成的進步，不是什麼飛躍性進展。

我們需要對行進路線上可用的駕駛空間做出精確的判斷，演算法要知道自己能開去哪裡，不能開去哪裡。——這是一項小的飛躍，但仍與自動駕駛沒有太大關係，只要輔助駕駛系統繼續發展，要不了幾年就能擁有這樣的技術。

最難的一點是偵測出所有駕駛路線。需要綜合路上所有的信息，計算出自己應該如何駕駛到自己想去的地方，這是最大的挑戰，也是最大的飛躍

物體偵測

為什麼需要多個面向不同方向的相機？

因為在城市中的環境遠比高速路上複雜，如下圖所示，必須要有足夠多的感測器才能收集到能確保順利和安全行車的信息。

我們可以看到，自動駕駛系統在所有車輛邊上都加上了立體邊框。為其與車輛的關係標上了不同的顏色

位置關係的標記是有必要的，比如如果一輛車停在了你的右邊（假設你的國家交通規則是靠右行駛），你需要知道車門隨時可能打開，而司機會走出來，所以需要和它保持一定距離。

只是在車上加上邊框是不夠的，因為城市的環境太複雜了。這個邊框必須是3D的，才能給你提供足夠的參考數據。所以下次大家如果看見了一個關於怎麼在車上加邊框的論文，就可以直接跳過去看下一篇了，因為這東西實在是沒有什麼意義。（笑）

可用空間判斷

在說這點之前我想提一下深度學習。

深度學習現在的研究有點繞遠路了

深度學習真正的突破會體現在什麼地方？我想應該是在特徵提取上。

我們不應該再手動去提取特徵，不要再考慮什麼LDP啊，貪婪演算法啊，這樣亂七八糟的我們現在需要考慮的問題。演算法應該要自動去學會這些才對。

這不是什麼很震撼的消息，因為這是常理：我們如果在工作中被指派來解決一些問題，只要我們有足夠的時間，我們肯定能發現一種解決它的方法。發現問題的特徵，尋找到它的解決方法。現在的深度學習演算法可能運算速度比人更快，比人更精確，但它不是什麼革命性的東西，不算是什麼突破。它現在只能解決那些我們已經深入了解的東西，而真正有用的演算法，應該要能解決那些我們現在解決不了的問題。

不過深度神經網路取得的進步仍然很值得高興，我們也在我們的行車演算法中應用了深度學習，它的表現很好，能幫助我們區分環境特徵，這是非常重要的。

這是一個示例，上圖中的綠色區域就是演算法標記出來的可活動的空間。

可以看到，演算法意識到了台階上是不能去的地方，而底下都是可以去的。

我們回到開始那張圖，看上圖的右邊。演算法意識到了旁邊的人行道不是能行駛的區域，雖然它們的材料是一樣的。沒有任何探測器會告訴你它們的材料有什麼區別，但是因為演算法能對環境做出判斷，所以能知道旁邊的路不能開。這就是深度學習網路的功勞。

除了綠色，我們有很多種表達方式來對應道路上不同的特徵。

當道路潮濕的時候，演算法也能分辨出來並做出應對

駕駛路線規劃

這是最難的一種技術。

根據整體環境規劃車道

要讓計算機學會計算出合理的駕駛路線，我們首先要給駕駛路線一個精確的定義，人類能輕易理解駕駛的過程和目的，但計算機要做好這一點卻不那麼容易。

可以看到，這張圖的路線里沒有車道，但演算法卻可以正確的畫出一個虛擬的「車道」，並且準確預計出它將要去往的方向。

車道整合

在這個視頻中，儘管周邊的幾條線表現不穩定，但中間這條紫色的線的位置卻一直很穩定

這條線就是關鍵，是很多種演算法綜合作用才能達到的結果。

車道信息理解

演算法還能檢測路上有幾條車道，並且判斷自己正在哪一條上

路線上的關鍵點，如路徑交叉、分離點等的標記可以幫助演算法理解和決策下一步的行動。演算法可以用不同的顏色標記這些點。

在下面這張圖的上半部分，我們甚至可以發現，道路的建造者在道路上做出了錯誤的標記——將道路分叉點附近的路面應有的虛線畫成了實線，但是演算法發現並糾正了這個錯誤，在最終的標記中仍然將其標記為虛線（藍色）。

可以看到深度學習演算法讓最終的識別效果有了顯著的改善。

駕駛策略

這一部分是關於我們的車輛如何融入到現有的交通系統中去

我之前提到過，我們不是道路上唯一的車輛，所以說有必要讓機器學習一些駕駛策略。

感覺（Sensing）和計劃（Planning）的含義

當我們提到「感覺」時，我們的意思是「知曉我們周圍的所有事物」，不管是基於什麼形式，聲音也好圖像也好，告訴我們我們的周圍有什麼，比如演算法知道「我前面這裡有一輛車」，這不是一種行為，在這個過程中，「感覺」的個體本身是唯一要考慮的對象。而且結果是非常容易預測的。實現這些的技術有有監督深度學習等技術。

而「計劃」指的是對於未來的計劃，在過程中自身並不是唯一需要考量的因素，還有很多額外的變數。增強學習就是用來實現這點的技術。

增強學習

上圖展示了一個增強學習的過程

下圖是RNN深度學習的一個流程圖

下面是一個演算法的實例：有很多人車輛正在通過一個環島，下圖中紅色的車是自動駕駛的車輛，藍色的車是「有侵略性」的車，意味著當它發現你也想匯入車流進入環島的時候它們會搶到從你面前過去而不會減速讓你進入，而綠色的車是「有禮貌」的車輛。當它發現你想進入車流的時候會減速讓你進入，演算法一開始並不知道什麼樣的車是有侵略性的什麼樣的車是禮貌的，但是通過不斷的實驗，它能發現這其中的規律，最後在有禮貌的車來的時候匯入車流

（他跳過了幾張幻燈片，時間不太夠了，不過我們還是放出來）

地圖繪製

現在我想來講一下地圖繪製。

地圖繪製（不同於導航）很重要，但不同於感測有其精確的定義。其定義和手段還不明確和成熟。人類在開車的時候是不需要地圖繪製這項技能的。我們可以直接開車走人，有沒有地圖都可以，導航可以告訴我們我們要去哪和怎麼去，但是那不是我們開車的必要條件，沒有地圖我們一樣可以開車。但AI不一樣，如果沒有這種能力電腦就沒法開車。為什麼AI會需要一樣我們不需要的能力呢？我們能不能造出一種不需要地圖繪製，只需導航就能開車的AI呢？注意我們這裡說的AI的地圖，其細節的精確度要遠遠高於我們目前經常看的這種。

目前谷歌和很多其他模仿他們的公司正在發展這種精確地圖的技術，如果你要用一個地圖來導航，你只需要一個精度達到幾米的GPS就行了，但是如果你需要用這種精細化的地圖來作為控制汽車的依據，那你對位置精確度的要求就要達到10cm的級別，GPS是達不到這種精度的，何況城市中還有像高樓、隧道這樣的干擾源。所以你不僅需要繪製一個這麼精確的地圖，還需要一個與之匹配的精確定位技術，這兩者是相輔相成的

地圖要做到怎樣才能幫助實現自動駕駛？

看起來這其中的聯繫有點隱晦，但是當我跟你解釋清楚之後你就會發現其實很簡單。

地圖是自動駕駛中一個非常必要的組成部分，對安全非常重要。如果沒有這份地圖，演算法可能根本無法實現駕駛。

所以首先能明確的是，這份地圖的更新必須非常及時，幾乎要做到准實時狀態，所以維持這份地圖的有效性需要非常龐大的數據流量。所以數據沒法統一收集，必須從所有裝備自動駕駛系統的車輛上共同收集。

因為無人駕駛車的數量將會變得非常多，所以每輛車產生的地圖數據必須非常非常小——預計每千米10kb的量，這樣無論採用什麼方式傳輸，一天下來大概只會花掉1MB左右的流量在上傳和下載數據上，這樣的量是可以接受的，不然不僅用戶無法承受，伺服器也無法負擔如此龐大的數據量。而且對下載數據的進一步處理必須在車內的計算設備上本地完成。

整個改造最好不需要添加新的硬體，一切都應該在車上本來就有的硬體上完成。

這樣一來的話，我們就只需要在配套的軟體上操心，做好軟體方面的工作，就能打造出自動駕駛的車輛了

把這幾項綜合起來得到的系統，比較像SLAM系統的一個變種。但比SLAM表現得聰明得多。我們管這個叫道路經驗管理系統（REM），是我們正在進行的一項地圖繪製計劃。

經過道路的前一輛車還可以給後一輛經過同一道路的車輛提供數據。

預計在2020年左右，幾乎所有的車都會裝備前攝像頭並且能為這個計劃提供數據。

總結

我們大致能給出一個自動駕駛進化的時間表，我們現在處在第一個階段的正中間，2016年，現在我們能實現的程度就是高速公路自動駕駛，其實這還不應該叫自動駕駛，而應該叫「不安全的輔助駕駛」，說它「不安全」是因為現階段它還可能會出錯。有些人看到一樣東西的準確率達到95%的時候，他可能就會有這種東西已經100%準確了的錯覺，但不是這樣的。現在這個還不能叫自動駕駛。

不過預計在2018-2020年我們估計就能實現在高速公路上的自動駕駛了，這也是我們正在做的項目。雖然還僅限高速公路，不過那時的準確度應該達到非常高的程度了，當你上高速公路之後就可以激活這個系統，然後就可以去看個書，甚至睡個覺之類的。不用擔心安全問題，如果汽車需要你醒來，它會提前提醒你，如果你沒醒的話，汽車就會自動減速靠邊，然後找個地方停下來。

真正的飛躍大概會在2021年到來，按我們的分級方法，那時候的自動駕駛等級大概會在Lv.4到Lv.5之間了，能實現真正的全自動駕駛。那時預計社會將會慢慢接受自動駕駛系統的存在，可能在一段時間內，還是會有司機坐在駕駛座上以防萬一演算法出錯。而這時的自動駕駛系統可能主要在公共交通或計程車等方式、如Uber等之間流行，私家車司機還是會傾向於手動駕車出行。

在2023年，當所有條件都成熟的時候，人們對自動駕駛汽車的應用會更上一層樓，人們可以讓車送自己去上班，然後自己回家，派車去接自己的孩子……在私家車之間自動駕駛也會普及開來，隨時讓自己的車去任何需要的地方。租車等對車的使用方式也將更加成熟。這是個非常美好的未來。今天我的演講就到這裡了，感謝大家的聆聽。