|期刊分享|無人駕駛|英偉達端到端學習無人車

01-28

編者推薦序：本文詳細介紹了英偉達公司的無人駕駛系統DAVE-2，僅僅利用三個攝像頭採集的不到100小時的訓練數據和轉向信號訓練含250k參數的9層CNN網路，即可以98%的概率實現不同路況下的自動駕駛。此外，路測視頻挺震撼，推薦欣賞。

推薦指數 ☆☆☆☆☆

一、引言

CNN顛覆了模式識別（CNNs have revolutionized pattern recognition）。在CNN被廣泛應用之前，模式識別一般流程是在手動提取特徵後設計分類器。CNN的重大突破是做到了在訓練樣本中自動提取特徵。CNN在圖像識別領域尤其強大，這是因為卷積操作捕獲了圖像的兩維自然屬性。此外，使用卷積核掃描圖像使得所需學習的參數大量降低。

儘管CNN特徵學習在商業中應用已有20多年，但CNN被普遍應用是近幾年的事。原因有二：一是有標記的數據集（如大規模視覺識別挑戰賽，Large Scale Visual Recognition Challenge，ILSVRC）可以用來訓練和應用；二是並行計算GPU極大加速了學習和推斷效率。

本文介紹了一種超越模式識別的CNN網路，它學習了駕駛汽車的整個處理流程。該項目的基礎是10年前DARPA的培育項目DARPA自動駕駛（DARPA Autonomous Vehicle，DAVE）——無線遙控車穿越垃圾巷。DAVE利用人類在相似但不同的環境中駕駛數據進行訓練，該數據包括兩個攝像頭採集的視頻和人工操作的左右指令。

DAVE-2在許多方面受到了1989年Pomerleau構建的神經網路自動著陸無人系統（Autonomous Land Vehicle in a Neural Network，ALVINN）的啟發，ALVINN證明了端到端的神經網路可以實現自動駕駛。與ALVINN採用全連接網路不通，本文設計的DAVE-2採用CNN這一強大工具，並且充分利用了更多的數據和計算能力。

儘管DAVE展示了端到端學習的潛力，並且由此啟動了「the DARPA Learning Applied to Ground Robots (LAGR) 」項目，但並不能完全替代駕駛的模塊化方法，在複雜環境下DAVE的平均碰撞距離是20米。

NVIDIA在DAVE的基礎上啟動了無人駕駛項目DAVE-2，該項目的主要目的是避免識別特定的人工設計的特徵（如車道線、護欄、別的車輛等），避免基於這些特徵設計規則。

二、DAVE-2系統概覽

下圖DAVE-2數據採集系統組成款圖。採集車擋風玻璃後面安置有三個攝像頭，攝像頭拍攝的視頻與司機操作的轉向角度同時被記錄下來。僅僅利用人工駕駛數據訓練並不充分，網路必須知道怎樣從錯誤中恢復，否則汽車會慢慢駛離道路。因此，通過增加圖像平移和旋轉來增強訓練數據。此外，訓練數據在不同道路、不同光照與天氣情況下採集。

訓練系統如下圖所示，圖像輸入CNN網路計算出建議的轉向操作，根據建議操作和期望操作的差計算出誤差，利用後向傳播演算法訓練網路。本項目利用Torch 7 機器學習函數包實現。

一旦訓練完成，僅僅利用中間相機拍攝的視頻圖像即可使網路輸出轉向操作，如下圖所示。

三、網路結構

DAVE-2以均方誤差最小為目標函數訓練權值，其中誤差是指網路輸出的轉向指令和人類駕駛指令或人工平移旋轉之間的差值。網路共含9層，包括一個歸一化層，5個卷積池化層，3個全連接層，圖像以YUV格式輸入網路。歸一化只進行一次，在訓練過程中並不進行權值調整。網路結構如下圖所示。

訓練網路的第一步是選擇合適的視頻幀圖像。由於採集的數據用路類型、天氣和司機的行為（直行、變道、轉彎）標記，為了訓練跟車CNN，我們僅選擇直行數據而丟棄其它，並以10FPS對視頻進行採樣，過多的採樣率會因圖像相似性太高而並不能提供更多的信息。選擇好所需的圖像數據後，進行隨機平移和旋轉以增強數據，告訴網路如何從錯誤中恢復，平移和旋轉服從均值為零、方差為人工駕駛偏差2倍的高斯分布。

四、模擬與路測

在CNN路測之前，先通過模擬評估網路性能。模擬框圖如下所示

模擬表面，90%情況下，CNN可以自動駕駛。

路測表明，DAVE-2可以在不同路況自動駕駛的概率為98%，路測視頻網址是：https://drive.google.com/open?id=0B9raQzOpizn1TkRIa241ZnBEcjQ

將網路可視化，在土路和森林路況下，前兩層CNN輸出如下圖所示。從圖中可以看出，在土路上CNN提取到了路的輪廓，而在森林圖像上幾乎沒學到任何東西，全是雜訊。可視化分析表明：CNN自動提取了有用的路況特徵，僅僅利用了轉向信號訓練，並沒有特意去訓練它學習檢測車道線等。

四、結論

通過實驗證明了CNN可以學習駕駛所需的整個流程，而無需分解為車道線檢測、語義提取、路徑規劃和控制等。100小時的訓練數據足夠訓練不同路況、天氣、光照條件下的自動駕駛，CNN僅僅利用轉向信號就可學到有用的路況信息（The CNN is able to learn meaningful road features from a very sparse training signal，e g. steering alone）。

英文原文：https://arxiv.org/pdf/1604.07316.pdf

互動：有哪些公司在做無人駕駛？請留言探討。

死磕自律，遇見更好的自己；認知升級，助你長出強兩翼！

關注該知乎專欄，一起創造奇蹟。