[無人駕駛] MIT 公開課帶你認識無人駕駛

來自專欄 數據科學認知錄

分享一套無人駕駛的公開課，MIT放送，著眼點是深度學習在無人駕駛領域的應用。事實上此課程也可以看成是深度學習的入門課，對於常用的幾種神經網路結構都有很好的理論解析。本文針對無人駕駛，總結課程中深度學習在無人駕駛里的應用部分。

課程亮點

1. 從基礎上詳解了幾種深度學習演算法，包括常見的神經網路如Perceptron, CNN, RNN；和最近大熱的強化學習方法——循序漸進從Markov Decision Process 講到Q-Learning到Deep Q-Network。
2. 無人駕駛的形而上。為什麼我們需要自動駕駛，實現自動駕駛需要解決的問題，自動駕駛的現狀等討論。
3. 深度學習對無人駕駛過程中面對的實際問題有哪些幫助。

深度學習演算法下的無人駕駛技術

所謂實際問題，課件中列出了如下部分：perception, localization, mapping, control, planning, driver state. 總結下來是下圖裡的四個問題 —— 定位，感知，控制，駕駛員狀態（在以人為中心的半自動駕駛中尤為重要）

定位 （Localization and Mapping）

我在哪的問題。

首先告訴你視覺測量的數據維度和來源。

具體應用到的演算法自然是計算機視覺領域的扛把子 —— SLAM(Simultaneous Localization and Mapping) 和CNN

場景感知 （Scene Understanding）

別人在哪的問題。

首先告訴你cascades classifiers (Haar-like features)那一套已經不夠用了，深度學習演算法在識別、分類和探測方面都有很好的表現和補全。

圖像識別還得靠老朋友CNN.

下圖：全視野解析——我們看到的 vs. 計算機視覺

同時也可以用到RNN感知路面材質和環境，比如從行車時的音頻收集，判斷路面是乾爽還是濕滑。

路徑規劃 （Movement Planning）

如何從A去到B。

路徑規劃問題，從前主要依靠OR(Operation Research)，現在用到了深度強化學習。

深度強化學習，本質上是通過環境的反饋（獎勵/損失），修正主體的狀態和決策，來得到能讓回報函數期望最優的連續決策輸出。在路徑規劃問題上，回報函數可以是短時間，近距離，低耗能等指標組成的函數，決策輸出就是從A到B的規劃，可以是由A開始的每一次方向盤轉向的連續集合。

課程也給出了一種深度強化學習演算法的github鏈接：

siemanko/tensorflow-deepq

駕駛員狀態 （Driver State）

駕駛員的注意力、精神、情緒等狀態。是需要識別各種蛛絲馬跡，結合判斷的指標。如下圖：

給出了兩個例子。駕駛員的注視區域，駕駛員的情緒狀態。

還是人臉識別那一套，先檢測人臉，劃定輸入區域，再生成各類監測點，注視區域重點關注眼睛和瞳孔；情緒檢測則需要關注五官，和眨眼之類的面部動作。

Tips

課程還分享了一些自動駕駛技術經驗。

端到端自動駕駛方案 （Autonomous Driving: End-to-End）

當下最流行的自動駕駛方案，也是十分理想的方案。

輸入圖片，輸出控制方案，車子就自己開起來了，真的是很完美（當然也是很難，誰做誰知道）。

英偉達寫過一篇論文，連接如下

[1604.07316] End to End Learning for Self-Driving Cars

特別好用的RNN

序列！序列！序列！

原則上有序到有序的映射，都能上RNN，效果也是，誰用誰知道。更進一步，在解決序列長期依賴問題上，還有大殺器LSTM.

無人駕駛中，有序圖片的輸入（視覺的先後），到同樣有序的方向盤操作決策（根據視覺做出的反應），使得RNN對提供自動駕駛方案有如神助。

事實上，在Udacity的無人駕駛演算法項目中，獲得第一和第三的隊伍都用到了RNN.如下：

第一名

x: 3d convolution of image sequence

h: predicted steering angle, speed, torque

Sequence length: 10

第三名

Transfer learning: stacked CNN (pruned to 3000 features)

x: 3000 features extracted with CNN

h: predicted steering angle

Sequence length: 50

原地址

課程原地址連接如下，附上課綱以供參考。

MIT 6.S094: Deep Learning for Self-Driving Cars

Lecture 1: Introduction to Deep Learning and Self-Driving Cars

Lecture 2: Deep Reinforcement Learning for Motion Planning

Lecture 3: Learning to Drive: Convolutional Neural Networks and End-to-End Learning of the Full Driving Tasks

Lecture 4: Recurrent Neural Networks for Steering Through Time

Lecture 5: Deep Learning for Human-Centered Semi-Autonomous Vehicles