自動駕駛攻破的難點在哪，何時能到Level 5？
不久前新一代A8裝載了Level3級別的自動駕駛技術，距離完全自動駕駛Level5還有些距離，想問下自動駕駛想要攻克的核心問題是什麼？何時才能達到最高級別Level5的無人自動駕駛呢？
先來一張各大車企自動駕駛技術的分級圖，大致了解一下目前已經量產的自動駕駛技術哪家強。
賓士：這兒有點擠啊...
沃爾沃：隔壁那位兄弟，你踩著我腳了...
特斯拉：唉，無敵是多麼寂寞
奧迪：Tesla，你對力量一無所知
自動駕駛從L2到L5是一個相對漫長的過程，現已發布的量產車型中有處於L3的奧迪A8、處於L2.5的Tesla、還有處於L2的凱迪拉克CT6等。
那麼每一級別之間具體的區別和需要克服的難點到底又有哪些？那就一級一級細細道來。
按照國際慣例，談論自動駕駛級別時必須上一張SAE的分級圖。
圖片出處：LEVELS OF DRIVING AUTOMATION ARE DEFINED IN NEW SAE INTERNATIONAL STANDARD J3016
下面我用給大家解釋一下
- 各個級別到底代表著什麼樣的技術
- 哪些指標能立刻區分汽車屬於哪個Level
- 為什麼Level越高，對技術的要求越高
SAE Level 0：
No Automation（無自動化）
準確來說，現在我們已經很難看到 Level 0 的汽車了。要麼早已報廢，要麼法規都禁止其上路了。無自動化意味著諸如ABS（自動防抱死）這種現在看來最基本的配置都沒有。極端一點，你可以認為Level 0的車就是四個輪子加一個沙發。@吉利
SAE Level 1：
Driver Assistance（駕駛員輔助）
生活中常見的車基本都屬於Level 1。Level 1 稱為駕駛員輔助系統，所有在駕駛員行駛過程中，對行車狀態有干預的功能都叫駕駛員輔助，都屬於Level 1。
比如最基本的ABS，以及在ABS基礎上升級而來的ESP，還有高速路段常用的定速巡航、ACC自適應巡航功能及LKA車道保持輔助。
大家買車時，在底盤功能介紹中看到的各種英文縮寫，或多或少都是屬於SAE 規定的Level 1。
SAE Level 2：
Partial Automation（部分自動化）
Level 2和Level 1最明顯的區別是系統能否同時在車輛橫向和縱向上進行控制。
如果一個車輛能同時做到ACC+LKA（自適應巡航+車道保持輔助），那麼這輛車就跨進了Level 2的門檻。2018款的凱迪拉克CT6擁有的半自動駕駛系統「Super Cruise」就是典型的Level 2級別。
先來看個視頻：凱迪拉克CT6，SuperCruise自動駕駛系統演示
視頻中可以看到，該車並不具備主動超車的功能。即目前的Super Cruise僅能實現單一車道內的加減速。
再來說說自動駕駛話題下不得不提的特斯拉。正如我在"互聯網公司和汽車企業都在開發自動駕駛，你更看好誰？"中提到的那樣，特斯拉過度誇大了他們系統所具備的能力。
為什麼稱 Tesla 目前的 AutoPilot 為 Level 2.5？
因為特斯拉具備換道功能。駕駛員在確保安全的情況下，撥動轉向燈桿，車輛即可依據該信號實現換道。也就是說，特斯拉的換道操作並不是全自動的，而是把這一塊對環境感知的需求交給了人。特斯拉收到變道信號後會由車判斷是否可安全變道後才會執行。比如前後車距離太近、實線都不會變道的。
（重點來了！敲黑板）
難點：Level 1 ~ Level 2
1.汽車橫向控制和縱向控制配合的舒適性
單獨的橫向控制（車道保持）或縱向控制（ACC等）技術已經十分成熟，那麼兩者同時控制時，如何將舒適性做到最優，這就是當前遇到的挑戰。
2.通知駕駛員接管車輛的時機選擇
Level 2的系統並不具備較高級別的自動駕駛功能，需要駕駛員實時監控並做好接管的準備。如何以最友好的和最恰當的交互方式通知駕駛員接管車輛，而不影響到駕駛員的心情，需要人機交互攻城獅費盡心思。
SAE Level 3：
Conditional Automation（有條件自動駕駛）
有條件自動駕駛是指在某些特定場景下進行自動駕駛。比如全新奧迪A8在他們的宣傳視頻中就限定了十分常見的場景——堵車，該功能叫作Traffic Jam Pilot（交通擁堵巡航），功能描述如下：
當車速小於或等於60公里/小時，用戶可以啟動道路擁堵狀況下的自動駕駛功能。在當地法律允許的情況下，車輛會完全接管駕駛任務，直到系統通知用戶再次接管。這也是目前在全球範圍內，在實現量產的車型中擁有的最高級別的自動駕駛能力。
引用出處：全球首款自動駕駛量產車奧迪A8背後的Audi AI
仔細想想，這些功能特斯拉通過升級軟體也能實現，為什麼只有Audi A8敢宣稱自己達到 L3 呢？
因為L3 相比 L2 最大的進步在於——不需要駕駛員實時監控當前路況，只需要在系統提示時接管車輛即可。這對於自動駕駛技術來說是一個很大的跨越，這也意味著自動駕駛系統代替人類成為了Driver monitor。駕駛員變為乘客，而乘客是不需要實時監控當前路況的。
難點：Level 2 ~ Level 3
1.感測器感知技術
NTSB最近剛發布的，去年五月特斯拉撞卡車交通事故的宣判結果——特斯拉Autopilot的功能限制是導致2016年5月交通致死事故的主要原因，這裡的功能缺陷實際上就是感測器感知的缺陷。AutoPilot 1.0的硬體配置很難處理特殊工況，比如交叉路口。圖為特斯拉因感測器感知缺陷未正確識別卡車所導致的事故。
圖片出處：Inside the Self-Driving Tesla Fatal Accident
正是因為感測器感知缺陷這種客觀因素的存在，整車廠做自動駕駛時就顯得尤為保守，要麼增加感測器以加強感知能力，比如全新奧迪A8加的四線激光雷達；要麼就通過監視駕駛員的面部狀態，確保駕駛員實時觀測著前方路況，比如凱迪拉克CT6。
2.法規
上次Apollo發布會，百度當著全中國的面在開放道路測試自動駕駛技術，被請喝茶了。目前中國還是不允許自動駕駛車在開放及高速道路測試的，所以在法規正式發布之前，自動駕駛還只能到封閉的試車場中測試。這一點國外走在前列。
SAE Level 4：
High Automation（高度自動駕駛）
無論是國外的Waymo、Uber還是國內的Baidu L4事業部做的都是Level 4自動駕駛技術的研究。它們的自動駕駛汽車有一個很明顯的共同點，就是頭上頂著一個大大的激光雷達。如下。
激光雷達提供了極高精度和極其豐富的感知信息，這使自動駕駛車自如處理極端工況成為可能。激光為主，視覺為輔，再加上車上各種功能冗餘的感測器及高精度電子地圖，在開放道路上實現A點到B點的自動駕駛不再遙遠。
難點：Level 3 ~ Level 4
1.感測器成本
激光雷達的成本短期內還降不下來，這也是 L4 自動駕駛汽車還未普及的重要原因之一。Waymo在今年年初宣布將激光雷達成本降低90%，希望低成本激光感測器早日到來。
2.極高魯棒性的自動駕駛演算法及穩定的計算平台
Level 4的自動駕駛演算法準確性和精確性需要達到，甚至超過人類的認知水平，這就需要的是極具魯棒性的演算法和穩定的計算平台。確保自動駕駛汽車即使遇到突發情況也能較好應對。
3.高精度地圖採集資質
這一項難點國外並不存在，但是國內確實是一個很大的壁壘（國防考慮）。除了大家耳熟能詳的BAT有地圖測繪資質外，國內有測繪資質的圖商寥寥無幾。近幾年隨著自動駕駛的發展，想在國內發展自動駕駛技術，圖商說不定會成為稀缺資源。可以的話，推薦大家自己去調研國內有測繪資質的幾家圖商，買點他們的股票，看漲~
這也是我司和圖商合作的一大原因，報道如下。
上汽攜手光庭信息發力高精地圖 智能駕駛助汽車龍頭「換擋加速」
4.乘坐人員接納度
現在讓你去乘坐一輛沒有方向盤，隨時都無法接管的汽車，心裡多少會有些忐忑吧。因此人類的接納程度也是自動駕駛普及的一個大難點，需要時間建立信任。
Level 5：
Full Automation（完全自動駕駛）
相信很多人都會對 L4 和 L5 感到困惑，其實兩者很容易區分，觀察他們的可行駛範圍即可。
大家看下圖。
圖中的大圓弧是自動駕駛 Level 4 所限定的區域，小圓圈是汽車的感知範圍。
t時刻，汽車依然在大圓弧內，自動駕駛系統正常工作；
t+1時刻，已靠近邊界，自動駕駛系統即將失效，並發出警報；
t+2時刻，汽車開出了邊界，這時自動駕駛系統完全失效，安全停車。
圖片來源：無人駕駛汽車的黎明 https://www.bilibili.com/video/av12429465
那麼L5的功能該如何描述？
只要給出一個GPS坐標點，L5的自動駕駛車就能到你指定的地方，無論這地方的法規是靠右行駛還是靠左行駛，自動駕駛車都能輕鬆應對。即全工況、全區域的自動駕駛。
難點：Level 4 ~ Level 5
1.高精度地圖眾包更新生態
自動駕駛技術十分依賴高精度電子地圖，所用到的電子地圖一定要確保實時且易於更新。未來每一輛在路上行駛的自動駕駛車，不僅是用於正常通勤，同時也是地圖信息的採集車，實時將當前地圖信息反饋至雲端供其他自動駕駛汽車使用。
以上內容就是自動駕駛研究所需要攻破的難點，暫列這麼多，以後想到繼續更新。
何時能到Level 5？
在這個做預測隨時都可能會被打臉的時代，僅做一個保守估計：
L4會在2025年前普及。至於L5，可能不會有，因為造出一個全世界都能跑的車子性價比不高，L4對用戶來說已經夠了。你真的在乎，在中國能來去自如的某輛汽車，不能在美國跑嗎？
———————分割線———————
更多無人駕駛的內容：
自動駕駛汽車涉及哪些技術？
無人駕駛，個人如何研究？
高精地圖對自動駕駛來說有多重要？在自動駕駛上和一般的導航地圖有什麼區別？
互聯網公司和汽車企業都在開發自動駕駛，你更看好誰？
如何評價Mobileye和威馬汽車的合作？
更多段子：
你珍藏了哪些高級黑的段子？
你這麼好看，一定很會點贊~
Level 5全自動駕駛（無人駕駛），沒有使用條件限制，無需監控和控制，甚至沒有方向盤等控制機構。是汽車駕駛自動化系統研發的終極目標。
研發難度極大，成本極高，需要非常強大的感知和決策能力，全天候工作。
之前，Level 5研發的領頭羊就是Google，Google把互聯網軟體公司的優勢發揮的淋漓盡致，但同時也看到，經歷了這麼多年的研發，Google的無人駕駛小車依然「步履蹣跚」。
傳統主機廠在研發Level2-3之後，也逐漸重視Level4和5，有車企的底子和供應商支持，進展神速！趕超Google我認為是遲早的事…
Level5難度首先來自於感知，雖然有多種感測器，比如360度激光雷達和攝像頭，但這些感測器輸出大量原始數據。普通人看攝像頭和激光雷達的數據很容易識別出裡面的內容，但電腦就很困難。普通的模式識別識別率會很快達到瓶頸，這時候就需要深度學習，需要大量的數據進行訓練，而當今深度學習以及人工智慧並沒有給識別工作帶來質的飛躍。很多顯而易見的場景，電腦就是認不出來。同時當數據量增多時，計算的時間也會延長，系統響應變慢，這就導致這些無人車只能低速行駛。
另一大難題是決策控制。主流方式是專家系統，把所有的經驗進行總結，歸納為代碼。但駕駛場景萬萬千千，極難窮盡，遇到沒見過的場景乾脆就沒響應了。
於是另一種方式，人工智慧成為解決問題的唯一希望。但純靠人工智慧進行決策控制還處於「扯淡」階段，同樣需要大量數據進行訓練，而這種訓練又不像訓練人類駕駛員，能夠互動溝通，討論自身問題。訓練這個系統就像對牛彈琴，讓牛看你彈個千百遍，然後說，牛，該你了！牛會怎麼彈其實你是不知道的，同樣這個訓練後的人工智慧系統到底做出啥響應也是不確定的，一旦出錯，你還沒法回溯（就像你沒法問牛你為啥這麼彈）。最佳的方式似乎是結合專家系統和人工智慧，但如果結合又是難點。
說到Level5，不得不說，未必是所有主機廠的最終選擇。其成本極高，帶來的客戶收益未必比L2高太多。所有很多主機廠都說不會研發沒有方向盤的無人駕駛車，駕駛是每個愛車人的權利。
這類車更多的是未來出行或者交通的新方向，而且只要限制車的行駛區域，比如封閉的校園或場館，限制行進速度，這些降級的Level5 還是應該很快就能面試的。如果讓Level5真像人類駕駛員一樣開車，恐怕要很久很久了。
另外，不要讓無人車解決人類都解決不了的倫理和道德問題。如果說要解決「撞一個還是撞五個」的問題後才讓無人車上路，我就問你，你想好這個問題了么？沒想好的就不能開車了？？
自動駕駛技術被視為引領新一次汽車工業革命的燈塔。無論是業界專家還是各路媒體都相信，自動駕駛的實現將顛覆的不僅僅是汽車本身，而是整個汽車工業。
但現實中我們看到的是， xx公司在公共道路進行自動駕駛測試被約談」、「xx公司自動駕駛事故致死」這樣的標題不斷出現在新聞中。而業界第一款具備真正意義上的自動駕駛能力的量產車——全新奧迪A8今年7月才姍姍來遲。作為整個自動駕駛的第一個量產玩家，奧迪儘管已經走在了行業最前沿，但目前實現的還是3級的自動駕駛，也就是說這是一種在限定環境條件下，需要駕駛員始終有接管能力的自動駕駛，距離無限條件無需接管的自動駕駛還有相當長的路要走。回頭看歷史，猛然發覺第一屆DARPA自動駕駛挑戰賽已經是十年前的事了。對比互聯網產業，十年前支付寶還沒有手機支付業務，而微信根本還沒誕生，再看現在，支付寶和微信已經全面佔領了我們的生活。為什麼汽車工業的動作慢如蝸牛？自動駕駛到底難在哪裡？
在這裡我不打算講感測器技術、深度學習演算法和功能安全等級這些晦澀的話題，這些屬於典型的「懂的人自然懂，不懂的人說再多還是不懂」的內容。我想換一種講述方法，不提具體技術，通過分析一個典型場景——開車去超市。和大家分享自動駕駛的技術難點，並說明這些難點存在的原因。
從家裡開車去超市，這是一個普通司機腦子裡想著購物清單、嘴裡哼著歌就能輕鬆完成的任務，可至今沒有任何一家企業能夠量產這一級別的自動駕駛系統。那麼讓我們分析一下，為了達成這一任務，一個人類駕駛者完成了哪些任務，而這些任務就決定了汽車需要具有怎樣的能力。那麼，我們的故事開始了。
「鬆開新買的G29，你發現自己不在紐博格林北環，而是在家裡。從老婆那裡領取指令，要去超市買牛肉、抽紙、洗衣液還有水果。
下樓，上車前繞車一周，確認沒有什麼小孩小貓小狗蹲在車邊甚至躲在車下，四個車輪都在，也沒有癟掉。發動汽車，沿著小區內部道路到達公共道路，發現門口的道路正在養護，之前的雙向四車道封閉了半幅，有些擁堵，等了五分鐘才艱難地插入車流。
不過今天是周末，主路上倒是很通暢。陽光很好，路上樹影斑駁。
這條路是貫穿整個城市的主幹路，有些年頭了，標線磨損很厲害，有些路段只是勉強能看清。而且由於這條路正在分段拓寬，路口的導向箭頭也有修改，例如以前的直行+右轉箭頭現在改成了右轉箭頭，可以前的直行箭頭部分並沒有完全擦除，依然隱約可見。不過導航上已經更新了這個路口的導向車道信息。
開車上路永遠都有一些莽撞的司機，併線前不打轉向燈、實線併線、連續併線，或者很近的距離切入，這種時候還是選擇安全第一，能讓就讓。
終於快到超市了，停車場入口一如既往排起了長隊。前面那輛卡車車廂尾部的貼了大幅擎天柱的拉花，想來這是卡車司機自己的車吧，所以會在外觀上彰顯出自己的愛好。
好不容易到了入口，可是一個老大爺站在路邊，似乎是想橫穿道路，那麼我停一下，讓他先過去吧！
終於進了停車場，開始找車位。呃，轉了三圈，一個車位都沒有，保安過來指揮，說靠那邊的牆停車就行，現在高峰期，超市停車場也會變通一下規矩以方便客戶。」
讀完這麼一大段之後，我們一起分析一下，在去超市這個普通的駕駛任務中，自動駕駛系統都會受到哪些挑戰。
一般而言，自動駕駛系統的任務可以分為三類：感知、決策和執行。
對於感知，目前使用的主流感測器包括攝像頭、毫米波雷達、超聲波雷達和激光雷達四種。其中超聲波雷達就是我們日常說的「倒車雷達」。每款感測器都有自己的優點和缺點，他們的缺點就導致了感知環節的技術難題。
對於攝像頭的性能局限有個簡單的一句話判定方法：目前最好的攝像頭仍然無法達到人眼的識別能力。也就是說，你看不清的，你的車也看不清。例如目前的環視攝像頭並不能夠真正覆蓋車身360度範圍。仔細觀察屏幕顯示會發現靠近車身的那一圈，特別是四角位置，其實並未顯示外界真實圖像，而且在靠近車輛的地方圖像扭曲嚴重。而前視攝像頭則無法分辨前方的黑色區域到底是影子還是路面破損，所以奧迪A8的自動駕駛需要有前車作為引導，從而確認路面是能夠正常通行的。（也許你會覺得，還得跟著前車才能使用自動駕駛，那有什麼用？但是請別忘了，這套系統本來就叫交通擁堵自動駕駛啊，堵車的時候當然有前車了，不然還叫什麼堵車對吧？而且具備L3功能的A8在正常交通情況下，還有全速ACC和LKA來降低駕駛者的工作量，總體而言和目前其他所有L2級別的自動駕駛相比，都有了質的飛躍）。當陽光斜射的時候，護欄的陰影也可能被當作車道的邊緣。在陰天的時候，灰色的車輛也經常無法被準確識別。如果遇到畫著京劇臉譜的車尾，可能就因為匹配不到攝像頭的車輛識別模板而判斷前方並不是一輛汽車。
此外攝像頭和人眼一樣，對外界光照條件的依賴非常強，晚上看不清，被陽光直射看不清，進出隧道的一瞬間也會瞎掉。而且受限於數據處理能力，攝像頭的解析度和幀率也都會受到限制。人眼能夠輕鬆地識別200米外的車輛，在時速超過200kph的時候也不例外，但這對目前的攝像頭技術而言簡直是不可完成的任務——200米外的車輛可能只是幾個像素點。同理，在中國目前不少車載攝像頭都無法準確分辨限速標誌和限重標誌——那個t字實在太小了。
而毫米波雷達並不像多年前的科幻電影里那樣在一塊綠色的圓形屏幕上一條線轉啊轉，然後目標就清晰地顯示出來。雷達看到的其實是一大片強度不同的反射點，並且物體的幾何形狀和材質都會影響到反射點的反射強度和數量，同時還有部分雷達波在各個物體之間發生多次反射之後才回到接收天線。打個比方，雷達波更像是手電筒發出的光，而不是激光筆的效果。這導致特別是在遠距離，雷達無法準確判斷前方車輛的橫向位置，甚至無法分享前方是一輛車還是兩輛車並排行駛。雷達的上述特點導致結果就是原始數據中會出現大量的「假」目標，需要通過目標識別和跟蹤演算法做進一步的處理才能取得可以接受的效果。
激光雷達在廠商的各種宣傳視頻中看起來似乎無所不能，通過激光掃描直接得到了世界的三維模型。但其實多數激光雷達在距離30米的情況，在一個身高1米8的行人身上就只能照射到6條線了，可以簡單理解成通過6條窄縫觀察一個行人。因此如果沒有很好的識別演算法，其實依然很難分辨出目標。而且如局座所說，激光雷達和攝像頭一樣，同樣會受到煙霧或者塵土的影響而導致性能下降，甚至失明。
但相比決策環節，感知環節的問題看起來簡直不是問題。
如果世界一瞬間只有自動駕駛車輛存在，那麼情況會改善許多。但事實上，自動駕駛車輛和非自動駕駛車輛甚至行人將在很長一段時間共享道路使用權。在加入人這一因素後，道路的交通情況變得格外複雜。上面的場景中有一個簡單的例子：過馬路的行人。
對於人類駕駛員而言，如果看見一個行人面朝公路，則可以判斷他很可能要橫穿馬路，從而可以預先做出反應——變道、減速讓行或者加速通過。而如果兩個行人站在路邊面對面聊天，人類駕駛員就會假設他們沒有橫穿馬路的意圖，保持正常行駛。對於目前的自動駕駛系統，這無疑是不能完成的任務。由於行人的前進方向和速度都可以快速變化，再考慮其他車輛或基礎設施的遮擋問題，面向行人的自動緊急制動或者轉向都是非常困難的事，所以奧迪A8的L3自動駕駛系統，依然把使用場景限制在僅有車輛通行的封閉道路上。
還有上面的故事裡提到的停車場保安的臨時安排，對於人類駕駛者來說，這是一個理解自然語言就能解決的溝通問題，但保安如何與自動駕駛汽車溝通？手勢還是自然語言？抑或是通過安裝智能設備？這些不僅僅是自動駕駛汽車本身的問題，更取決於停車場這類基礎設施建設的策略和投入。
此外執行環節也是攸關安全的關鍵技術——不同於傳統的執行機構，線控轉向、制動和油門如果發生電子系統或者執行機構失效，將導致災難性的後果。對於自動駕駛車輛而言，執行器不但本身需要具有極高的可靠性，還需要準備一套冗餘的系統應對主系統失效的情況，比如轉向系統會使用兩個助力電機、制動系統在電子助力系統失效的時候還能夠用ESC產生制動力。
考慮天氣變化，例如突如其來的暴雨，照明條件，例如泛濫成災的遠光狗和東升西落的太陽公公，其他車輛的錯誤，例如坡道溜車的新手司機等等。
最後，我們還需要考慮到，自動駕駛是否能夠全面實施終歸是一個社會問題。比如：自動駕駛車輛對交通的影響一定是積極的么？
先別急著做出肯定的回答，因為新技術小規模使用時帶來的便利，在大規模量產後可不一定。
特斯拉的某個宣傳視頻中，當車主把車隨手停在路邊去辦事時，交警試圖貼違章罰單，這時車開始一點點向前挪動，繞著車主指定的大樓緩慢行駛。看完這個視頻大家第一反應是終於解決了短時停車難的問題。但請設想當這種技術大規模普及時的場景：整個CBD地區所有道路上充滿了慢慢挪動的汽車。工作時間要前往機場的人們試圖步行離開這片鋼筋水泥叢林後再打車。好不容易打到車你卻發現又堵在了學校門口，跟等著接孩子回家吃午飯的汽車保姆們以秒速五厘米享受慢生活。
有人認為如果自動駕駛帶動了共享汽車的發展，那麼車輛的數量將會大大減少，如此以來，交通環境就會得到改善。然而當我們仔細考慮這個問題的時候，不難發現，其實現在路上的汽車數量取決於交通需求和交通方式，而不是汽車數量。如果交通需求不變，並且交通方式依然是長度5米的5座汽車，那麼堵在路上的車並不會明顯減少。
最後一個需要考慮的問題是：如果電腦被黑了，可能會丟失資料，如果汽車被黑了，會發生什麼？
目前主流汽車的網路系統基本可以認為和外界是物理隔絕的，特別是涉及到行車安全的網路，例如動力系統控制網路、轉向系統控制器、制動系統控制器、車身穩定系統控制器等等。也就是說，如果不通過設備物理連接到車輛，基本無法修改或者控制汽車涉及到行駛安全的系統。
然而，為了實現汽車自動駕駛，將汽車接入互聯網是不可避免的技術需求，否則將無法實現車車通信、車和基礎設施通信並實時控制車輛行為的目標。這樣一來，網路防護就是很現實的問題了。當我們的PC還不能保證絕對安全的時候，真的可以放心地把汽車連接到網路么？
附加彩蛋問題：你媽和你媳婦都掉水裡了……這種欠抽的問題在生活中可一點都不少：例如一群違章橫穿公路的兒童和一個站在路邊等紅燈的老人，碰撞已經無法避免，你如何選擇？這就不是一個用演算法能夠解決的問題了。考慮到汽車製造商需要為因自動駕駛功能而引起的事故負責，如果不能從社會倫理和法律方面解決這類問題，即使政府不禁止自動駕駛汽車上路，汽車製造商也不會走上這條可能使自己破產的道路。
目前自動駕駛技術的大規模使用仍然路漫漫其修遠，但是沒有人會否定這是汽車這一古老的交通工具的未來之路。相比於特斯拉混淆視聽的L2功能，具備L3功能的奧迪A8的量產，真正打響了自動駕駛革命的第一槍，也讓我們有了更充分的信心，期待著整個汽車生態的迅速顛覆。
最後夾帶一點私貨：「希望在我退休之前，路上不再有不打轉向燈就變道的寶馬，阿門。」
自動駕駛攻破的難點在哪裡？ 這個問題可以分解成兩個維度：
- 縱向維度：L0→L1→L2→L3→L4→L5，哪一步是最難/最關鍵的？
- 橫向維度：自動駕駛技術範式的三大方面：感知(眼耳鼻) 、決策(大腦)、執行(神經、肌肉、四肢)，哪一方面是最難/最關鍵的？
一、從橫、縱兩個維度認識自動駕駛
在非自動駕駛的情況下：
- 感知：駕駛員的眼耳鼻等各個感測器，在接收著外界的信息，承擔著感知的功能；
- 決策：駕駛員的大腦根據感知的信息，決定進行加減速、轉向等操作，承擔著決策的功能；
- 執行：駕駛員的神經、四肢，以油門剎車與方向盤作為人車交互的兩大媒介，與整個汽車系統一起承擔著執行的功能。
什麼是自動駕駛？就是全部或部分地替代駕駛員的感知、決策與執行功能，而替代的程度，就決定了自動駕駛的等級。目前，普通公認的自動駕駛等級標準是SAE J3016，最新版本是2016年9月。有興趣的同學可在評論中留下郵箱。
英文+術語對閱讀來說可能不太友好，我來用通俗的語言翻譯一下：
L0- 無自動輔助功能
L1- 轉向或者加減速實現一條，駕駛員要時刻關注駕駛過程
L2- 轉向和加減速都實現，駕駛員要時刻關注駕駛過程
L3- 不需要駕駛員監督，但在出問題時需要駕駛員介入
L4- 不需要駕駛員監督，但仍然有一定局限，在出問題時能夠自動靠邊
L5- 全自動駕駛，只要在地球上有地圖的地方，全部都能自動駕駛
(L6)- 展望一下，在火星上也能開？
是不是還不太友好？我再用粗俗的語言來翻譯一下：
L0 – 駕駛員同學：你來開，我不參與。
L1L2 – 駕駛員同學：我能感知到周圍環境，也有一定的決策能力，所以我可以幫你踩油門剎車或幫你打方向盤(L1)，甚至這倆活我都幫你做了(L2)。但是，我開歸我開，這屬於幫忙，你得盯著，因為醜話說在前面：出了緊急情況我也不一定能辨識出來，所以我也一概不負責。發生在特斯拉身上的、誰來負責的一個生動案例：還原特斯拉致命事故現場，美國交通局是如何「斷案」的？
L3 – 駕駛員同學：我幫你開，你不用盯，我都能辨識，能處理的也就幫你處理了；我辨識不出來的，我的責任，你或你的家人可以找我來索賠；但是，我辨識出來的緊急情況超出我的處理能力/倫理道德許可權的時候，就會提醒你開，我提醒之後，責任就是你的了，我不負責。
L4 – 駕駛員同學：我辨識，我開，你該幹嘛就幹嘛去，放心，我不會打擾你的；如果實在出了狀況，我至少是幫你停路邊，保你一條小命。
L5 – 駕駛員同學：這個車，就是我開，沒你什麼事；說難聽點，就你這水平實在是不配開車，讓你開就是危害公共安全，如果說我是專業九段，你最多是業餘二段；你非要開？對不起，方向盤與油門我已經卸了，你想開也沒法開。如果你犯了開車癮了，出門右拐200米的旅行社，有內蒙古呼倫貝爾草原三日游，特色項目可以騎馬與開車二選一。
二、縱向的L0→L5，哪一步最關鍵/最難？
L0→L1：
汽車從僅有執行的功能，進化成具備感知與決策的能力，這是從0到1的過程，當然很重要，而這已經人類目前已經走過的歷史了，不是當下最關鍵的了。把自動駕駛比喻成一個人的話，這是嬰兒從呱呱落地到認識這個世界、學會語言的過程。
L1→L2：
只是縱向控制和橫向控制的區別，相當於我做了一個功能再去做另外一個功能，這個難度並不大。當然，涉及到量產就要考慮到系統工程，汽車還要考慮成本，要做的工作還是不少的。這是高中生學文、學理，還是文理兼修的區別。
現在能達到L2的車型已經挺多了，各大品牌的中高端車型，例如JEEP自由光、沃爾沃等等，當然也包括大名鼎鼎的Tesla。正因為L2沒那麼稀奇了，所以才有動力要搞出L2.5這樣的概念。
L2→L3：
敲黑板了，這是一個質變的階躍點，也是一個有很多貓膩的點。L2與L3關鍵就在於：自動駕駛是否有足夠的自信，來確保自己的感知與決策能力是與人類相當的、至少是滿足法律要求的、做出承諾不會使企業倒閉的。假如一輛車的整個生命周期，會遇到10000次危險情況，L2會聲稱自己可以辨識出9900個、9990個、9999個，但就是不敢承諾可以到100%——否則就是L3了。這是學霸與學神的區別：學霸考了99分，學神考了100分，並不是因為學霸與學神差距不大：學霸考了99分說明實力只有99分，而學神考100分是因為滿分只有100分。
99%與100%之間的鴻溝是如此之大，難以跨越，使得不安分的公司開始搞點貓膩，L2.5啊、L2.X啊這些概念都出來了。我想說的是，只要未到L3，L2.9999都可以說是廠家自己在往自己臉上貼金，L2到L3的界限是非常明顯的，需要駕駛員時刻保持警惕的，就只能是L2。
所有L3以下的自動駕駛（例如特斯拉一直引以為傲的L2.5）一般是下面這個畫風，這位大叔手腳都很輕鬆，但是眼睛目視前方，神情有些緊張，不敢太過放鬆。在這種情況下，王者榮耀只能打快速戰鬥，不能打排位，否則要麼分分鐘掉到青銅，要麼太專註了小命不保。這是真正的自動駕駛嗎？從個人感受來說，我不這麼認為。所以我認為L2→L3是一個「從無到有」的過程。
而到了Level3，就是下面這種畫風。比如在L3的全新奧迪A8上，一家之主可以享受著自己帶家人出遊的樂趣，同時還可以拿著筆記本完成一些簡單工作，可以同時享受帶著全家人出遊的樂趣，同時還能處理工作事物。
目前來說，量產版發布L3的，只有全新奧迪A8，這輛車也是目前量產車所能達到自動駕駛的最高水平。但是L3所存在的問題是，如果一旦系統出現無法hold的情況，需要駕駛員接管，所以在開車時只能進行一些簡單的工作，比如處理個流水郵件，給知乎上的妹子點個贊之類，是沒問題的。但深入思考某個投資問題，或者打王者榮耀要衝最強王者，那還是不太現實的。
L3→L4：
L4和L3的區別在於，L3在系統出問題時需要人接管，而L4可以自己handle所有特殊情況。換句話說，從烏鎮到上海倆小時，L3的自動駕駛可能中間10分鐘需要駕駛員接管，而其他時候可以忙一些工作上的事情或者休息，即使不接管也沒事，最多給你抗議一下停到路邊。也就是說，L2到L3解決的是「從無到有」的問題，而L3到L4是「從不全面到全面的問題」。
到了L4，就變成了下面這種畫風。這張圖曾經作為百度的「罪證」而被廣泛流傳，李彥宏一個人坐在副駕駛打電話，百度無人車在五環上實線變道（看來他們還沒有開發出交通規則識別功能）。在這個級別，駕駛員無需關注任何駕駛工況，車輛可以自行控制。
L4→L5：
那麼從L4到L5又有哪些變化呢？還是以引子中的烏鎮—上海中環某地為例。這一路，申嘉湖最開闊，路況好沒有車；G60車比較多，但靈活變道的話，還是可以開得比較順暢；而滬閔高架就比較擁堵了，尤其是幾個出口入口的地方，動不動有插隊現象(Level5的插隊水平可能比駕駛員還強，也許會有：360汽車，超強插隊能力的汽車-_-!)；到了中環，又是車多但基本暢通的情況。對於一個不認真開車的老司機來說，申嘉湖很簡單，中環G60還湊合，滬閔高架比較難，可見這是一個評判司機好壞的標準。對於自動駕駛來說，路況的複雜程度也是考量自動駕駛深度的一個很重要維度。這就是Level4和Level5的區分。在J3016中，Level 4的描述特地舉了個例子，比如去固定的地方接人，通過固定的路徑。
做個概括：
如果說L2是學霸，L3是學神；那麼L4就是大師，能識別出所有危急情況，而且知道自己以及行業內的能力邊界——哪些事情是目前能力還做不到的，或者是因為法律、倫理因素自己不適合做的(譬如是撞死一個人還是撞傷五個人的抉擇)，交給駕駛員；
而L5就是愛因斯坦+Alpha Go，已經是駕駛領域的神，在面臨危急情況的時候，會做出一些莫名其妙的舉動，就像圍棋中Alpha Go走出的人類無法理解的神來之筆，但就是完成了人類完成不了的動作，避免了事故；甚至平時去夾塞，都比人夾得好。
如果一個人能成長為大師，L2→L3是最難的，相當於是模擬考試徘徊在985與211之間的高中生，衝擊一下想考上清華北大，而全新奧迪A8率先實現了量產Level3，相當於是高二競賽提前錄取了，佔據了先機。如果是沿著現有的理論框架走到L5，L2→L3和L4→L5是最重要的。也不排除，為了達到L5，要突破現有的Level體系才能實現。
總之：L2→L3：真正意義自動駕駛的「從無到有」；L3→L4：從「不全面到全面」；L4→L5：從「不完美到完美」。
筆者認為，L4→L5的意義大於L1→L2與L3→L4，但小於L2→L3。
三、橫向維度：感知、決策與執行，哪一步最難/最關鍵？
一方面，這不是題主所問的重點，另一方面，我在之前的回答中也有所簡述：
張抗抗：互聯網公司和汽車企業都在開發自動駕駛，你更看好誰？。因此，橫向維度的討論就不在此展開，只簡要寫寫其中一個點：從技術範式來看，自動駕駛主攻的是感知與決策，執行不就是油門剎車與方向盤兩個輸入信號嗎，為什麼也會成為一個難點、甚至成為傳統車企狙擊互聯網車企的護城河呢？
原因在於：
在L0→L5的過程中，由於自動駕駛的加入，系統變得越來越複雜，而且大部分是與安全強相關。這就要求系統的安全性提出了更高的要求，如果僅通過提高可靠性的方法來實現，則成本會急劇增高，這時候就需要通過功能安全(function safety)的方式，在成本可控的情況下來保障安全性。
與自動駕駛等級相似，功能安全也分ASIL A→D 4個等級，有論文甚至提出由於自動駕駛太危險了，出了事兒不僅自己完蛋，周圍人也完蛋，建議給自動駕駛功能新出一個ASIL E等級。這是什麼概念？ 要知道，目前還沒有任何一家汽車公司可以達到ASIL D的水平(2015年的信息)，那達到ASIL E是何其難？
也就是說，自動駕駛雖然重點在感知與決策，但由於強安全性與高系統複雜度，使得執行控制也成了一個技術難點，而這一點是傳統車企的優勢。正因為如此，全新奧迪A8成了第一個達到量產L3水平的車型，也就不足為奇了。
前面高票答案從技術層面分析了很多了。其實大家在談論自動駕駛的分級的時候，總會講L0-L5，這個級別是按照自動化的程度來說，但是還存在一個與之相垂直的維度經常被忽略，也就是使用場景的複雜度。
以目前的發展情況，從場景從簡到難來說：
像封閉園區低速場景，現在已有L5級別的實例，例如馭勢在杭州來福士地下停車場和廣州白雲機場的停車場，智行者在奧森的自動清掃車。大規模量產只是成本和需求問題。
更難一些的，在相對封閉，但是工況惡劣很多的情景下。比如各種專用車輛：自動駕駛拖拉機，自動駕駛礦車。國內外也已經有一些成功的例子，我相信如果需求和成本可以滿足，3年之內L5一定可以量產。
再難一些，也就是我們所關注的，固定開放路段商用車輛的L4級別自動駕駛。這面由於是開放路段，所以要處理的情況就遠比前面提到的兩者複雜，考慮到一些極端情況下，雖然車上無人，車輛在超出系統安全範圍的運行環境下（如天氣超限，感測器故障等）仍會選擇「自動罷工」，所以必須保留方向盤油門剎車這些組件以便人工接管。這樣的場景下，需求是強烈的，只要可以證明技術可靠，我相信也是最多3年可以達到量產。
再進一步，簡單城市工況的自動駕駛。這個其實已經有一個很好的例子，就是Audi的A8。在簡單工況下可以完成L3級別的自動駕駛。我相信這個場景應該是大量乘用車廠在接下來3到5年之內主推以及平民化的技術。
最後，就是不限場景的點對點自動駕駛。雖然看過了很多炫酷的demo，但其實我內心還是蠻悲觀的。計算不考慮LiDAR成本這樣的問題，但是技術上保證可靠可以量產，5年也會是一個保守估計。
以上
奧迪率先量產L3級別自動駕駛技術給汽車行業帶來了不小的震撼，作為首款真正意義上量產的自動駕駛車型全新奧迪A8已經能實現的擁堵自動駕駛、遠程自動泊車等功能。這些都是典型的L3自動駕駛的場景應用。雖然已經是一次巨大的進步，但與L5級別的自動駕駛相比，其使用場景還很有局限，駕駛員也需要在多數情況下掌握控制權，距離完全自動駕駛的目標還有不少距離，L5級別的完全自動駕駛開發難度還是很大的。
——————————————————
我們再來看自動駕駛的等級劃分定義。
關於這個不啰嗦了，貼個專欄文章，個人感覺把分級定義講的非常清楚明白。
Bottom Gear：Bottom 駕駛自動化各級本質
根據定義，在L5階段車輛具備完全自動駕駛功能，且具備足夠的可靠性和安全性，即廠商交付自動駕駛車輛給消費者使用，並能承擔發生事故造成的後果。其實這裡就有一個疑問，如果是其他人駕駛的機動車或者自行車主動衝撞自動駕駛車輛，這個責任又如何劃分呢？（在功能安全設計中舉出極端的反例也是設計的一個必要環節）。因此，要實現L5級別的自動駕駛，單從車輛本身去解決問題已經沒有意義，任何廠商都不敢保證在沒有法規的保障下承擔所有責任的後果（只要有一絲失效的可能，資本家就不會去主動背鍋），在這種情況下，除了車輛本身具備L5的自動駕駛功能外，整個交通系統都需要具備一定的自動駕駛條件。
完全自動駕駛的四層要素
下圖是個人認為普及L5自動駕駛的幾個關鍵條件，除了車輛本身的技術水平和基礎設施的建設，法律法規對於責任的認定和劃分的判斷也是必不可少的；另外，如何讓消費者認可、信任自動駕駛汽車，也是需要考慮的一個問題。
汽車技術：路線清晰、逐步演進
汽車本身的技術在目前看來反而是路線和發展方向最為清晰的一部分，感知+決策+控制相關的感測器、雷達、晶元、攝像頭、人工智慧技術都在有序發展和產業化。全新奧迪A8 L3自動駕駛技術的橫空出世讓我們也見識到了這一技術發展的速度，它的智能駕駛控制器zFAS集合了mobileye、英偉達等多個行業巨頭，這也說明除了各大汽車公司，互聯網公司、晶元公司等尖端行業都合力參與到了這個行業里來。自動駕駛行業空前的集中了全球最厲害的工程師和最熱情的資本，其中涉及到的很多技術問題在技術方向上也慢慢有了一定的基礎，但是光靠車廠和科技公司解決汽車技術的問題還遠遠不夠，個人覺得其他三個問題才是比較麻煩又無法著手的地方。
基礎設施：解決「我在哪？」、「我周圍的小夥伴怎麼樣？」這兩個問題的關鍵
感測器和高精地圖的結合使自動駕駛汽車能夠及時修正數據上的誤差辨識車輛的準確位置，還能夠核對感測器數據並幫助汽車精確監測周邊環境，高精地圖已經成為自動駕駛領域的另一個重點，BBA聯合重金收購諾基亞地圖HERE，奧迪與高德合作建立高精3D全景地圖都是在為這一應用做鋪墊。運用V2X技術車輛可以把自身的情況廣播給周圍的車輛，在異常情況下可以讓周圍車輛提前做好準備；交通標識藉助V2X也能將信息提前傳遞到車輛，更可以避免雨雪天氣對視線造成的影響。
目前地圖數據由各汽車廠商聯合地圖公司自行繪製，高精度地圖的收集、分析、更新等機制還沒有行業規範，各家之間的數據無法共享，加上高精度地圖繪製、更新的工作量本身也十分巨大，這一工作目前看來很難由一家廠商獨立完成。V2X通信技術要發揮重要的作用還需很多工作：由國家或行業推動通信標準統一，政府投入道路基礎設施建設，駕駛員隱私信息保護機制等等，這些基本都需要從政策角度去推動。
法律法規：自動駕駛出了車禍，誰來背鍋？
這個問題從自動駕駛概念出來以後就一直討論不休，到目前也只有少數地區允許自動駕駛汽車上路行駛，並規定駕駛員必須保留車輛的控制權。如果要實現完全自動駕駛，這一法規就必須修正，並且對自動駕駛車輛出現的事故責任做好劃分，明確不同場景下交通參與者的相關責任，如果僅僅簡單的將責任從駕駛員轉移到生產廠商，怕是大多數企業都會保守應對。另外，在現有的車型上市的安全認證體系中是沒有任何自動駕駛相關的指標的，如果要自動駕駛汽車合法上路，這些認證、測試、審核的體系和規範都需要跟進位定。
市場接受度：我能不能把我的生命安全交給機器？
不論技術如何演進，消費者的接收和青睞也是自動駕駛普及的關鍵，與科技界、汽車界的熱火朝天不同，目前的普通消費者對自動駕駛汽車的認可和接受程度並不高，之前被廣泛傳播的AEB（自動剎車）演示失敗的視頻也反應了這種隱憂。德勤的《全自動駕駛的未來：先進汽車技術消費者需求調查》報告指出，美國、日本、德國等發達國家對完全自動駕駛的偏好均不超過50%。雖然大家很樂於去嘗試新的技術，但一旦這項新技術不能百分之百保證安全，更多的消費者會選擇反對。因此在技術演進的同時也要注重自動駕駛功能的推廣和宣傳，讓社會逐漸認可自動駕駛帶來的各種益處。
（來源：德勤全球汽車消費者研究）
以上，目前困難重重，但各方參與者都已經開始行動：大量的公司加大對自動駕駛技術的研究，政府部門開始推行部分區域自動駕駛測試和示範區，保險公司和法律相關人士也開始研究責任劃分問題。自動駕駛的前景還是可以期待的，樂觀估計，十年左右能實現L5完全自動駕駛。
感謝評論區指出本答案中LV5的錯誤。已修正。
如果你對民航業有了解的話，其實你會發現這個原因：
1 要想到LV5，則必須先通過LV4，並在LV4上收集到足夠的經驗和數據。
2 LV4的最大問題不是技術性的，而是：
2.1 法律問題。當自動駕駛導致事故的時候，如何定責。
2.2 人的問題。由於LV4自動駕駛有可能罷工，所以人必須時刻監控一個自己不控制的設備。這樣的話，人很快就會打瞌睡。在飛機上，這個是靠常年訓練，並配置兩個駕駛員（互相監視、並通過聊天緩解）。這些在汽車上明顯很難實現。
所以，在LV4的普及之路上，目前的解決方向反而跟自動駕駛無直接技術關係，只是遊說改變法律，以及增加駕駛人員的檢測機制，確保駕駛員在全神貫注的看著自動駕駛開車，而不是開小差、打電話、打瞌睡等。為了保證駕駛員不會因為常年不開車而失能，所以必須每隔很短的一段時間就重新熟悉一次手動駕車的全過程。如何實現這個強制操作，這也不是自動駕駛自己的技術問題。
作為從業人員，自動駕駛已不是遙不可及了
車上睡覺的日子，已經越來越近了
自動駕駛攻破的難點在哪，何時能到Level 5？
技術上的問題才是難點，其他亂七八糟的並不是真正的難點。
「如何保證車上的自動駕駛系統真正安全？」
答：所有自動駕駛系統/車輛必須通過量產前的統一測試，homologate一下子，通過「駕駛測試」才能直接供客戶使用；每次功能啟動前必須自檢；部分模塊會搭載兩個一模一樣的，保證安全性，達到功能安全標準。
「出事故了算誰的責任？」
答：車子上會有記錄儀，車內車外都會記錄，責任認定不會特別難
「撞一個人還是撞五個人？」
答：給人定價，這麼反人類的問題，社會學家/哲學家能想些其他有意義的問題嗎？
「我就不信自動駕駛車遇不到上述危險的緊急情況，車子怎麼做決策！你說呀你說呀你說呀」
答：Umm...車子遵守法律法規在路上行駛，策略偏保守，如果真有事故，也不會是自動駕駛車輛本身的問題，先聽聽你的意見，你撞1個還是撞5個啊？
再次回到題目：
自動駕駛攻破的難點在哪，何時能到Level 5？
高級別的自動駕駛，感知、決策、控制：每一部分都有難點...
PS: 下面的內容，僅從量產角度考慮，不討論堆配置的試製車或科研類改裝車
感知
基於現有的ADAS部署經驗，感知範圍和精度已不是主要瓶頸
很多問題可以靠增加硬體配置解決
土豪車廠：一個不夠用兩個嘛，不就是多幾個雷達嘛，幾萬塊錢毛毛雨啦
但用於識別物體的樣本庫（訓練樣本庫）卻不能單純靠錢解決
實際駕駛環境中，車子沒有「上帝視角」，只能儘可能多收集駕駛環境信息：
量產毫米波雷達處於看得遠雖遠但角度小的窘境；
高清攝像頭感測器的採樣圖像清晰，但對計算處理能力要求高；
清晰度較低的攝像頭感測器的採樣圖像，當物體較遠（圖像里較小），沒辦法準確識別...
在法規限制下，量產車型車頂有激光雷達就不合規，不能上市銷售
(圖為Velodyne的激光雷達)
沒辦法提升感測器靠高度看得更遠，感知信息就很受限了...
識別模型中的樣本再多，也很難僅憑物體的局部信息識別物體
舉例：（草圖湊合看吧...）
自動駕駛車輛（Ego）在城市道路里行駛，右前方有幾個停車位，有一輛車停在停車位里，有輛自行車被車遮擋，只探出前輪的一小部分
只能探測到前輪的一小部分，其餘部分雷達探測不到並且攝像頭看不見
如果是人在駕駛，駕駛員看著前方，自行車的前輪局部就能大概猜到：可能是有輛自行車/三輪在停著的車子後面，被遮擋住了
自動駕駛車輛只會探測到有個物體在車子後面；在自行車前輪完全漏出之前，無法識別探出來的部分是一輛自行車（當前還沒聽說哪裡有大牛實現了這麼牛的「管中窺豹」技術）
足夠接近自行車之前，無法識別該物體是一輛自行車，無法對潛在的碰撞做預判（說不定是個要過馬路的自行車）
據了解，Mobileye在視覺感知方面的積累距離實現」管中窺豹「應該不會太久了
決策
當前自動駕駛研發階段里最難的部分
駕駛環境里信息太過豐富，車輛、兩輪/三輪、人、信號燈、指示牌、車道線...
每一個信息都會影響駕駛決策，都需要作為參數引入決策模塊
信息幾乎都是實時更新，每時每刻都需要做決策...
舉例：（草圖湊合看吧...）
自動駕駛車輛（Ego）要在十字路口右轉，左側是直行車道，當前車道為直行右轉車道
有一堆自行車（他們可能在等信號燈，準備到十字路口左半邊）擠在Ego右轉的路徑上，Ego可能需要借左側的車道的一部分空間才能實現繞過右轉（紅色虛線軌跡）
Case 1: 如果左後方的車輛車速較慢且距離較遠，Ego能夠在不影響左後方車輛直行的情況下借用空間右轉，則借用左側車道的一部分空間右轉
Case 2: 如果與左後方車輛有碰撞風險，則停在自行車堆前面，需要等待左後方的車輛經過後再右轉
Case 3: 如果直行綠燈在閃（或剛剛黃燈），右側的自行車堆有可能會闖燈直接過到路口左側...fu*k...停吧，瑪德，讓著這幫不怕死的過馬路
Case 4: 圓綠燈（不分方向的信號燈，solid green light），如果十字路口左半邊有闖紅燈的自行車快要騎要到Ego正前方...wtf...踩剎車吧...
...
Case n: ...
決策時時刻刻進行著
不僅要考慮整個駕駛環境里的每一個因素，基於當前的優先順序（危險程度包含在內），保證安全駕駛...
老崔作為工程師...
PS：良好的決策模塊軟體架構設計能夠彌補晶元計算能力和系統功能安全上的短板，聽說最近國內幾個自主品牌也著手做自動駕駛了，望各位自主車企同行別急著壓榨供應商...先分析問題，考慮好軟體架構再開始...
控制
量產車型上的自主控制——加減速，轉向控制已經有很多年的經驗（不包括自主品牌）
駕駛環境瞬息萬變，車輛無法完全按照期望的軌跡行駛
安全第一么...舒適性和平穩性的問題就來了
比如，（嗯，舉個例子）
前方不遠處出現一個不遵守規則，亂闖馬路的行人
即使決策部分集成了機器學習的行人運動預測，給出了一個「概率」：行人有90%的可能比車輛先通過車輛與其路徑的交叉點，即9成把握撞不上
「因為概率有90%，所以車輛可以不減速？」 呵呵...
考慮行駛效率，到行人位置之前剎車至停止...很不機智對不
那麼...車輛必須先「小力度」減速，如有必要再「大力度」減速去規避碰撞風險
然鵝...當前公認的「足夠舒適」加速度門限值是正負3米每秒方
「大力度」的縱向控制可能會超出「3」這個門限值
避免減速帶來的不適感的同時，兼顧行駛效率，只好再引入橫向控制去躲避行人
過程中儘可能保證舒適性，避免「大力度」剎車的不適感，車輛只能朝著行人移動軌跡的反方向轉向
而縱向和橫向控制耦合了之後...wtf...平穩性就變得更特么複雜了...（作為外行還是不瞎說了...）
其實這一切也不是控制的鍋，開車這件事本來就很難，更不用說要把車開好了
人腦足夠靈活，能把複雜到爆炸的駕駛學會
自動駕駛系統需要靠手（碼）把（農）手（寫）教（代）的（碼）
現在知乎上吹車企有自動駕駛大概分兩大陣營：奧迪派和通用派
講道理，現階段快SOP的車輛只有奧迪的L3對吧，你明白我意思吧
那麼問題來了...
全新A8的L3功能真的厲害么？Emm...量產車型里挺強的
全新A8的L3自動駕駛功能——Traffic Jam Pilot開啟後，車輛可以在0-60km/h速度範圍內，完全接管車輛駕駛任務，雙手可以離開方向盤，奧迪的zFAS控制器控制車輛行駛
據老崔猜測，該功能只有在存在物理隔離帶的路段才能啟動，雖受限但也領先友商非常多了
量產A8擁有與工程車Audi A7的AI 「Jack」 相同的軟硬體配置
配置在量產方案里算是相當高的了
根據官方的公開資料，
A7 AI "Jack"上的zFAS控制器允許駕駛員在10秒內重新接管駕駛
就是說，
在zFAS遇到一些棘手的情況，無法自行完成決策時，
提示駕駛員接管，並保證10秒的安全行駛
非常期待明年A8上市，
公司租一台來長測研究，
前排開車的同事啟動自動駕駛功能，
老崔坐在后座，
體驗先進的量產自動駕駛車，
享受後排按腳功能的愉悅
要攻克的核心就是強制現在世面上所有的車都安裝自動駕駛，這樣所有的車都會規矩的行駛，因為電腦再靈敏，也避不開路上胡來的馬路殺手！
作為測試工程師，我一定會說，驗證是難點。事實也的確如此。
謝邀。我們從兩個方面來看：技術方面和人為因素。
技術上，最難的是讓汽車可以在任何場景下（任何街道、任何路況、任何時間、任何天氣）都達到安全指標。各種不同的場景，少說也有幾萬個。每個場景需要不斷測試，就需要強大的機器學習系統。大部分公司根本達不到市場需要的速度。達到L5就只能再等上幾年了。
人為因素其實更重要。就算技術上達到了L5，如果法規跟不上，道路設施跟不上，自動駕駛車終究形不成規模。何況，擁有自己的一部車仍然是大部分人的夢想，很多人也還不敢坐自動駕駛車。這些人為問題如果不解決，真正意義上的L5可能要等上十年了，否則永遠只能在機場等特殊環境里用L5。難點在於路上有人開車
就像目前如果有一個國家實現了共產主義，周邊的國家怎麼辦？
謝邀請。
我可以列出一百個理由來說L5自動駕駛指日可待，也能拿出一百個案例來說這事兒遙不可及，但這個答案我不打算談這些，因為要回答這個問題，用另一個問題就足夠了：
在現行道路交通秩序下，你真的願意把你自己的性命、有時候甚至是你和你所愛的這些人的性命，都完全交託到電腦手上嗎？
為什麼即便谷歌的無人駕駛實驗車用8年好幾百萬公里的「實驗」去證實了自動駕駛汽車的事故發生率（特別是己方責任事故）遠低於人類駕駛員，然而只要是你能買到的、帶自動駕駛功能的商品車，就一定要求駕駛員注意力在線呢？（例如視線不能離開前方，或者是雙手不能長時間離開方向盤）
因為這已經不是技術問題，而是法律問題了：人類完全退出，機器完全接管，而只要不能確保這件事是零風險的，那出了問題，該由誰來負責呢？法律目前在這一塊是空白的，而且要等立法也必然是非常漫長的過程。而按目前的法律來看，一旦出了問題，廠商難辭其咎；所以很明顯，廠商並不想承擔這風險，也只能在程序上禁止客戶去干這件事了。
再者，如果我們想深一層，某程度上這還是人工智慧發展過程中一個必然會出現的矛盾——到底電腦是真的「會開車」，還只是說按照我們給它設定的程式/演算法去做而已？如果是後者，那誰能保證這些程式和演算法一定就全面而沒有漏洞的呢？去猜測SIRI是不是真的「聽懂了」你說的話或許很有趣，但用人身安全去賭電腦是不是真的「會開車」就不是一件特別靠譜的事了。
不過，到最後我還是相信自己開車這行為肯定會慢慢成為歷史的，但應該是會有一種全新的點到點個人運輸方式出現，而不該僅僅是單純地把駕駛這行為交由電腦去執行。我們現在覺得必定就是未來的L5全自動駕駛，大概也跟混合動力車輛一樣，不過是過渡方案而已，可能還沒成為主流，替代方案就會出現了。
而如果真的有一次出行方式的大變革的話，我覺得大家更應該關注的是秩序層面，而非執行層面。
我覺得關鍵點不在感知、地圖等，而在於和物聯網和雲計算。
現在的方向是提高單車的感知、地圖精度、自動操作等，但是忽略了一個，既車與車的互聯，和後台中央樞紐操作系統的構建。
我理想中的自動駕駛，不是一個車的感知能力超強，能靈活應變每一個突發情況，而是在一個城市的車，甚至周圍幾個城市的車（行人、沿途的各種移動物），已經實現了實時連接，中央樞紐操作系統對成千上萬的車進行統一路程規劃，在感知已經極度精確的情況下，進行執行指令。
舉個例子，我要從西安去北京，我在系統中輸入目的地，中央樞紐操作系統在後台通過現有數據分析出最優路線，然後把我的目的地和行車路線發到基站上，沿途所有相關的車都會借到這個信息，我的車也會搜到所有沿途路線上所有車的信息，這樣，一條路上，那輛車應該走哪個車道，應該什麼時候停車，什麼時候拐彎都是有中央樞紐系統控制的，而不是單個的車來控制。
並且不是車與車的互聯，而是車與萬物的互聯，車與當地的天氣、井蓋、自行車、行人（通過手機定位），只有這樣才能盡最大可能避免突發情況，比如通過感知天氣到天氣的變化，所以車輛減少車速，保持車距，繞路行駛。感知到前方井蓋有挪動，信息上傳後台，後台廣播到所有途徑的車輛，提前做好規避，感知到有行人運動軌跡不正常，出現橫穿馬路或者逆行的情況，中央系統提前進行預警等。
lvl5 代表汽車具有接近18歲成年少年對路況，駕駛意圖的判斷能力。這涉及到對於圖像，推理，語言，表情的高級智能。例如對方有個車擺手示意讓你先走？比如前面右轉突然有一個車雙閃插入？比如前車左右擺動一看就是車胎要爆/酒駕。車雖然是機械，但行車本質上還是司機這種智慧生物之間的交流。這種交流通過車速，lane，避讓等方式體現。
在一個無人的限速60mile的高速上，而你趕著回家，你真的只開60mile？你不是傻嗎？這種呆板的規則行車就是缺乏智力的體現。
而這並不是幾個感測器+規則可以解決的，這就是實實在在的智能。你去試試siri，alexa就知道現在基於deep learning 的智能究竟能到什麼水準了。
現在，AI的「智力」基本達到了螞蟻的水平，連閱讀理解都做不對；離18歲少年還差幾十個數量級吧。最大的難關應該是路上人類在開的車還有汽車之外的東西....
作為自動駕駛外行和中年程序員，我感覺這是一個工程問題，是一個漸進的過程，無論實現技術還是成型產品，不存在無法逾越的技術障礙，也不存在瞬間突破爆髮式的進步。
幾年之內應該會看到成品出廠，但是到真正完善和普及，應該還需要若干年。
補充一點，我個人認為應該把競速和越野場景需求從自動駕駛範疇里剔除出去，觀眾去F1賽場不是看AI是看舒馬赫的，驢友出門專走河灘大坡，也不是為了癱在后座上刷手機的。
任何自動化的根本就是一個標準化的過程。
為什麼人工智慧最先攻克的是下棋（而不是自由體操或者街舞）呢？ 因為下棋本身就是一個「標準化」的東西。無非是個排列組合的東西，加大運算量和運算速度，超級計算機是可以擺平的。
所以，如果能夠有足夠標準化的道路（比如火車軌道），那麼自動駕駛也是不難的。
難的，就在於道路條件是千變萬化的。
比如在你面前突然出現一個小朋友，或者紙做的假人，或者一個小動物，那麼你的反應可能就是不一樣的（假設你猛打方向盤的傷亡機率是10%，那麼對小朋友，你可能會選擇打方向盤，而另外兩個情況很可能就是直接撞上去）。這個就是自動駕駛未必能分辨出來的。
別忘了，主流技術還是在用雷達，而人的眼睛是可以成像的。雷達也就是能加個熱成像而已。
而且，自動駕駛的設計往往會以「保守」「安全」為原則，如果你碰到很多大媽暴走，電驢子亂竄的情況，自動駕駛恐怕就是長時間熄火等待了，一個鬧事街區恐怕一天也過不去了。
自動駕駛是科技樹點錯了，
以下是我的文章
～_～～～～
不論美國還是中國對自動駕駛技術圍繞在汽車本事軟硬體的改造，人們好像都忘記了汽車是行駛在路面的這個基本事實。
自動駕駛技術為什麼不從改造路面著手呢？讓汽車與路面對話溝通信息交換，汽車按照路面的信息進行自動行駛這樣也自動駕駛啊，估計有人會笑，路面怎麼和汽車對話呢，其實很簡單按照，路面安裝感應器，再通過5G網路和汽車建立信息流。但是路那麼多全安裝嗎？
先要研究的是開車人什麼時候最需要自動駕駛？問問老司機，老司機會告訴你，遠距離駕駛時，一個人在市內開車時是短時間的，如果不堵車開車時間很少超過半小時，真正需要自動駕駛的時候是在高速公路上長時間的開車，現在的自動駕駛技術即使成熟了，開車人也不會在市區使用自動駕駛的，自動駕駛技術主要功能將是在高速路上，高速路上開車最無聊，也很累。
在高速路上使用應運自動駕駛技術比較好突破，方法就是高速路面安裝感應器，每個汽車按照通訊設備，用5G網路形成物聯網，車與車之間交換信息，路與車之間交換信息，汽車按照路面反饋的信息行駛，車與車之間的信息交流避免相互碰撞，整個高速路的車流形成類似有軌線路似的有序行駛，支撐這樣的有序車流的一個是5G，一個是汽車智能電腦。
上面的這套系統也可以用在市內，但是市內情況太複雜，有人有寵物還有各種單車等等，所以只能有限使用。如果汽車加上現在自動駕駛技術的探索儀器，到是可以做到一定程度自動防碰撞，未來每個人的手機換成5G手機後，手機也可以自動和附近的汽車產生信息流，這樣可以禁絕了汽車撞上人的可能。
現在的自動駕駛技術一味在汽車上做文章，是不對的，自動駕駛技術必須建立在物聯網之上。推薦閱讀：