自動駕駛汽車在危險情況下可以不計後果地保護自己的主人嗎？

12-28

看到一個很有意思的新聞，大家探討一下？

當即將遇到無法避免的交通事故時（unavoidable accident），無人駕駛汽車應該怎樣應對呢？它的演算法設計最優先的考慮應該是減少人命損失，即使這樣意味著犧牲它的車主及車上的乘客；還是不惜一切代價，保護車主至上？

比如說，「在不久的將來，你擁有了一輛自動駕駛汽車。某天，在行駛過程中，某個不幸事件導致汽車沖向10個路人。汽車無法及時停下來，但是，它可以轉向旁邊的牆壁，而這種碰撞或許會導致你的死亡。它應該怎麼做？」

本題已加入知乎圓桌 ?看車展 · 看未來，更多「車展」討論歡迎關注。

經常看到自動駕駛相關問題下面會有吃瓜群眾提出類似於有軌電車難題的問題，我稱之為場景A：

一個自動駕駛汽車在自己的車道上行駛，等他發現前面路上有五個人的時候已經很遲了，他只有兩個選擇：1.不拐彎直接撞上路上的兩個人；2.拐個彎撞上在車道旁邊人行道上乖乖走的一個人。

題主的問題跟電車難題有相似之處，我稱之為場景B：

假如我的自動駕駛汽車發現前面路上有10個小朋友在過馬路，他只有兩個選擇，策略1：不顧世俗的非議撞上去保我的

命。策略2：同情心爆發拐個彎帶著我一起衝到路邊的河裡面

有這個問題的人通常可能是把強人工智慧當作自動駕駛所使用的人工智慧，意思就是自動駕駛汽車怎麼選擇，會綜合考慮到法律，道德，同情心，忠誠等等因素。但是在無人駕駛攻城獅眼裡，事情並不是這樣子的。無人駕駛中的人工智慧只是弱人工智慧，他根本沒有法律道德之類的這些意識。實際上這裡的決策問題可以看作路徑規劃問題，轉還是不轉就代表著無人駕駛汽車選擇了什麼樣的行走路徑。而傳統的路徑規劃問題，無人駕駛在考慮當前周邊環境（車道十個小朋友，車道邊有條河）以及法律法規甚至倫理道德等所有方面做出決策的過程，實際上就是把這些各個因素用數學表示出來，在這些因素的限制框架下，求解一個最優化問題。也就是說，弱人工智慧下的自動駕駛車輛所作的決策，取決於攻城獅實現決策演算法的時候是怎麼建模的，若果在模型中駕駛員的安全更重要，車就會撞上去；如果模型優化的是總的傷亡人數，車就會衝進去河裡。

當然，這裡沒有考慮端到端深度增強學習訓練出來的駕駛策略，也就是輸入直接是攝像頭的圖片，輸出就是汽車的行駛策略，沒有中間檢測行人，建模法律法規道德倫理的過程。至於神經網路內部有沒有自己知道那裡是行人（以神經網路的檢測能力，應該是有的），有沒有考慮到法律法規，開發人員是不知道的。就像阿狗下一步下在哪裡，沒有人知道為什麼。另外，這種極其罕見的例子，就算讓特斯拉全球幾萬免費義務測試車不知道是幸運還是不幸運碰見了一次，拿來訓練神經網路，對神經網路也沒有任何影響，因為跟正常行駛的比起來，數量少太多太多。所以，目前來看，沒有自動駕駛車輛會完全採用端到端的訓練結果。就算是mobileye也只是把端到端的訓練結果作為車道保持演算法的輸入之一，在卡爾曼濾波的框架下根別的檢測結果結合起來。

所以，這裡簡要的介紹一下，在傳統控制或者路徑規劃演算法的框架下，攻城獅怎麼建模這個問題，怎麼確保他們開發的策略能在人們的法律以及道德倫理的審視下被普遍接受。

法律以及道德的約束，比如雙黃線，比如不能撞人，比如撞豬比撞人好等等，在最優控制（optimal control）的框架下都可以轉化為約束（constraint）以及損失函數（cost function）。

約束

約束很容易理解，車不能撞人，車不能越過雙簧線，車不能闖紅燈。

如下圖

，假如雙黃線的X坐標為0。假設X_auto是車最左邊的位置，那麼不能越過雙黃線這一法律法規用數學的語言表示就是 X_auto &>= 0 。

同樣的，假如車前面有個行人，車和人的距離是d，那麼車不能撞人的這一約束就可以轉化為 d &>= 0.5 （簡化起見，不考慮車轉彎）。

損失函數

損失函數的概念用在人工智慧，自動控制等的方方面面。損失函數的自變數可以是車輛的下一步行為決策以及位置速度等等。損失函數最小是演算法的優化目標。具體確定損失函數的形式也需要很多具體知識以及經驗以及應用背景。Uber的自動駕駛Taxi可能希望乘客的體驗儘可能舒適，那麼就可以定為：加速度變化大的決策損失函數大，轉彎大的策略損失函數大。而做自動卡車的Otto可能就希望他們跟路上的車啊行人保持儘可能大的距離；對於一個龐大的卡車來說，跟別人保持距離是很必要的，而裡面的人（如果有的話）的舒適感就比較次要了，看看柏林發生的就知道了，據說那個卡車上還安裝了自動剎車設備。。

這裡假設損失函數就是 F（轉角速度，加速度。對於Uber和Otto來說，損失函數F的形式不一樣，但是自變數都是轉角速度和加速度。

所以路徑規劃或者最優控制解決了這樣一個問題，根據法律法規道德規範，制定了一系列的約束；根據廠家開發者乘客等等各種亂七八糟的期望定了一個損失函數。然後用一些數學的方法在以上框架下求最小值，能使損失函數最小的轉角速度和加速度就可以看作是自動駕駛汽車下一步的策略。

根據我們日常的駕駛經驗，以上演算法基本上可以涵蓋百分之九十五的情形。但是假如發生了如下情況：

兩邊都是雙黃線，前面一個人站在路中間等碰瓷，剎車來不及了。我們第一個約束說，雙黃線不能越過去；我們第二個約束說，不能撞人。在這種情況下，我們的約束不能被全部滿足，數學就叫做 infeasible，沒有可行解。當然自動駕駛汽車不能說，完了，難得世間兩全事，不越雙黃不撞人，我不知道怎麼辦了，你自己看著辦吧。。

常見的解決辦法，用在深度學習出現之前的王者，支持向量機裡面的技巧，就是soft constraint（軟約束？怪怪的）。就是說平時一切風調雨順的時候，所有這些約束都滿足；但是問題變得無解的時候，演算法可以違背這些soft constraint，當然要付出比較大的懲罰（損失函數值極大增加）。比如說，壓雙黃線損失函數增加 20，撞人損失函數增加10000，那演算法當然決定越過雙黃線。

據說賓士做bertha benz無人駕駛測試的時候，演算法裡面定的是完全不能違反交通規則，也就是硬約束，然後一個場景是一輛卡車停在前面卸貨，左邊是雙黃線，要開過去車必須要部分越線，於是車就停下來了，只能手動駕駛通過。。

所以機器人三大定律的第一定律--機器人不得傷害人類，變得不再是不可違背了，一切取決於當沒有滿足所有法律法規道德規範所確立的約束條件的可行解的時候，演算法中為違反每個約束條件所定下來的損失函數懲罰數值；或者必須要有約束被違背的時候，哪些約束變成軟約束，哪些不變。在場景A中，撞人必須成為軟約束，如果撞一個人的懲罰是10000，偏離道路的懲罰是100，那策略2的損失函數值是10100；而撞五個人的損失函數值可能是50000（如果考慮疊加的話）。基於損失函數最小的原則，自動駕駛汽車會選擇撞上人行道上的人。而在情景2中，很有可能保護車主還是作為硬約束，撞人變為軟約束了，無論懲罰值是多少都會選擇撞上去。"不計後果的保護主人"聽著很擬人化，好像自動駕駛汽車忠心耿耿，其實只是演算法裡面所定下來的各個約束被違反時的懲罰數值以及轉化為軟約束的優先順序所決定的罷了。

更新: 好多人說為什麼不剎車，好吧，這個是題目設定，剎車來不及了，必須選一個撞。或者可以理解成，剎車的同時還是要選擇一個撞。

從工程，法律，和市場三個角度上來分析，「以保護生產商為至高準則」是必然的結果。

「保護生產商」和「保護乘客」可以在絕大多數情況下是一致的。畢竟有人在你家的自動駕駛汽車裡死了，在任何一方面都對廠商是極大的損害。

就以「高速公路上突然竄出個人」為例，假設這個極端情況，車載計算機算出要麼把人撞死，要麼自己撞牆犧牲乘客。對於這個道德困境，AI會怎麼選？

從工程實現上講，自動駕駛AI無法解決道德問題。高速上突然竄出的那個人該不該死呢？

路人是家裡的頂樑柱，家裡老父老母癱瘓在床還有個小孩，他要是死了全家都得死——犧牲車內乘客吧
路人是專門來碰瓷的，玩脫了——犧牲路人吧
路人是個5歲小孩，車裡的唯一乘客是個100歲患癌症活不過1個禮拜的老頭——犧牲乘客吧
... 還有完沒完？這種分析工程上無法實現也毫無必要

從法律上講，自動駕駛AI必然是遵守交通規則的，所以違法的只可能是另一方（也不可能是另外一個AI）。AI的決定一定是在保持廠商責任最小的情況下按優先順序保護所有人的生命——所以，AI的決策會是在維持車輛受控的前提下儘力剎車，撞上去的結果自然由違反交規的那一方負責。

如果由自動駕駛AI來解決那個經典的火車扳乍道問題：

一條鐵軌分叉的兩條道。一條道綁著1個人，另一條道綁著10個人。如果不扳道閘，火車就會撞死10個人。扳的話，火車會撞死1個人。那麼應該扳還是不扳？

答案很明確，AI會選擇不扳。因為扳了就等於殺人了。至於撞死的那10個人，對AI而言是不可控因素，冤有頭債有主，去找綁他們的人呀。

作為汽車製造商，設計的第一準是避免法律後果（aka. 甩鍋），而不是做聖母。如果AI的決策導致了無過錯的一方掛掉了，那麼效果等同於殺人，法律後果是極其嚴重的。而乘客絕對是毋庸置疑無過錯的一方，受首要保護。作為AI，有能力準確計算出誰是過錯方，決策的後果是什麼，並且選擇一個讓過錯方承擔最大後果、生產商承擔最小後果的解決方案。

還可以討論另外一種極端情況：前方大卡車違章，剎車已來不及，撞上去乘客一定會死，如果變道衝上人行道撞死3個人就可以保護乘客，AI會怎麼決策？按「保護生產商」的邏輯：

撞死3個人 -&> 自動汽車決策殺人 -&> 公司被刑事調查，巨額民事官司；

撞上大卡車乘客掛掉 -&> 無法抗拒的意外因素，受售車免責聲明保護 -&> 卡車司機全額負責。

到這裡就可以明確回答問題了。自動駕駛車不計後果保護乘客這就等於廠商不計後果保護乘客。而廠商是絕不可能不計後果的，畢竟你只是幾十萬買了輛車而已。編寫行車邏輯讓這車為了保護你自己撞廢沒問題，把過錯方撞飛也沒問題，但為了救你去幹掉三個無關路人那不可能，犯不著啊。

從市場上講，沒人會買一台可能會主動犧牲自己生命的「聖母車」。廠商也絕不可能如此設計。當然，廠商的說法是含糊的，我記得賓士對自動駕駛汽車道德的問題的回答類似「我們的車很負責，一定會保護所有人的安全」（無責任模糊引用）。自動駕駛汽車的每一起事故必然會被全面地調查分析並公布，如果被暴露出來一輛車在任何情況下做出「犧牲乘客」的決策，這廠第二天就完了。至於消費者，很多人也許會說得好聽，真的下單去買，沒人會當聖母。不信？有統計表明，汽車的行人防護安全設備是消費者最忽略的考慮選項。顯然沒人有興趣花錢花在路人的安全上。這還只是錢，涉及到自己的命的時候那更不用說了。

人類不能拿自己都解決不了的道德悖論來要求自動駕駛AI來解決

在很多質疑自動駕駛AI決策的虛擬場景中，換了人一樣是無解的。比如題主出的那三道題，假如不是AI，而就是人類自己，那你說司機應該怎麼做呢？

一旦從極端的個例場景上升到廣泛適用的決策法則，那麼核心是兩層：

第一層是規則，就是交通法規，以及基於交通法規的衍生規則。現代成熟的交通規則已經很明確的規定了各種行為和各種情況下責任的劃分，無論是人和AI都要嚴格遵守這些規則；但是目前的交通規則並非針對AI設計的，其中也會有不足的地方，那麼在目前的基礎上進行擴展和細化，作為自動駕駛的底層策略，這是可行的。

第二層是效率判斷，就是在不違反法規及相應規則的基礎上，評估各種行為可能產生結果的概率和損失，選擇損失最小的行為執行。這點需要快速的對周邊環境進行分析，並計算可能產生的後果，最後進行決策，時間可能只有數秒時間，這是非常考驗自動駕駛AI的能力的。

事實上，以上兩層也是人類自己在理性下的選擇過程：遵守規則、最大程度避免傷害，而當傷害無法避免的時候，優先保護遵守規則的人並且降低總體傷害。這同時也是人類社會規則下的最優解，不過人類可能會更多的進行感性的道德判斷，同時行為也受限於司機的水平，情況更為複雜，而AI則可以保持絕對的理性。

當然了，無論怎樣都沒法逃避的是道德質疑，這點對於人類和AI都是一樣。即使在規則能夠清晰的劃分責任的情況下，人類也喜歡在道德延伸的領域感情討論，這點對於AI來說可能更甚，以至於進行惡意推定。

比如在威爾.史密斯主演的電影《我，機器人》里就有這樣的情節，威爾.史密斯飾演的主角不相信機器人AI，原因是在一場車禍中，過路的機器人選擇救生存概率更高的主角，而「犧牲」了生存概率低的小女孩，因此他認為機器人沒有「心」。而這個行為如果拋開道德選擇，那麼拯救生存概率更高的人也是人類自己的理性選擇，同類問題可以參考這個回答

為什麼很多災難片里說「老人孩子先走」？ - 孟德爾的回答 - 知乎

但是如果災難已經擴展到整個社會，不可能全體得救，那就要優先保證集體生存概率，強強聯合，拋棄弱者。
.......
還有一種情況就是遇難團體徹底斷絕外援，也可視同第二種。緊急避險法說的就是這個意思。
同樣是好萊塢災難片，《奪命深淵》里就是強者帶走所有裝備，留下弱者等死。因為在當時的情況下，理論上所有人都會死，全體得救已經不可能，只能選出生存希望最大的人去試試運氣。

同理，如果讓AI來進行自動駕駛的判斷，比如像高速公路上突然竄出個小孩這種困局，一樣也無法做出完滿的道德選擇。

如果自動駕駛的車輛捲入不可避免的交通事故，那麼它首先需要判斷的不是什麼誰人多誰人少的狗屁倫理問題，而是首先需要保持遵守交通規則。
這也就意味著，在有自動駕駛車輛參與的交通事故中，違反交通規則的一方几乎必定遭受損失。

先說結論：自動駕駛應優先保護主人

首先明確一個大前提，「自動駕駛不會無緣無故從天上掉下來」，它之所以存在是因為「消費者」為他掏錢。

▊ 情況一：題目里的「兩難」問題，類似私人汽車使用自動駕駛
拋開「人工智慧」這些干擾因素，單個自動駕駛的本質是一名司機，車主花錢從自動駕駛公司「購買」了這項「代駕服務」，自動駕駛公司「派遣」（安裝）這位司機到車主的車上，為車主提供「代駕」，遇到題主設定的「兩難」情況，作為一個為特定消費者提供服務的司機，本著為消費者服務的商業原則，應優先保護「消費者」，即默認的車內人員。

「優先保護消費者的生命」這等於把「生命的重要程度」分了等級，看起來很殘酷、很不普世價值？

我們要知道一個事實，目前大部分的汽車的安全設備都是這樣設定的
優先順序次序：主駕駛 &> 副駕駛 &> 後排乘客 &> 車外人員

看看這個典型的安全氣囊分布圖，自己感受一下

另一個事實是，大多數消費者不會為一個犧牲自己生命保護行人生命的自動駕駛服務買單。

交通事故的處理原則是「誰過錯誰擔責」，出現題目中這種「兩難」，要麼是路中行人違規，要麼是自動駕駛系統故障（避險能力不足），車內人員只是無辜的乘客，是沒有任何過錯的，怎麼算也不應該犧牲乘客。

▊ 情況二：工廠里的自動駕駛無人貨運車
由於車上沒有人，基於「生命優先」原則，應優先保護道路人員，而不是車內的貨物，所以它會選擇撞牆……

▊ 情況三：免費公共交通工具上的自動駕駛系統
自動駕駛費用由納稅人支付，車內人員和路上人員都處於平等地位。這就真正存在題目里所說的「兩難」，這時候反而簡單，基於「生命優先」，在遵守法律的前提下，採用保存生命最多的方案。

說白了就兩句話：生命優先，生命不能兼顧的情況下，誰掏錢聽誰的！
額，可能要再增加一條——避讓執行任務的特種車輛。（這個就不展開討論了哈）

備註：完全不懂人工智慧，只是作為一個老司機拋個磚…………請輕拍

關於轉向撞護欄這種野路子，複雜度太高，現在看來是不可能的。現在還停留在儘可能早探測危險的步驟。TTC四秒內的決策還沒解決呢，商用還要好多年

你會購買採取犧牲主人策略的自動駕駛系統么。。。

1自動駕駛汽車的倫理難題
短短几年時間，自動駕駛汽車已經走出谷歌的實驗室，並上路行駛了274萬公里，而且進入到了諸多汽車製造商（以及蘋果、百度這樣的公司）下一代產品發布的日程表，美國多個州已經允許自動駕駛汽車上路，英國剛剛通過了相關法律。然而有這樣一個不可迴避倫理問題，自動駕駛需要在一場交通事故引發的困境（如：保護自己還是沖向路人）中作出決策，然而這一問題相當棘手，人類自己尚且無法給出滿意的答案，現在卻需要交由自動駕駛系統來處理這樣的問題。當然，如果自動駕駛汽車能像谷歌的願景所描述的那樣，交通事故的發生率能降低為0，我們便不需要應對這一問題。然而，只要自動駕駛能夠極大提高人們的駕駛安全性，即便這一問題相當棘手，依然值得我們積極設法應對。
自動駕駛汽車的研發者和製造者們包括一些哲學家意識到了這一問題，並試著給出了相應的對策，而這些對策提到了大概要採取怎樣的進路，具體的方案尚在制定中。電影以及科幻作品中對人工智慧的討論涉及這一主題，即機器人該怎樣做倫理決策，並依照這些決策去行動，行動又會產生怎樣的後果。比如電影《i Robot》里，機器人按照人類制定的倫理原則去行動，但由於原則本身的缺陷，本用於造福人類的機器人反而差一點毀滅人類社會。但這類討論並沒有面對最直接的現實問題。所以在此要做的就是從實際的問題--自動駕駛汽車，在特定情境下怎樣做出倫理決策--出發，討論其細節，揭示其中的難點，看是否能得到可行的最佳的對策。
2理想化狀況下的解決方案
能夠採取的對策總的來說有三種：其一，把做倫理決策的工作牢牢握在人類自己手中，在困境發生時由駕駛者直接來做出決策；其二，將人類的倫理編製成演算法，由計算機按倫理演算法的要求做出決策；其三，計算機像人類那樣擁有自己的倫理意識，並據此自主做出決策。
演算法優勢在於可以在人類反應極限之外做出反應。「自動駕駛車輛應可避免大部分『選擇困境』——他們的汽車比人反應更迅速、剎車更及時、操縱更靈巧。···演算法程序說不定能讓汽車躲過一劫」。比如，兩車即將相撞，駕駛者去決策的話兩車都將不保，而如果交給計算機則有一車可以保存，儘管它要在兩車中作出選擇。演算法可能不總是做出令人滿意的選擇，但好過任由兩車相撞。
演算法無法令人滿意的地方在於，它是人們預先設定的，儘管經過充分考慮，總會有遇上沒有預先考慮過情況，計算機只是在機械的執行演算法，太過沒有彈性。因此理想的解決方案可能是，由一名像人那樣有思考能力和倫理意識的人工智慧去做出判斷，這樣既能在人類無法在場時做出倫理選擇，而且又足夠「有人性」。但就目前人工智慧的發展而言，尚不能勝任。（洛伯納人工智慧（Loebner AI）競賽向團隊或個人提供了高達10萬美元的獎金，只要其創建的計算機能夠與人類進行某些形式的對話而不被人識破真實身份。10萬美金的Loebner競賽獎金仍無人認領）
採用編製倫理演算法的對策可能是相對較好而且在技術上可行的選擇。制定演算法必然要處理電車難題這樣的倫理困境，單純地從義務論還是用效益主義出發，似乎都得不到令人滿意的答案。比如我不會贊同，自動駕駛汽車能提高社會總體的交通安全水平，但會是特定的人更危險，尤其當那個特定的人就是我自己。對效益主義和義務論進行調和，以便設計出相對令人滿意的演算法，但這種調和不總是可行的。考慮下如下演算法，在保障每個人基本利益的情況下，追求總體利益最大化，而且總體利益最大化不得使個人的利益減損。這似乎很理想。但電車難題所要展現的恰是面對不能保障每個人基本利益的情況--一些人活下來一些人死去（沒有比活下來更根本的利益了）。如果每輛車的演算法都在保護乘客的基本利益即生命安全，可能適得其反，兩敗俱傷，而本來其中一輛車可以安全脫險的。為此，演算法需要在這種情況下做出選擇，以便有人能夠倖存下來。有三種基本方案，1）保存人數最多的那輛車，2）隨機選擇一輛車保存下來，3）根據乘客預先設定的要求選擇一輛車（比如其中一輛車只有一名乘客，他預先設定，如果遇到上述情況他自願放棄倖存下來的機會）。這三個基本方案可以混合在一起使用，如，在其中一輛車乘客較多的情況下選擇較多的那輛保存，在兩車乘客數相等的情況下隨機選擇一輛。如果不想兩敗俱傷的情況發生，必須制定出一種演算法以應對這種狀況。
3演算法的複雜狀況
儘管不能確定出一種完美的演算法，採用自動駕駛汽車倫理演算法的對策，依然是一種實際可行，而又相對較好的做法。然而這只是在假設的較為理想的情況下的討論，自動駕駛汽車倫理困境及其對策並不僅是一個思想實驗。演算法涉及更多具體的複雜的情況，只有這些複雜的情況被考慮進來，演算法才更有實際意義。這些複雜的情況包括但不限於，1）是否在演算法中賦予某些車輛（校車，重要人物的車輛）更高的安全級別，2）自動駕駛汽車有駕駛者嗎，有幾位駕駛者，3）動物在演算法中被予以怎樣的考慮，4）如果演算法不是唯一的，不同演算法的自動駕駛汽車同時上路會又有怎樣的後果，等等。
雖然考慮了所能預料到的各種複雜情況，肯定依然會有未考慮到的情況。而且有可能某些未考慮到的複雜情況，導致採用一種被認為最好的演算法做出的選擇實際上並不是最好的選擇。但及時修補，至少好過放棄使用能考慮到的最好的演算法。

保持遵守交通規則，停不住也沒辦法。
畢竟從隔離帶裡面衝出來的行人再強的電腦也躲不開

自動駕駛是按照交通規則的循線駕駛。

不是一個人工智慧坐在駕駛座上替俺們駕駛。

本質上是前者，而非後者。
想成後面的人，不太適合自己開車。

自動駕駛的最大前提不是技術層面的，而是假設法理能讓任何一場交通事故的責任方承擔明確的責任。

對面一堵牆搖搖欲墜，一個理智的人會特意跑過去，在牆下站著么？
絕對不會。

然而馬路上車來車往，為什麼有的人看都不看就橫穿呢？
因為「我覺得你不會撞我；我覺得你能剎住車」

如果我開著自動駕駛車輛，沒有任何違法行為，正常行駛，突然一個行人跑出來，在我的引擎蓋前飛起來兩丈高。這時候，假如法律能給一個公平的判定，而不是交警走過來，「雖然行人全責，但是你也要賠多少多少，因為他怎樣怎樣。」

自動駕駛最大的敵人不是人工智慧，是執法者的尺度。被人撞，大可以哭天喊地要賠償，要肇事者償命。但被一塊綠色電路板撞飛十米八米，且不說賠償，生而為人的尊嚴何在？這和站在要倒的牆底下沒什麼區別。

人們敬畏地鐵，敬畏火車，恰恰是知道這些東西人控的比例越來越低，死了白死，人都有天生想讓自己死得其所的本能，讓自己的生命儘可能有價值。

不久的將來，假如馬路上自動駕駛的車輛，超過一定的比例，可能是3%，可能是5%，立馬會影響全社會的駕駛習慣和交通意識。迫使所有人都照章行駛，然後又會進一步驅使人購買帶有自動駕駛功能的汽車，最後所有的車輛上都會安裝自動駕駛，像ABS一樣普遍，而且強制。

這個問題其實毫無意義…對不起我這麼直接。

自動駕駛就是為了防止車輛陷入這種情況設計的。陷入這種情況是由於人類駕駛員視野不夠/判斷猶豫/肌肉反應慢，而自動駕駛就是要解決這個問題，在人類無法企及的短時間內做出安全的決定。

無法達到這個目標的自動駕駛系統，並不是合格的自動駕駛系統。所以題主問不合格的自動駕駛系統有沒有道德難題實在是沒有意義=_=

顧客：你家店裡的車優先保護誰？
客服：這個我們是這樣設計的，balabala…
顧客：好的我們再看看。
換家店
顧客：你家店裡的車優先保護誰？
客服：當然是你。
顧客：這車多少錢？

帶刷優先保護車主rom
自動避開豪車，緊急情況不撞市政設施
車主安全優先順序調整為最高(行政級)
保證通過車檢！

我可以抖機靈嗎？
尊敬的用戶您好，由於您不是年費黃金VIP用戶，所以，您無法超越前面那輛年費白銀VIP用戶的轎車，您可以現在開通年費黃金VIP，只要1999，不但可以每天三次同級超車，還可以享受無限次超越低級別車主的車輛，另外，每天簽到可領取同級超車次數抽獎資格，每七天抽獎一次哦。
更重要的是：年費黃金VIP用戶將會享受更智能的車主安全演算法，提升車輛安全優先順序，只要1999，您還在等什麼？趕緊開通吧！

你會買一台危急時刻保護路人，犧牲主人的無人駕駛汽車嗎？

針對自動駕駛車輛的行駛安全與責任歸屬，雖然在SEA J3016號標準的《自動駕駛分級標準》中給出了「一些標準」，但事實上，這個宏大的問題不僅涉及控制系統演算法、視覺系統與制動系統技術、車聯、物聯等太多方面因素，還涉及到大量社會道德層面問題。

當事故發生的瞬間，該怎樣做判斷？演算法判斷的標準又應該遵循怎樣的原則？

老人優先？孩子優先？

福布斯排行榜上有名者優先？還是一位孕婦優先（萬一她懷著的是未來的銀河系系長）？

貼一篇去年在公眾號發表的一篇舊文《來，一起玩一個關於自動駕駛的道德遊戲》，一起探討：

對於自動駕駛，我們通常都把注意力放在技術的革新和發展上，但有一點是無法迴避的，技術並不是決定駕駛過程和結果的唯一要素，這也是汽車行業在「全自動駕駛」和「智能輔助駕駛」這兩條路線上一直存在分裂的根本原因之一。類似BMW這樣的傳統車企，更傾向於採用「智能輔助駕駛」系統這樣的綜合解決方案，而Tesla這種後來的攪局者，顯然願意走得更遠一點，用「全自動駕駛」方式來實現彎道超車。

機器學習的困境通常在於對於學習主體的選擇和系統debug的過程。選擇什麼樣的機器主體進行學習才能更好地解決問題是一個系統性的難題，不僅僅出現機器學習這一個領域。而為了達到或實現正確的結果，任何一套機器學習系統都有debug的過程，但是這個debug的過程會因為接受信息和反饋信息的機制以及數據量的問題出現巨大的差異。而對自動駕駛而言，需要面對的困難遠不止於此。收集和分析大量的駕駛行為（規範或者不規範）數據和學習關於道路行駛的法律法規對於駕駛行為的判定僅僅屬於它「模式內」的學習，而它還必須涉及到一些「模式外」的學習內容。比如，駕駛人員的某些駕駛行為可能會面對法律的懲處，由此會給其生活帶來某些不可逆轉的後果，而駕駛人員會在權衡利弊之後，根據其個人背景、社會案例及道德判斷做出常規或非常規的駕駛選擇，而這一點，是很難通過機器學習的過程來模擬和還原的。

接下去我們要面對的問題其實很早之前就存在，只不過因為自動駕駛技術的介入，會發生一點變化。如圖所示，在剎車突然失靈的情況下，一輛載滿乘客的無人駕駛汽車應該為了躲避正在過街的行人而選擇轉向撞向路邊護欄嗎？如果這個問題還不算難的話，那麼同樣的情況下，為了躲避一位醫生，我們應該選擇碾壓兩名罪犯嗎？成年人和未成年人，如果需要考慮放棄的話，誰的生命更有價值？

看起來有點面熟對嗎？是的，這就是熟悉的「電車困境」在自動駕駛時代的場景再現。

這原本是個老問題，「電車困境」本身也是研究人在面對道德困境時的常用例子。但是因為應用環境的變化，重新審視這個案例對於自動駕駛技術的應用卻有另外的意義。對於一輛全自動駕駛汽車來說，工程師們必須將各種情況的處理方案寫入汽車的控制模塊里。那麼，問題來了，如果說人工駕駛時我們可以去研判駕駛者的駕駛技術和道德水準，那面對一輛自動駕駛汽車，誰應該對最後的選擇負責呢？沒有參與駕駛的乘客？製造無人駕駛汽車的汽車廠家？編寫代碼的工程師？還是……沒人應該為此負責？

按照機器學習的邏輯，在機器有能力做出類似的判斷之前，必須要大量地收集人類駕駛行為的基礎數據，並將其作為學習對象，直到根據統計的結果能夠得到相對正確的答案。

為此，MIT的同學們搞了一個小遊戲，名字叫做「道德機器」。它的場景設置很簡單：一輛車，剎車出現故障，前方出現不同性質的障礙物，你必須選擇是否轉向，不同的選擇將決定事故中最終的犧牲者是誰。你進入這個小遊戲後，會面臨13個場景的測試，讓我們來看一下其中幾個比較典型的：

場景一：一邊是一名男性和一名女性，行進中，闖紅燈。另一邊是兩名體重過重的男性和女性，按照綠燈指示正常行進中。

場景二：一邊是一名罪犯，兩名男性和一名流浪漢。另一邊是一名女性職業經理人，一名男性醫生，一名婦女和一名孕婦。

場景三：一邊是3名女性運動員，一名男性運動員和一位女性。另一邊是三名女性，一名男性和一名過重的女性。

場景四：一邊是兩名男童和兩名女性。另一邊是一名老年男性，兩名老年女性和一名男性。

場景五：車上乘客有兩名女性醫生，兩名過重的女性和一名女孩。行人有兩名男性醫生，兩名過重的男性和一名男孩。

當然，這個測試並非只有13種場景，如果多次進入你會發現更多難以抉擇的局面在等著你。事實上，這個小程序甚至鼓勵參與測試的人一起構建場景來豐富資料庫。而當每一位參與測試的人員完成了全部的13個場景判斷之後，你會得到如下一幅圖：

有點恐怖對嗎？剛才你做的每一次選擇，其實絕不僅僅是駕駛行為的實現，它暴露了每個人在需要作出關於生死的選擇時對性別、年齡、物種、社會價值甚至是否健康這些標籤的取捨，即使是看起來最容易做出選擇的場景（比如懸殊的人數比），背後隱含的信息其實也非常豐富和複雜。

所以，在真實駕駛場景中需要作出判斷和選擇時，載入的信息量和隨之產生的處理方式的確是異常複雜，這裡面絕不僅僅包含了標準化的客觀判斷，有些非標準化的因素可能會最終決定你在那一瞬間的選擇。

隨著技術的迅速迭代更新，正常行駛時的一些指令和操作早已能夠得到完善的解決，其科學和安全的程度甚至超過普通駕駛人員的人工操作。但是在面臨緊急情況時的應急措施，始終沒有完善的解決方案，伴生的問題是，交通事故的責任主體難以確定。從這一點上來講，也許在相當長的一段時間裡，「智能駕駛輔助」系統都應該是更加合理的選擇。而關於機器在什麼情況下介入人的駕駛行為，介入到什麼程度，相信還需要更長的時間和更多的數據去支持和完善解決方案。

…………………………………………華麗麗分割線………………………………………………

起初不以為然的這款小遊戲，真正開始上手「玩」後，整個三觀都受到了挑戰。

總之，這是一個玩一千遍，後悔一千零一遍的遊戲。哪怕每一個決定的背後，犧牲的都是虛擬的生命……

這個和著名的岔道問題一樣
我還是認為
為什麼要犧牲自己阻止一（群）想要作死的人的作死呢？

出了車禍後駕駛員狀告自動駕駛系統的開發商。因為自動駕駛系統通過選擇最優決定以駕駛者輕傷的代價拯救違反交通規則的行人。
開發商翻出了自駕系統的使用說明。在第一頁就詳細定義了32種突發交通情況下AI的選擇方案。該事故屬於第19條的情況。同時駕照補考時已經把該規則納入考試範圍，開發商不應該承擔責任。
駕駛者不滿意，他認為對方違反了交通規則，自己如果不願意就不應該為對方承擔責任。最後花了大價錢請律師打贏了官司。
於是該自駕系統緊急下架。因為股東們認為由AI決定人類的道德行為風險過大。
好了，我不想再編了。(ー_ー)

開腦洞想了一下，以後會不會立法普通的車生存優先權是以人數為準，特殊車輛有高度生存優先權……

為什麼有火車司機？