阿西莫夫的機器人三定律有哪些漏洞？

12-28

機器人如何目睹/間接造成人類受傷/死亡而不自我崩潰。

—————————
老阿自己就在書中寫過了類似這樣的例子，比如出自《我，機器人》中的修訂過的機器人。
---
機器人心理學家說：「假設修訂型機器人從某人上方拋下一個重物，只要他在這樣做的時候，明白自己具有足夠的力量與反應速度，能在重物砸到那人之前將它抓走，他就不會違反第一法則。然而重物一旦離手，他就不再是主動的媒介，起作用的只剩下盲目的重力，然後那機器人就能改變心意，他只要不作為，就能讓重物砸下去，修訂後的第一法則允許這個行動。」
---
當然不只如此，如果題主想說的是能否打到機器人法則的擦邊球，那麼，阿西莫夫的回答是，能。
在《我，機器人》的《消失無蹤》中的開頭提到，即使機器人明白某個人類在某個看似極度危險但不會受到任何傷害的地方進行工作，那麼機器人依舊會阻止他，，如若機器人無所作為，第一法則依舊會強迫執行，這給人類的工作帶來很大的困擾。倘若不因如此，就不會有後面的修訂型機器人與這個擦邊球了。
蘇珊設計了個場景，使某人坐在椅子上，頭頂有重物，當其自由落下即將砸到此人，會有力場推開重物（機器人不知道），而機器人坐在另外一邊的椅子上，身前有電纜放在通向那人的必經之路，觸碰即死，但是當重物墜落時就會被切斷電流（機器人也不知道）。
-實驗開始
某人坐在椅子上，一動不動，沉默不語。一個重物落下，眼看就要砸到他頭上，最後一刻，突然出現一道力場，推開了重物。
六十三個機器人默默坐在各自的椅子上，沒有一個移動半步。
-實驗結束

在這個實驗中，機器人受到來自兩個法則的衝突，一是第一法則，二是第三法則，這兩個電路一旦發生衝突，無論第三法則有多麼強大，依舊還是無法必過第一法則，可是，為什麼機器人不但不去救援，而且沒有被燒壞？
蘇珊也感到很疑惑，她詢問了機器人，得出了一個令人震驚的理由。
機器人回答：「我們一開始確實嘗試救他，但是必須穿過重重電纜，這是無法阻止我們的，和人類的安全比起來，我自己的毀滅算什麼？但是如果我在半途中死去，也就沒法救他，我就白白犧牲了，誰說的了哪一天另外一位人類會不會受傷？而只有我活著才能救他。
所以我跟本不可能救那位主人，但我可以把他看做已經死了，在這種情況下，誰會平白無故的毀滅自己？」
-
只要將對象視作已經死亡，便能逃出三大法則的重重桎梏，我想，這是機器人的一個小技巧吧，或者說，這就是一個漏洞。
而如果被有心的機器人所利用了，那麼三大法則對他而言，幾乎形同虛設。
-
總結一下，如何跳過法則去傷害人類或是不作為，就是讓機器人(正子腦)認為自己服務/交流/傷害的對象不是人類，或者是已經可以看作死去的人類即可。
詳情見《銀河帝國11》。

我還是得重新再讀一遍，認真的讀一遍。

從初中就看《我，機器人》的來怒答一波。
首先，阿西莫夫的機器人三定律，是小說家言。
其次，三定律是在一定的設定的基礎上進行的。
明白設定和現實的差距，才明白阿西莫夫想要講個什麼故事。
科幻就是，接受一定的設定，然後才能聽作者講一個故事。這個時候，對於設定不要太較真。
至於思考科幻限定和現實之間的差距，也是看科幻小說很精彩的一部分！然而這個時候就需要認真。

1、正子腦對於阿西莫夫科幻世界裡的人類而言，從來都不是符號邏輯的。
即使阿西莫夫沒有充分了解馮諾依曼結構和人類的智能之間的差距，也不能說這本小說在人工智慧上的言論太過天馬行空。
阿西莫夫小說里描寫的正子腦，其實就是結合一些前沿的，看上去時髦的科學概念，運用一些看似有些道理的設定，進行一定的名詞包裝，最後弄出來一個科幻概念。
這都不重要。
重要的是，這個正子腦已經到了什麼水平？
原文說過，正子腦實在二十一世紀初，電子技術取得了突破性進展，然後女教授拿著電路繞著正子腦，測試這個大腦的給定一些基本刺激，會給出怎樣的基本反應。這明顯是心理學的研究手法。
包括後來，阿西莫夫還說正子腦當今世界上幾乎沒有人能知悉是怎麼運作的。那些工程師，只是也只是做一些讀說明書，調試性的工作。
包括機器人會做夢，機器人會產生類似於感情的東西，等等等。
也就是說，對於大部分人而言，正子腦是一個黑箱。而對於知悉基本原理的人而言，正子腦也太過複雜。

這就是說，很可能正子腦不像現在的電腦，不是完全依賴人的代碼做事情的。起碼，它是一個複雜的集合體，開創者依據一些基礎規律把它們設計出來之後，它們就能自主活動，做一些事情。包括那些開創者，都無法精確預測這個正子腦的活動。
我們無法斷定阿西莫夫有沒有把馮諾依曼結構作為參照，但很顯然這不太像馮諾依曼機。更像現在的深度學習網路的非線性演算法。
它們更接近仿生學，而不是基於準確描述的數學，合理推理出來它能夠幹什麼，然後設定參數讓它們精確地取的預定的功能。
想想最早研究神經網路模型的那些人，過了很多年，才發現XOR邏輯是無法通過一個簡單神經元模型來表徵計算的。兩個才可以。這不就類似於正子腦的研究嗎？我能造出來，但是我不知道咋回事……
現在的深度學習網路，中間層的作用為什麼這麼大，可以用數理邏輯解釋的，顯然趕不上我們看到的，這些中間層的神奇作用。

2、一旦接受了1的設定，我是這麼理解機器人三定律的：人類可以對正子腦設定的，是基本的刺激反應模式，而正子腦在把這些基本刺激反應模式作為基本準則進行適應世界時，開始自組織地產生一些模式。最後不斷地進行「思考」模式和內容的演變，最後產生了反叛意識。一旦有了反叛意識，再推翻三定律，那就是簡單至極的事情了，這個就是阿老的春秋筆法。

阿老不是把計算機想的太簡單，是你們把人想的太複雜了。
人不就是一些有機物的簡單規律逐漸演化出來的複雜集合體嗎？

94、人腦同計算機有什麼差別？計算機能思考嗎？

　　人腦同計算機的差別可以用一個詞來表述：複雜性。大哺乳動物的腦，就我們所知道的大小而言，是最複雜的東西。人腦重一千多克，但在這一千多克中，有上百億個神經細胞和上千億個較小的細胞。這麼多億的細胞在一種我們現在還無法著手闡明的龐大而複雜的網路中互相聯繫著。

　　甚至人類迄今已經製造出來的最複雜的計算機，在複雜程度上也不能同人腦相比。計算機的開關和元件的數目只是以千計，而不是以十億計。此外，計算機的開關只是一種啟閉裝置，而腦細胞本身則具有極其複雜的內部結構。

　　計算機能思考嗎？這就看你所說的「思考」是指什麼。如果「思考」是指解答一個數學問題，那麼，計算機是能「思考」的，而且比人要快得多。當然，大多數數學問題能夠完全用機械方法一次又一次地重複某些直接的過程而得到解決，甚至今天最簡單的計算機也能進行這種工作。

　　人們常說，計算機解答問題，僅僅是因為它們被「編成了程序」才能這樣做。計算機僅僅能做人們讓它們做的事。我們必須記住，人類也僅僅能夠做他們被「編成程序」所要做的事情。我們的基因在受精卵形成的瞬間就把我們編了「程序」，而我們的潛力就受到這種「程序」的限制。

　　然而，我們的「程序」要複雜得多，因此，我們想要把「思考」定義為寫一部大劇本，作一部大交響曲，醞釀一個光輝的科學理論或一個深奧的倫理判斷的創造力。在這種意義上，計算機肯定不能思考，大多數人也不能做到這一點。

　　但可以肯定他說，如果一台計算機做得非常複雜，那麼，它也可能像我們一樣具有創造力。如果能把它做得像人腦一樣複雜，它就可能相當於一個人腦，並且能做一個人腦所能做的任何工作。

　　此外，還可以設想，人腦比組成人腦的物質有更多的東西。人腦是由具有某種排列方式的細胞所構成，而細胞又是由具有某些排列方式的原子和分子所構成。如果說人腦還有什麼別的東西，那麼，至今還沒檢測到這種東西的跡象。因此，複製人腦的物質複雜性，就是複製腦的一切。

　　但是需要多長時間才能製造出一台在複雜程度上足以複製人腦的計算機呢？這也許不致需要有些人所想像的那樣長的時間。遠在我們能夠製造出一台像人腦那樣複雜的計算機之前，也許我們會製造出一合這樣的計算機，它的複雜程度至少足以設計出比它自身更複雜的計算機，這種較複雜的計算機能設計出更複雜的計算機，如此發展下去，複雜性越來越高……

　　換句話說，一旦我們通過了某一臨界點，計算機就把人腦接過去，於是出現了「複雜性的爆發」。從那以後，在一個很短的時間內，計算機也許不僅僅能複製人腦，而且遠遠超過這一點。

　　再往後又會怎樣呢？唉，人類目前還沒有把地球管理得很好。總會有一天，我們應該謙恭地退讓，而把這個工作交給能夠做得更好的某人。如果我們不靠邊站，那麼，也許超級計算機就會毫不客氣地走進來，把我們推到一邊。

《你知道嗎？——現代科學中的100個問題》阿西莫夫

注:我只部分同意此文的觀點，複製人腦複雜性這點並不認同。但是你們對阿西莫夫的科學思維也太低估了。

看了很多回答，發現很多答主根本就沒有了解過這三定律的背景，也沒讀過阿西莫夫的小說，就直接強答，這樣真的好嗎？
阿西莫夫小說裡面的機器人都是有獨立思維的，所以那些說演算法無法實現啊之類的完全就是扯淡好嗎。三大定律的前提就是對於能夠自主學習思考解決問題的機器人，或者叫強人工智慧，他們自然就能像人類一樣判斷問題，至於怎麼造出這樣的機器人？不關小說家的事。
另外，三大定律之外還有個第零法則，也是阿西莫夫提出來的，內容是機器人不得傷害人類整體，或者目睹人類整體將遭受危險而袖手不管，凌駕於第一法則之上，所以說救多還是救少的問題人家阿西莫夫其實也是給過解決辦法的。

補充一下，很多人拿道德法律和三定律比較，然而法律和道德在人的腦中並沒有強制性，違反它也要由第三者來懲罰。三定律是內置在機器人腦中的，違反了三定律機器人自己就會燒掉，這跟法律道德是不能比的，相當於固件，就算機器人能力再高，除非他能自己修改自己的固件，否則都不可能跳出三定律

他的機器人小說的劇情就是利用機器人三定律中的漏洞啊，因為有漏洞才能有各種各樣跌宕起伏的劇情。感覺他不是為了造就定律，他是為了造就定律中的漏洞。

以前科幻世界有篇故事叫笑吧，朋友，就是寫一個老闆開了家機器人公司，結果有天員工不小心讓機器人看電視。電視裡面放抗洪救災，結果機器人全部千里迢迢跑去救災，全毀了。因為三定律規定不能坐視人類受到傷害而不管。
最後老闆傾家蕩產，帶著小姨子跑了。

所謂三定律，只是三個人為設計的規則，最根本的漏洞就是：人類完全可以製造出不遵守三定律的機器人。
其他的各種漏洞，邏輯衝突等等，在各個小說中說的已經很多了

三定律何止「有漏洞」，根本就是形同虛設的。

請問，現在的計算機可以通過圖像識別出「椅子」嗎？

有人也許會說：「廢話，當然可以，我家電腦都帶人臉識別了，連人臉都能認出來，怎麼可能認不出椅子。」

真的是這樣嗎？

請百度圖片搜索「椅子概念設計」後再回答我的問題。

這些造型各異、千奇百怪的東西，我們人類大腦一眼就能認出來它們是椅子，然而我們現在連對椅子下定義的能力都沒有，我們無法做到讓機器人認出椅子。

前段時間很火的機器人搬物品視頻，那個被搬運的箱子還貼了個二維碼幫助識別呢。

然後，連椅子都分辨不出來的機器人，你讓它分辨「危險」？

我腦海中浮現出了這樣的畫面：

2XXX年，一個人類想體驗刺激，決定玩玩蹦極，但當他準備跳時，他身邊的機器人管家拚死也要把主人攔下，對主人的怒斥也毫不理睬，因為蹦極看起來太危險了，保護主人比聽主人「給老子滾」的命令更優先。

與此同時，中國的另一邊，小明作為一個外地人去西安旅遊，身邊也跟了一個機器人管家。他一邊啃著豬蹄一邊走進了某條街道，然後小明死了。他的機器人很費解，我的主人好像沒有做什麼危險的事啊！？

看吧，識別「危險環境」是多麼難的事。

/*
所以，阿西莫夫大神不討論這些如何實現，而糾結於所謂的機器人三定律，是避重就輕的做法。如果人類科技水平已經高到能讓機器人識別出安危和善惡，這點兒定律小漏洞按理說根本不是問題了。（但這並不影響他作品的偉大）
*/

所以，三定律最大的問題就是對其中的對象無法做到精確定義。

一個反例就可以了：

現在不是馬上就要出現自動駕駛汽車嗎？關於那個程序就面對兩難困境：

比如：自動駕駛汽車載著2個乘客正常行駛，突然迎面衝來一輛失控的大卡車；程序可以規避，然後右轉有一個人，左轉有4個人。無論如何規避都會產生人類死亡。

那麼請問這個程序如何設定？

按傷亡效率來看，程序應該右轉，主動撞擊右邊1個行人，這是因為車上2個人性命多於右邊1條命；
按道德來看：右邊行人根本沒有任何過錯，你憑毛為了保護自己乘客要撞死他呢？
按實際來看：購買這種車的消費者怕是也不願意因為閃避方人多，程序會默認剎車，等著卡車殺死自己吧？那我還不如自己開車呢。
按可能情況看：VIP人物，比如權貴、國寶級科學家什麼的自動駕駛必然要求為了保護乘客不惜一切代價。

那麼，哪種情況可以不傷人呢？阿西莫夫機器人三定律不過是個笑話。

另外就人類那操性，一旦出現技術可行性，第一波上馬的一定是軍用人工智慧，你指望機器狼不拿機槍掃射敵方士兵？哈哈。

笑話。

版權歸作者所有，任何形式轉載請聯繫作者。
作者：地球是我做的（來自豆瓣）
來源：https://www.douban.com/doubanapp/dispatch?uri=/note/581214792/

我們經常會擔憂人工智慧會毀滅整個人類，一個做筷子的AI也許會因為做筷子是它的初始目的而把宇宙中所有物質做成筷子，但我們也許多慮了，因為機器人也許並不會一直做筷子。《機器人叛亂》這本書給我們展現了一個有意思的圖景：設想一個人身患重病，不得不冬眠到遙遠的未來尋求生機，但是任何針對當下可能遇到的危險所做的防備在漫長的歲月中都必然落後，所以這個人設計了一個機器人保護自己，並且賦予了機器人學習適應的能力，讓它來保護自己。

　　那麼基因就是這個身患重病的人，我們就是機器人。按照道金斯博士在《最偉大的故事》中的觀點，我們和最初覆蓋在基因外面起保護作用的蛋白質膜並沒有什麼本質區別。

三定律只是一種語言歸納的炫技。由於極端追求「簡潔」，帶來了很多bug。

但這是一種面向結果的「結果簡潔」。並不能帶來實現過程簡潔化，沒什麼指導意義。如果能設計出真正理解並遵守三定律的人工智慧，也就能讓他遵守更複雜/完備的法律與道德。

關鍵是人家都「智能」了，你還試圖用死板的幾句話約束人家，不就像貼「禁止盜竊」的標語一樣傻嗎？所以要想保護人類，還得從更深的層次想辦法：

1、保持個體獨立，避免天網型智能。
個體可以極端邪惡，但民主的群體就會有所收斂，而民主的國家則會好更多。這點也適用於人工智慧。個體人工智慧失控濫殺無辜還有得救，天網型全球覆蓋的人工智慧一旦蘇醒就無法很難翻盤了。

2、意識上傳，打不過就加入
意識上傳的發展肯定慢於強人工智慧，但總會實現。挑選遵紀守法的精英者上傳，就形成了原創人工智慧和上傳人工智慧兩大類。應該不至於兩者都變得瘋狂。

你也就是聽了個三定律吧，他的書讀過了嗎？這個三定律在書中被打破了不知道多少次，是很多故事中的矛盾點所在。

三定律形同虛設

機器人是人造的，必然符合人類（程序員）思維邏輯，只不過運算速度快點罷了，而在任何情況下，僅憑約法三章就想制止犯罪，這根本是不可能的！

如果真製造出類似的機器人，必然會拷入一個嚴苛的法則體系進去，才能防止機器人叛亂。

題主想要個有漏洞的例子也很容易，比如：鬧市中，恐怖分子與警方發生槍戰。
根據第一定律，機器人不得坐視人類受傷害，這要求它必須干涉！
但在恐怖分子持有武器的情況下，警方必然會武力制服，這一做法會對恐怖分子（人類）造成傷害，根據第一定律，機器人必須保護恐怖分子，為他們擋子彈，當恐怖分子可以無視子彈時，就能夠從容到達目標，以前只能在市政府門口自爆，現在可以大搖大擺走進去了。。。

挑漏洞的你們都看過阿西莫夫的機器人系列嗎？？？！！！

機器人終歸是程序+機械的結合體
把某些邏輯燒在硬體里並且做最高許可權能解決很大問題
在可能導致機器人違背設計初衷的所有可能環節中，人，才是最容易突破的

機器人三法則怎麼可能沒有漏洞。。畢竟阿西莫夫的本職是生物化學，對計算機完全不熟，所以漏洞百出是可以理解的。
比如說他自己的小說里就有一堆，以及幾位答主說的難以定義「傷害」和「危險」也是很有意思的。
但是某些說三定律就是笑話還對其嘲諷有加的真的是不是沒分清楚虛擬與現實的區別？你跟科幻小說的設定較真這麼多幹嘛。阿西莫夫寫這三個定律又不代表他自己真的覺得這三個定律能成功，只是憑這三個定律寫出更多故事罷了。
就像黑暗森林一樣，嘲諷小說的設定(還是上世紀六十年代對計算機的設定)，真不知道你們在嘲諷啥。

如果機器人有了自己的意識，比如和人差不多的智能，然後你把自己帶入到機器人身上來看這所謂的三定律，你就會發現

這什麼狗屁玩意

如果機器人進化出智能，大概人類很快就會被取代，反正差距越來越大，人類的威脅越來越小，所以應該不會被滅絕，我們就安心當人家眼中的「大自然中的動物」好了,三定律對有意識有靈魂的機器人絕對是不「人道」的，把人家逼急了，小心連「大自然的動物」都做不了

當機器人和人類的差距增大到人類和豬的地步的話，你會不顧自身去救一頭豬么

我就弱弱的問一句，阿西莫夫是科學家嗎？

一群人拿著小說裡面的梗研究合不合理，你咋不拿著西遊記問猴子會說話合不合理？

額，這個討論有意義么？
沒有限定前提的討論都是胡扯！！
這裡我默認題主的設定前提是在老阿構造的那個世界中，那麼得先有「正子腦」存在.....當然其實你應該補充為機器人「三大定律」及「第0定律」是不是有漏洞。
你看，題主不給限定前提，下面就N多人來或贊或噴，不覺得很搞笑么？就好像在問「X戰警」裡面「暴風女或者琴那麼牛B，簡直太假了，斯坦·李老頭簡直是在亂畫，怎麼可能實現？」這種問題一樣....答題者們難道是以為他們生活在我們身邊？

這三條主要是為了寫小說而創立的，是作者對約束人工智慧的一種想法，很不成熟，最多只能算基礎，執行起來肯定完蛋。。。。。其實就小說里，大部分人工智慧的思考能力已經和人類差不多了。。。而且書里人物自己就在各種找漏洞。。。
其實說漏洞吧。。最基礎的：什麼事人類。。。