如何看待這篇關於人工智慧的譯文？
為什麼最近有很多名人，比如比爾蓋茨，馬斯克、霍金等，讓人們警惕人工智慧？ - 謝熊貓出沒注意 - 知乎專欄
我個人覺得文中將人理解超人工智慧的行為與猩猩理解人的行為相類比太過簡單粗暴。
1猩猩也並非完全無法理解人，很多實驗也證明猩猩能學會不少手語，會做飯菜，會表達情感，智力並不低於四歲的孩子。
2這種智力差異對理解難度的影響不一定是線性增加。指數相關也不可能，否則一般人和高智商人的差別將會導致教育無法進行，而反例是目前我們接受的初等教育中很多知識都是在過去稱之為「高端」的東西，恰好是由當時人類智力最高的一批人才能理解的，所以不可能是指數相關的。
我更相信智力差異對理解難度的影響是一種對數相關的增加，智力差異對理解難度的影響在兩者的智力達到某一程度後變得可以微小而忽略不計。各位還有什麼看法可以談談嗎？
謝熊貓君翻譯的那篇文章主要是把庫茲韋爾的《奇點臨近》闡述了一遍，這本書我看過，是科普預言性質的，當作科幻小說看也不為過。如果他預言對了，自然很厲害，如果預言不對那也無可厚非。真正的人工智慧的研究還得看那些巨頭公司谷歌臉書微軟以及百度，還有頂級高校斯坦福麻省牛津哈佛等，真正的發明發現一定是由實踐者主導的，而不是預言家。
如果大家對庫茲韋爾感興趣，可以看他的個人網站Kurzweil Accelerating Intelligence
如果更想知道學術界和工業界的進展，可以在這個網站上看到點端倪FLI - Future of Life Institute，這個網站的發起人有大學教授、工業巨子以及影視明星，最近還搞了一封公開信，呼籲各路AI研究者攜手促進AI對人類有利而不是有害，已經有很多大學教授簽名了，你也可以去簽名哦
斯坦福在AI研究中算是先驅，他們也成立了一個長達百年的委員會來研究AI對人類社會的影響Stanford to host 100-year study on artificial intelligence
對我來說，要保護好身體，爭取活到2080年，看到人工智慧時代的真正到來，說不定真的能永生呢
或者滅亡
to be
or not to be我的評價：論據不堪一擊，結論卻言之鑿鑿。讀起來的感覺就是一篇以煽動為目的的文章。
我十分懷疑這篇文章的原作者並不真的關心他的結論對不對，而只關心這種言論給他帶來的利益有多少。
（甚至可能只是矽谷為人工智慧相關企業的炒高估值，吸引投資？）
畢竟，小孩子才看對錯，大人只關心利弊嘛。
很難相信一個聰明正直且利益無關的人會在仔細思考後作出此等盲目自信的結論。
我的觀點很簡單，人類根本沒有足夠的能力對技術奇點到來的時間做出可靠的預測。
1）人類沒有能力複雜系統做出長期預測。
天氣預報就是典型的複雜系統長期預測。一周以後預測都不可信了。
能預測一周也是因為有強烈的「趨勢」出現。什麼衛星發現一股寒潮/一個熱帶風暴在5天後要到來了。
人工智慧領域現在沒有半分的趨勢可以顯示奇點到來。更別說言之鑿鑿的2050年。
我敢賭五毛錢，就算允許他正負20%的誤差，奇點會在2043年-2057年這段時間到來的概率低於1%。（滿嘴跑火車，輸了也就五毛錢而已。）
還記得40年前有多少預言么。
40年後，人工智慧奇點來臨。
40年後，可控核聚變來臨。【高估核能研究發展】
40年後，太空電梯來臨。【高估材料科學發展】
40年後，星際旅行來臨。【高估航天科技發展】
40年後，飛行汽車。【高估汽車工業發展】
還有一個我的研究領域的：
40年後，量子計算機來臨。
現在的觀點是，再要40年吧。
也有另一類預測。
IBM總裁說的，個人電腦永遠不會普及。
被扇耳光的技術預測太多了。而且一點都不奇怪，因為我們根本沒有能力對未來新技術的發展做長期預測。
這種準確率跟抽籤一樣的預測，真的要當真？
我們能做的可靠預測大概是，
40年後，我們吃飯還用筷子。因為用了幾千年筷子了。
40年後，我們還要坐汽車。因為已經坐了兩百年汽車了。
40年後，我們還要看書。因為我們看來幾千年書了。
40年後，我們還需要椅子。因為已經用了上千年椅子了。
還有衣服、毛巾、鉛筆、床。
那些伴隨我們最久，那些最古老的發明往往會更長期的存在。
相反，40年後，我們不一定還要用手機，不一定還要平板。
這些新的技術發明，則容易在40年內消失。還記得傳呼機嗎？
反倒是摩爾定律才是特例，所以顯得那麼有名。再說，晶元現在已經小到什麼程度了？摩爾定律還有十年壽命是業界普遍觀點。
2）指數發展只在初期有效。
更多更多的技術發展是，「爆發期-繁榮期-衰落期」或者「爆發期-繁榮期-穩定期」。
他能找出多少近似指數函數發展，我就能找出多少技術近似sigmoid函數發展的。
比如說，摩爾定律。
原子的尺寸為晶元的尺寸設限。
把「無限的指數增長」當成顯而易見的事實真是不靠譜..
相反，自然界更常見的sigmoid函數的發展。
細菌在一個培養皿里繁殖，初期是指數增長，但受資源所限到達瓶頸後很快就會停止。
比如說，煤炭開採。
話說起來，邊緣遞減效應比指數發展規律更普遍？
剛開始練長跑時，成績提高得很快，但最後總會達到人體的極限。
期末複習一周一般可以幫你從60分提到到80分。但是再複習一個月成績也沒辦法漲到100啊。
比如說，知乎用戶在公開註冊後增長得很快，我猜是接近指數增長。但是潛在用戶規模是有限。這種增長最後也會變得類似sigmoid函數。
【強調一下吧。我沒有覺得所有的發展都像sigmoid函數，我只是提到了一些現象的發展規律更接近sigmoid函數。而這足以說明「沒有邊界的指數發展」一點都不可靠。】
再說，經過人為篩選的不完全歸納法真的有任何說服力？
再看看這幅圖。
簡單來說就是，沒有根據。
-------------------------------------------------------------
為什麼有很多名人讓人們警惕人工智慧？ - 知乎用戶的回答
這是那個問題下我的回答。
沒想到在我答完題後會又出現一篇如此具有煽動性的文章。
我的這篇答案只是在為人工智慧奇點的可能性辯護，沒有任何支持「人工智慧奇點證據確鑿」的傾向。
現在不把關於人工智慧的民科風掐死在搖籃里，幾年以後就等著他們像現在議論轉基因一樣議論人工智慧吧
我看完了這篇三萬五千字的文章，寫的很不錯。但是題主問「如何看待？」，我的答案是：可盡看而不可盡信。
可以看是因為，這篇文章提出的觀點以及邏輯推理，都是有科學的根據的。不可盡信是因為，這本書的邏輯和對人工智慧的認識仍然有很多偏頗之處。人工智慧涉及的學科很多，一個人很難做到全面客觀，至少來要熟悉生物學（主要是腦科學）、機器人學、計算機、數學和物理學才能對這個問題發表專業的見解。
而我對人工智慧，也僅僅是從計算機的角度有一些膚淺的看法：
目前來說計算機執行的所有命令，原理都是人知道的。人知道了演算法，計算機僅僅是快速的執行了這些演算法罷了。計算機計算一個簡單地搜索，和下象棋勝了國際大師，包括簡單地「人機對話」甚至你能看到的奇妙的軟體，沒有本質區別。從這個角度去說「計算機越來越有智能」應該是不對的，這些只能說明人的編程能力強了和計算機計算速度快了。
計算機實現智能的前提，是生物學能夠準確描述人腦思考、學習的過程，甚至要描述細胞的工作原理（因為大腦工作時肯定在每個細胞內部有所動作的），計算機必須知道這套演算法才有可能擁有「智能」。因此人工智慧的問題，我更相信腦科學家的話而不是計算機專家和物理學家。
當然，說存在「奇點」也是有原因的，因為計算機有智能確實是一瞬間的事情，那就是人類知道人腦工作的原理的時候。目前計算機實現演算法的水平是僅僅頂著演算法研究的，就是搞出原理的演算法很快就會被計算機實現。當計算機學會思考的一瞬間，事態將不受控制。
更可怕的是，這一天是必然會到來的。因此僅僅從計算機科學的角度來說，比爾蓋茨等人的質疑是有可能的，但是那篇文章的許多東西，仍然需要其他學科的人來驗證。
我認為缺乏記憶遺傳的人類能夠實現指數發展的一大動力來源於對自身知識庫的不斷提煉和抽象。
兩百年前，微積分還是只有少數數學家能夠掌握的知識，有大量複雜艱深的定義和符號，而且充滿矛盾（第二次數學危機）。現在呢，初中生已經可以自學並且運用了。可以想像，不久的未來，人類將不斷地將任何知識領域內的知識總結提煉和抽象到更高層次，使用更高階層的Building Block來向未知開疆拓土。所以我感覺原文對於人和猩猩、普通人和愛因斯坦的指數理解未必有大錯。想像人類的知識庫是一個巨大的樹狀數據結構，普通人還在一些靠近Leaf節點上攀爬掙扎的時候，愛因斯坦早已組織起了很多領域的Root節點形成了新的抽象了。這不就是指數級的差距么，不見得是腦容量、意識、理解力或是智商的差距。
謝邀
題目問的是「怎樣看待這篇譯文」，但是問題描述中又好像是在問「怎樣看待這篇譯文中的觀點」，我不知道題主究竟是想問哪一個，但是既然指名是「譯文」了，那我就兩方面都講一下，供大家參考。
譯文鏈接：為什麼最近有很多名人，比如比爾蓋茨，馬斯克、霍金等，讓人們警惕人工智慧？
首先講一下怎樣看待這篇譯文
1. 首先說下這篇譯文是怎麼被產生出來的
Waitbutwhy這個網站一般是每周二更新一篇文章，篇幅通常在3000-8000的範圍。《人工智慧》一文的原文是分上下兩篇發布的，而且兩篇之間隔了兩周，原因無外乎篇幅很長，作者花了很久寫。
開始翻譯的時候，下半篇還沒有發布，我是看完了上半篇之後決定翻譯的，主要是利用工作日下班後的時間翻譯一下，一天折騰幾千字。所以在下半篇發布的時候，上半篇早已經是翻譯完了的，而為了能提前發布，所以下半篇的翻譯比較趕，除了正常的下班後時間外，睡覺時間也延遲了一點，熬了熬夜趕進度。
上半篇和下半篇的翻譯步伐的不同，也導致了翻譯質量的差異，主要體現在錯別字上。我平常是沒有看知乎評論的習慣的，但是這次我知道有很多錯別字，所以和留言評論幫忙糾錯的知友進行了一些互動。很多知友幫忙挑錯別字，有一位知友甚至熬夜挑錯別字，我很感激。
2.關於翻譯方法
我在知乎前前後後也翻譯了不少文章了，對於科普類的文章，為了幫助知友閱讀，也為了讓更多人能夠感興趣，所以會有一些手段，具體來說：
- 盡量使用口語化的中文，避免翻譯體
- 使用一些中文閱讀者能夠聯繫起來的流行網路用語，進行合理的添加和改編，比如「能不能再給力點啊老師」、「隔壁老王」、「嚇尿單位」等等
- 配圖中的英文辭彙在不影響圖片內容的情況下盡量給出翻譯
- 為了幫助那些沒有耐心仔細閱讀完全文的知友，我會將文章中比較重要的標語式的句子加粗，還會製作一些黑底白字的ppt風格圖片加以強調，其實都是為了幫助閱讀
3.這篇文章發布後的一些反應
這篇東西發布後收到了各方知友和媒體的私信聯繫。知友方面主要是稱讚、感謝為主，也有一部分提出自己的想法來討論的，因為這類私信很多，有一些做了簡短回復，也有一些沒有回復，精力有限，請多諒解。
也有不少的微信公眾號的運營者詢問是否可以轉載，我的通常回復是要求「保留原文地址、知乎鏈接和譯者ID」，也有小部分以排版不方便放知乎鏈接為理由的，我提出的最低標準是「保留原文地址」。我提出的這個轉載要求，大部分詢問轉載的人是同意的，後來也有一些知友在微微博和私信跟我舉報一些沒標明出處的轉載，我一併上報給了知乎的版權維護部門，所幸這些轉載不規範的不是很多。
媒體和出版社的人士也有聯繫我，除了提到想要轉載之外就是問了一下我的個人看法和感謝一下翻譯工作，這一點上基本和其他知友差不多。某最近正在引進出版人工智慧領域圖書的出版社編輯和我多聊了幾句，交換了一下自己認為值得一讀的該領域書籍名稱。請對這個領域感興趣，想繼續閱讀的知友關注該出版社的出版物。這裡就不給這家出版社打廣告了，買這方面的書也無需盯著出版社，而是以書籍本身為選擇標準。
同時我也和waitbutwhy中文站的站長取得了聯繫，大家感興趣的可以關注微信號：waitbutwhy。
4.關於不收費
前後有幾位知友提出要給我錢的，因為他們「想為內容付費」，我都謝絕了。waitbutwhy官網的support頁面（Support Wait But Why）也提到了支持的方式之一是幫忙傳播，所以我做的翻譯行為實際上是幫忙傳播，我對想給我錢的知友的回復也是不接受錢款，但是希望可以幫忙傳播。
有一家機構想要商業刊載這篇譯文，最後商定的方式是由該機構先和waitbutwhy官方取得商業使用授權，然後我再對譯文進行修訂後發布，這一塊現在還沒有做完。
我自己有養得活自己的收入，偶爾也會有約稿的，稿酬有些給的還挺好，但是這篇文章的翻譯是完全獨立、無償完成的，主要還是興趣使然，順便以實際行動支持一下waitbutwhy。翻譯期間推掉了一篇選題比較無趣的付費稿，主要還是沒有興趣。
然後說說「怎樣看待這篇譯文中的觀點」
1.首先說一下這篇文章的目的，和我翻譯這篇文章的目的
仔細讀了譯文的應該會記得裡面有一句話是我加粗顯示的
接下來的內容，你可能一邊讀一邊心裡「呵呵」，而且這些內容可能真的是錯的。
應該也記得全文最後一句話
所以讓我們認真的討論這個話題。
預測未來這種事情，很不好說。通常對於未來的預測都沒譜，當然也有像預測互聯網這樣預測對了的。文中也提到了，在對專家的問卷調查中，人工智慧領域的專家們預測的結果也是不統一的。
2030年：42%的回答者認為強人工智慧會實現
2050年：25%的回答者
2100年：20%
2100年以後：10%
永遠不會實現：2%
但是，對於這個事情的預測是2030年，還是2050年，還是2100年，還是2100朝後，哪怕是認為永遠不會實現的，對於人工智慧的威脅的顧慮都是存在的，因為這種威脅是潛在存在的，這也是為什麼蓋茨、霍金、馬斯克這些頂尖的聰明人會提出警告的原因，也是為什麼這個領域的專家也會有很多處於「焦慮大道」之中。
人工智慧領域的發展取決於很多基礎領域的發展，人工智慧安全領域的發展也需要更多的關注和投入。既然威脅潛在存在，而潮流又不可逆，那麼一般人可以做的是什麼？認真討論、自我科普。還是那句話：
所以讓我們認真的討論這個話題。
2.不管認不認同，都先了解了觀點之後再評論，這也是認真討論的一種表現
雖然原文在語言上講究通俗易懂，我在翻譯時候也專門注重口語化表達，甚至還提煉加粗了很多重點，但是因為篇幅的原因，還是有很多人沒有仔細看完，或者沒有看完，就在發表同意或者反對的觀點，我覺得這不是認真討論的表現。
當然如果你覺得這種科普向文章不靠譜，不想在上面浪費時間，也可以找相關作品去閱讀，譯文後面專門保留了原文全部的出處的，上面也提到了，國內是有出版社在做引進的。
不管是否認同waitbutwhy文章裡面提到的觀點，能夠產生興趣，並且繼續了解這個領域，總是好事。
==================
最後附上一些同樣由我翻譯的科普向文章，篇幅沒這麼長，春節期間閑來無事可以讀一下：
如何用通俗的語言來解釋「費米悖論」？ - 謝熊貓君的回答
假如把一個人粉碎成原子再組合，這個人還是原來的人嗎？ - 謝熊貓君的回答
如果地球上所有人同時用激光筆指著月亮，月亮會不會變顏色？ - 杜雲鶴的回答
如果拿著機槍朝下開槍，人能像穿著噴氣背包一樣飛起來嗎？ - 謝熊貓君的回答
複製粘貼大法自己在另一個回答中的部分答案：
----------------------------------------------------------------------------------------------------------------------
接下來說一下內容（並非這期羅輯思維的內容，而是謝熊貓童鞋翻譯的那篇文章的內容）
那篇文章在表面的邏輯上，是通順的和引人入勝的（不愧是哈佛政府學院畢業的文學學士...），但在細節上，基本上沒法推敲。
實現「人工智慧」，總結來說方法有以下幾種：
1，在腦科學和神經科學領域，徹底研究清楚：a, 大腦的微觀構造；b, 單一神經元的所有物理性質。然後，用電子元件複製出神經元，再按照大腦的微觀構造來搭建一個電子人腦。如果一切研究和複製工作都準確，擺在人們面前的就是一個八歲小孩的大腦。再然後，人們怎麼教育一個八歲小孩的，就怎麼教育眼前的這個東西好了。
2，在認知科學（請忽略認知科學包括腦科學和神經科學這一事實）領域，忽略神經元級別的物理性質，而是總結出了足夠多的人腦的唯象經驗（類似於化學長期以來都是一門架空物理的唯相學，哪怕其在定義層面就是物理的真子集 -- 很多情況下，"more is different", and "reduction is impossible"）。人們利用這些唯相經驗，架空大腦的具體結構，直接將其加以運用，以期待靠現有的計算機硬體（冷冰冰的無智能的計算機器）和圍繞這些認知科學唯相經驗的軟體設計，堆出與人腦類似的功能來。即，靠低智商但計算力強大的計算機 + 合適的演算法，來創造高智商。
3，依然是在腦科學和神經科學領域，徹底研究清楚大腦的微觀構造和單一神經元的所有物理性質。然後，不試圖用電子元件去複製神經元，並進一步複製大腦的物理結構，而是用現有（未來「現有」）的計算機來模擬這些神經元之間的相互作用，從而實現對大腦的複製。平行的比喻就是，1是我們清楚了核裂變的原理，然後造一顆核彈，爆了，觀測當量；3是我們同樣清楚了核裂變的原理，在計算機裡面建一個裂變模型，模擬爆了，計算當量。
4，腦洞大開的其他方法，好比「進化」什麼的...汗死
從難度上講，絕對難度都很難。而相對難度，目測3比1難得多（計算機若是能模擬這個過程，這台計算機就已經是神仙級別的超智能了，還模擬個什麼勁...）。
至於2...依靠的要素有三個：認知科學，計算機硬體，計算機軟體。
第一個要素，目前人類的「認知科學」，除去腦科學/神經科學的部分，主要僅是三塊：語言學，視覺，心理學。
心理學不表：基本上與AI沒關係。視覺不表：雖然是AI，且現在做得很好，但Input比output容易得多 -- 與其擔心AI毀滅人類，還是去擔心條子的攝像頭變得更強大要靠譜些。語言學裡面的computational linguistics算是唯一跟2中所述的這一過程沾邊的：架空大腦來進行人類語言的唯相計算機模擬。而這個領域的世界上最猛的一群人，我大體上認識/了解。相信你給他們看這篇文章，他們的反應八成是「哈哈哈哈哈，想得也太多了吧~」。
而第二個要素，計算機硬體，同意所有的觀點：我們的計算機硬體速度，是實現AI的各個要素中，最靠譜的一個（「最」字完全可以替換成「唯一」）
至於第三個要素..........................................................美國的中國人裡面，號稱搞deep learning的人也不少。去問問他們嘛，問問他們覺得自己拿C++搞出來的那些玩意，到底是為了讓企業能更好地對你投放廣告，還是什麼...AI毀滅世界？？！ 對！你沒看錯，途徑2中最重要的一個要素，演算法，目前最前沿的「科學家」們依然還在用C++來搞！
於是你就問自己這麼一個問題：一個智商130的碼工，想要用另一個智商130的傢伙對人腦模式的唯相猜測（相信我，這群人「認知科學家」平時更像是以抽大麻為樂的玄學家），依靠一台速度極快但智商為零的機器，以及一套智商幾乎為零的語言（以C++為例的目前主流的高級語言），去創造出一個能自動讓自己的智商指數性增高的「系統」來。
你信么？反正我不信。
而從「可控性」角度講，除了最不靠譜的2之外，1和3根本就是全過程可控啊！（對於2的可控性，參考前面的「碼工 -- 大麻癮君子 -- C++」的比喻）
在1中，人能控制神經元的精確數量：眼前這個電子大腦的複雜程度，到底是老鼠級別，還是猩猩級別，還是嬰兒級別，還是8歲小孩級別，還是愛因斯坦級別，還是「人類大腦X10」級別，人是全程可控的，於是可以全程試錯。
在3中，道理一樣，計算機建模中模擬的神經元數量是全程可控的。如果還是覺得不保險，按照模擬神經元數量給其配備有限的計算能力就是了。
更為重要的是，在1中，不論是我們做出了一個8歲小孩的人腦，還是一個愛因斯坦的人腦，只要其架構是完美複製人腦的，在建好並點亮的第一時刻，它相當於什麼？它並不會一睜眼就是愛因斯坦，而是一個出生即陷入昏迷，直到8歲才醒來的8歲的愛因斯坦（人類大腦在8歲時達到成年人的體積）。即，擺在你面前的並非是一個現成的天才，而是一個有成為天才潛質的少年。而我們人類，就是它的父母。它可能會學成一個愛因斯坦，也可能學成一個街頭混混，全靠我們怎麼教育。
順著這個點，我終於要提到本期羅輯思維我最為欣賞的唯一的閃光點了（雖然羅振宇沒有展開講，或者就是他根本沒想到展開的那一層意義） -- 基因/模因
圍繞這個點展開的討論就是：
何謂生命？？？何謂人？？？
這裡直接給結論（個人觀點）：
一個有著人類一般智慧，且能進行自我延續的機器，即生命。且是不折不扣的生命，而不是比喻意味的生命。其作為「生命」的存在，是與世間萬千生物的存在等同的。
而一個有著人類一般智慧，且能進行自我延續的機器，不但是生命，且是我們人類的「兒女」。且是不折不扣的兒女，而不是比喻意味的兒女。
即，這些作為人類大腦的電子化複製品的電子大腦們，就是人！而它們在「出生」後，隨人們「長大」，習得了人類的全套歷史文明精華，更是人！
而因為其拓展性，確實有可能在短期內就完成人類在幾百萬年才能完成的智商增長，然後像平均智商120的人種自然淘汰平均智商60的人種一樣，自然而然地把我們現在概念中的「人」淘汰掉。可那又如何呢？我們的這些聰明的兒女們，以2XXX年的人類文明為起始點，將我們大腦的結構和特性延續了下去，這就是人類的成就：不是「我們」的成就，也不是「它們」的成就，而是人類的成就，因為「我們」和「它們」本來就都是人，共同創造並延續了人類榮光。
最後想提的一點是，雖然在網路討論的時候，「因人廢言」是不對的，而在邏輯辯論領域，訴諸專家也是個...不至於算是邏輯錯誤，但肯定算是個弱支持。但是，在專業分工如此高度化的今天，一個人說話的效力，與「這個人是誰？幹什麼的？」，在統計上還是有極強的相關性的。
我以上這段話想表達的意思就一個：很多時候，相信專家還是對的。
這並不是讓大家相信我，因為我不是專家。
但也不是讓大家去相信那篇被翻譯的文章。其實想說的就是大家看到這麼一篇文章的時候，可能會有什麼樣的感受。
「這麼多專家！那一定很可信！」估計不少人是這麼想的。
而我能給的建議是，自習看看謝熊貓翻譯的那片文章，再參考一下我前面寫的這些廢話，再去深入了解一下自稱在搞AI的人每天具體都在「用什麼工具，幹什麼事情」。然後，問自己以下幾個問題：
有關人工智慧這麼一個世間無解，很可能還處於玄學級別的扯淡層面的話題
1，Tim Urban是誰啊？哈佛政府學院畢業的文學學士...他算「專家」么？我為什麼要相信一個文科生？
2，Ray Kruzweil是誰啊？70年代MIT畢業的計算機學士，現任谷歌工程師，兼科幻作家...他算「專家」么？我為什麼要相信一個本科生？
3，Bill Gates是誰啊？這個微軟的創始人算是「專家」么？我為什麼要相信一個退休搞慈善的企業家？
4，Elon Musk是誰啊？斯坦福應用物理博士，還不錯哦，可他跟AI又有什麼關係？我為什麼要相信一個以忽悠人為生的傢伙？（我個人很敬仰他，這裡絕無惡意）
5，Stephen Hawking又是誰？他不是搞天體物理的么？這輩子他碰過人工智慧的事兒么？憑什麼他說的有關人工智慧的話就要比路人甲更有效力呢？我為什麼要相信他？
外行總是能把一件件事情腦洞大開地演繹成沒邊沒跡的浪漫故事，但內行恐怕更關心「這扯淡的paper到底能不能發表？我自己看著都覺得扯淡...」，「谷歌到底打算養我們這群心虛的玄學家到什麼時候？我是不是該提前找個碼工的工作了...」這些事情吧。
而有關AI這件事情，恐怕以上所列12345，皆為「外行」。
而我自然更是外行中的外行。你們如果有覺悟不去輕信蓋茨等人，更不應該輕信於我。
人人都該相信自己才對。
若非要相信，還是找個真的專家來問問好啦。（做好被吐槽和被抱怨生活多艱的準備~）再警惕也沒用，人類的自然遺傳進化肯定比不過更先進的科技進步，人工智慧即便不淘汰人類，也會和部分人類合體開創未來刷新系統
任何形態的物種終要滅亡，只有不斷增強升級自身系統，才能繼續適應
如何看待譯文的翻譯水平我不知道
但如何看待原文的話
我覺得那10K的贊 說明所謂高端社區的人還挺好騙的
當然寫這種專門欺騙那些沒有計算機和生物基本知識的普通大眾的文章的人更可惡危言聳聽是為了全文最後一句：
【所以讓我們認真的討論這個話題。】
其實我在看完那篇翻譯後就有很多想法，並寫下了以下的個人見解，然後拖延症發作沒有發上來，今天刷知乎剛好看到題主的問題趕緊發上來再說，大半年沒寫過東西都快到提筆忘字的境界了，所以文筆拙劣，希望多多包涵，盡量get到我的點就好了。
謝熊貓君的翻譯自國外一篇長達幾萬字的對人工智慧革命思考的文章的答案詳細闡述了三種人工智慧形態的發展與目前相關學界的學者對前景的預測。
其中最引人注意亦一直為我們口中的所謂人工智慧的是人工智慧的第三形態，即Artificial Super intelligence。
相關人士的擔憂來源於文中通過一個淺顯易懂的例子（隔壁老王機器人的故事）所闡述的邏輯及由此推理後得到的最終結果。
於此處我提出對此邏輯的疑問：
首先那個與最開始被人類設定目標就是不斷地寫公司廣告詞的機器人，按文中的邏輯，一個被設定終極目標的機器人會在任何環境條件與進化水平下不惜一切方法去完成它的終極目標，對筆者的這個設定，我提煉出兩點信息：
1 在初始按照任務要求被輸入特定目標後，這個目標對於該人工智慧來說就可以成為一個類似機器人定律一樣的終極信條般的東西，永恆如初，不會違反，必須遵守。那麼換個角度，這種一根筋式的思維方式難道不至少算是筆者所討論的這種人工智慧的硬傷又或者說是其與生俱來的弱點嗎？文章一直所透露出來的人工智慧恐懼正正來源於超智能化之後的不可知性（即人類甚至都無法理解人工智慧的所作所為了，更不用說人類自身該採取什麼對應措施了，即真正的人如螻蟻），而上述的硬傷卻與此不可知性產生了矛盾，暫且不說我們能不能利用他來控制超智能，起碼在超智能未出現前的今天2015年2月7日我們就知道了這種可行的限制超智能的方法。
2 這裡我要導出第二個矛盾，按照文中筆者的說法，所謂的超智能應該是相當於一個在各方面都遠遠或至少略優於人腦的新一代大腦的存在，那麼我要問了，一個比我們智能好幾個進化等級（或如文中比喻的：看不到頭的樓梯頂端）的「物種」大腦，為何還會保有現在這種智力水平的我們看到都會笑的這麼弱智極端的一根筋的思維方式，讓我們嘗試著把那個隔壁老王的人工智慧想像成一個人，現實中看到這樣一個人誰會覺得他是超智能人呢?當他是個正常人都有點難吧？
3 其實還有一個矛盾，我認為根本都不需要考慮上述兩點，因為在此之前我們首先要面對一個問題就是：這種自始至終不隨進化水平改變的目標唯一性是否存在？根據第二點，作為真正稱得上「超智能」的人工智慧，其實不應該存在這種專一性。我們作為正常的現代人類，在這種複雜程度的智力水平下，尚且已經會從不同角度盡量客觀地思考各種問題併產生各種不同的解決方案(兩個方面：群體中不同個體的不同想法及同一個體在不同時間的不同想法)，何況遠遠智能於現代人類的超智能」生物體「呢？所以我的推論是：超智能」生物「（如：隔壁老王那個）即使在其初始狀態即非超智能時被人類授予某個特定任務或目標，那麼在其進化為超智能後也會自動解除身上的任務（類比封建時代奴隸的覺醒與反抗），這個道理很簡單，假如明天你睡醒突然發現自己大腦獲得了遠高於常人的能力，從此一目十行過目不忘，無論多麼高深的問題一看就懂懂了不會忘還會舉一反十，股票行情公司前景甚至國運大勢均被你看得通透，你還會傻傻地呆在辦公室兢兢業業地繼續昨天的工作？
因此，在我看來，那個隔壁老王的邏輯推論在前提上便難以成立，所以，在超智能出現後，原有的人類輸入的一切目標任務條條框框會全部作廢，超智能就像一種新的更高級的智能生物出現在地球上。
上面就是我對筆者觀點的看法，接下來嘗試以我的前提設想一下：
接下來會發生什麼呢？
很多人覺得，既然是更高級的智能生物，那麼肯定會與地球原有的霸主產生不可調和的資源爭奪與生存矛盾，對此，我也有不同的看法。
首先我們看一下目前沒有超智能也就是我們仍是地球霸主的世界，以人類的能力，我們尚且能與地球上的其他生物和平共處，並且越來越多的人有越來越強的環保意識，這種趨勢只能說會不斷趨於和諧。所以，這種關係類比到未來人類與超智能的關係，也是有參考價值的。
有人會說，這種關係的形成，根本原因還是資源，因為人類利用資源的能力提高了，生活富足了，已經不需要與身邊的動物直接激烈爭奪資源了，所以才輪到環保方面的考慮，簡單粗暴地想也對，這裡也不需要細細對此剖析，我們繼續向前走，難道超智能與人類的差異不比人類與其他生物的差異大得多嗎？那麼簡單舉例，至少在食物資源上我們與超智能」生物「的交集應當遠小於人類與其他生物的資源交集，而且根據超智能的概念，超智能應當擁有能解決目前人類面臨的一切問題的能力，當然包括資源問題，所以超智能根本不需要與人類爭奪資源（或者也可換個角度：人類佔有的資源在那種級別的智能面前簡直微不足道完全不夠用，爭奪的收益比遠小於自己到宇宙中獲取或甚至自己製造）。
因此，即便是最壞的情況，超智能與人類搶資源，超智能成為地球新霸主，人類的處境也會比如今人類統治下其他生物的處境好得多，而滅絕更是無從談起，有史以來生物的滅絕無非是自然與人為兩大原因。自然原因，即使以現在的技術水平，人類會因為自然變遷而滅絕也已經絕不可能。而人為原因，當然這裡討論的已經是」人為」，即超智能造成我們的滅絕，這裡又回到上一段的原因了，如今的人類都已學會保護瀕危動物，曾經的傷害是因為人類的無知與觀念的落後，而超智能在誕生之初就已經是遠超現今人類知識與思考水平的「物種」，所以除非嚴重威脅其生存，否則人類不會被「人為」滅絕，無意的也不可能。
但假如我們真的威脅到了超智能的生存又或者說超智能認為人類威脅到了他們的生存呢？我認為此時我們有必要先思考一下所謂生存之於超智能「生物」的意義，嚴格意義上，這種加引號的生物並不能算與地球所有生物同範疇的生物，以下我就用引號區分。
生存本能是生物的本能，這種本能與智力水平進化水平無關，聰明如人類要謀生存，各種細菌病毒也會謀生存，而且很多時候作為人類，我們甚至會有意識地用理智去壓制這種本能甚至突破它的限制（如各種捨生取義或基於任何利益考慮下的犧牲自我），本能非智能的產物，而是一種我們現在還未知道由來的生物自帶屬性，某個角度來看有時還是我們奮力想擺脫的枷鎖。那麼問題來了，對於不是生物的超智能「生物」來說，這種屬性還會存在嗎？
所以我們有必要先確定生存對於超智能來說是否僅僅和工作享受同等重要而已，在這個問題上，基於上述的原因，用目前已知的生存對生物的意義去套超智能「生物」是有待商榷的，同樣基於上述理由，我反而認為生存對於超智能來說並不重要，起碼只是與在他們眼中的其他事情一樣同等級別的重要，這是因為不同於生物進化那樣的黑匣子過程，超智能的進化是完全在嚴謹清晰的數學推理範疇內的（初始階段我們完全用數學邏輯編寫他們的代碼，後期即使我們無法理解，但也是基於初始的代碼即數學演算。），而生物本能例如生存是至少目前為止找不到邏輯上的存在必要性（這裡有必要再解釋一下，生存是為了繁殖，繁殖是為了延續種群，而「延續」這個動作在物種層面也是為了物種生存，所以個體生存是為了物種生存，還是生存，即使再往下推，生存為了進化，但這個進化還是找不到一個邏輯源頭的，其他動物本能類似）的大自然的魔法（注意這裡不用黑科技一詞），所以個人認為超智能「生物」更有可能的是不會產生一些類似於本能的東西。因此因生存本能引起的滅絕行為也就無從談起了。
那麼假如有人說：我什麼都不管了，我就覺得超智能肯定會與人類水火不相容爆發事關人類生存的全面戰爭，在這種數量級的智商與技術落差下，人類肯定是被全面碾壓的，滅絕簡直是分分鐘的事。
對於這個前提我不加否定，但以我的想法推導，結局卻未必甚至是不太可能人類被全面碾壓直至滅絕，為何？關鍵就在於所謂的全面戰爭真的就僅僅是人類與超智能兩大對立陣營的戰爭嗎？或者說，超智能「生物」陣營會是一個眾志成城、無數人堅定地朝著同一個目標前進毫不變改的共同體嗎？大家應該已經猜到我想說什麼了，大概的論證思路與上面大同小異，我就直接拋結論了：超智能「生物」這種級別的智能會產生遠強於人類的多元化，無論在群體中還是對於單個個體本身，在今天的人類社會，我們尚且不可能發動一場所謂的某個群體對某個群體的全面戰爭(因為任何一個陣營內部都不可能達到真正的思想統一，甚至不可能就簡單形成兩個對立陣營)，何況更高智能的超智能「生物」？或許不太恰當，可以簡單聯想一下目前各種環保主義者、XX主義者以及在各種事務中因價值觀念不同不同人群存在的矛盾，我們就不難想像，若全面戰爭爆發，至少超智能陣營不會只有完全對立人類的一個，在超智能「生物」內部，也會有多個團體互相掐架，有些極端，有些溫和，有鷹派，也會有鴿派，也必會有人類的盟友——那些覺得滅絕人類是錯誤的「人」。（注意這裡不是對超智能套用了道德，而是在我認為所謂的道德是伴隨人類的智力產生的，所以合理地應認為道德是到達一定智力水平後智能的一種體現，一種群體思維方式，僅此而已，那麼對於更高智力水平的超智能，不說道德，他們肯定也會有一種類似於我們稱之為道德的思維方式，用我們會寫出來的話說就是超智能」生物」肯定也會以他們的標準判斷對錯，只是正如我們的道德，他們判斷的標準也會因「人」而異，即多元化）。
至此，我認為大概的推理已經足夠多了，實際上以上推理都預設了人類停滯於目前的水平，但其實就算只討論針對人工智慧的安全技術發展只看目前的輿論環境，我想也不難想像，人工智慧出現那一天，相應的安全技術不說旗鼓相當，至少好於目前，況且還有人類的其他科技進步呢，因此未來實際整體局勢應當趨向好於以上的所有設想的方向。所以總的來說，我是對超人工智慧的出現持有樂觀態度的，或許我們不一定在掉下平衡木後落入永生的吸引態，但至少不會太差，更不會落入滅絕的地獄。
你是把人家打的比方代入到人類世界的概念來分析，然後得出「差不多」的結論。
我這樣打個比方你就明白了：
總覺得太多人是受了翻譯大大名氣的影響。你們也不去原地址好好看看那個網站是什麼鬼。。。
那篇文章說好聽點是科幻小說，說難聽點毫無根據。什麼超人工智慧，就算是強人工智慧也是超出我們現有世界框架的東西。
智能本身的理論體系尚未建立。什麼樣算超智能？如果說和人類一樣的話算強人工，那幾乎可以斷言強人工本世紀是沒多大希望了。人工智慧本質和我們並不一樣，家用電腦的數學運算速度和準確度遠超人類，而人類大腦的識別認知能力秒殺超算。那到底哪邊的智能水平可以說更高呢？哪邊都不是，因為兩者目的不同，無法在同一個體系內比較。
這是人工生命的課題，想想我們人類的智能是怎麼來的：自然選擇，進化的結果。智能是為了更好地生存和適應外部環境產生的副產物。
再來看看有60年歷史的人工智慧學科，從誕生之初人工智慧就擺脫不了人類賦予的設計目的：最優化地執行某些計算任務。到今天也是如此，今後也是如此。我們只會為了自己的方便去生產人工智慧。
人工智慧本質上就和自然界產生的所有，以適應環境為目標的一切智能都不一樣。所以用啥猴子和人類的差距做比方啊，真要比，那用人類和硅基外星人的差距來比還差不多。
於是，各位見過硅基外星人么？沒見過還預測個毛啊？就那三腳貓的毫無依據的「預測」跟yy有區別么？
然後，好吧就算人工智慧是我們造的硅基外星人吧。且不說他們的上帝是我們，而我們沒有找到自己的上帝這點區別，就說說要達到人類智能的級別要什麼水平的科技。
1，要能夠在智能上自我進化，那科技和智能水平得超過人類吧，因為人類科技到今天，也沒有能夠實現人工智慧進化。
2，人類今天的科技成果得益於人類智能，進化到這樣的智力水平，人類用了500到800萬年。
3，有的老爺說了，但是因為電氣特性，人工智慧自我進化速度必然快的多呀。人工智慧發展迅猛就是因為前面說的一大論點：人工智慧生於某種設計目的，今天的一切進展僅僅對此而言。如果不以常見的機械學習領域的識別學習為設計目的，用進化演算法來模擬突變和繁衍。那以現有的全球計算力，沒有個十幾萬年就想進化出智能程序？呵呵。
這個道理就像演算法里space for time的平衡。真正可以識別環境應付各種突髮狀況的智能，沒超長的訓練時間怎麼可能出現。而真正出現的時候，怕也是等到星際文明的階段了。
真正地說來，人類就是容易過於自戀，喜歡沉溺於新奇的恐懼幻想中。且不想想這顆星球孕育我們到今天是足足45億年才完成了一切的工作。而今覺得自己只消50年便能創造出和人類同等水平的智能？
The current "AI scare" going on feels a bit like kids playing with Legos and worrying about accidentally creating a nuclear bomb.
那篇文章，前一半和小時候想練習輕功一樣。每天都跳高一點———第一天還雞賊地故意跳低一點，以保證有長足進步———但是輕功最終沒能練成。技術進步越來越快是沒錯，會不會導致人工智慧在未來4、50念實現則是完全不同的問題，這裡偷換了概念。永動機也曾經熱門過，結果如何呢？AI 科學家們早起更加樂觀，人工智慧大會上宣布過多少次人工智慧即將實現了？找本人工智慧導論看看前言就好了。
後半部分，假設人工智慧實現之後簡直是創造了上帝，現有的物理規律一律可以忽視，因為蠢笨的人是無法理解高級智慧的嘛，現在的做不到的事人工智慧能做到無需證明，愚蠢的人類也證明不了，完美的循環論證。
無論前半段還是後半段，基本思想就一個，現在認為做不到的事情，以後必然能做到，不管多不可思議。人工智慧也好，永動機也好，還是其他什麼熱門科技名詞，都是一樣的。我想說這篇文章真能扯，把我們製造業的工程師置身何地，完全不考慮硬體基礎的發展。按照現在製造技術水平的發展，到2050年人工智慧能驅動機器人行走，達到人類的水平就不錯啦，更奢談驅動計算機創造性的思考。越是頂級的科學專家，頭腦越理想，完全高估了整個人類社會的能力。
雖然我個人也對強AI的出現非常樂觀，但奇點說我覺得比較扯。
我也來做幾個預期:
- 我們人類的智能真有那麼不堪嗎？我覺得人類智能的潛力很大。畢竟，數百年的時間，人類文明得到了長足的發展，而我們生物學意義上的大腦幾乎不可能在這麼短時間內得到了飛躍性的進化（基因層面）。
- 就目前來說，強AI有什麼可以預期的嗎？我覺得是有的。DeepLearning，我覺得是一個開始。我們知道，如果一個模型過於複雜，表達力過強，它很有可能過擬合，得到的結果往往較差。我們最希望看到的，其實是高階而抽象的特徵。而DeepLearning利用了一些學習方法上的技巧，現在已經做出了一些不錯的結果。
- NLP領域。我覺得NLP領域會是強AI實現的突破點，因為文本中蘊含了大量的高階抽象信息。畢竟現在的所謂訓練，每次訓練都要重新訓練一下。如果AI能夠利用文本中的信息，直接構建這些高階抽象，那麼離人類智能也就不遠了。我覺得這會是個轉折點。
- AI的覺醒。我覺得經過上面的階段之後，依然只能算是弱AI，強AI需要有一些自主能力的覺醒。這個過程很難，因為我們並不知道應該改AI賦予什麼樣的屬性，什麼樣的優化目標函數，我們不知道我們存在的意義，也無法推斷AI存在的意義。這裡，唯一的準則就是——AI應當符合人類的當前利益，我們會自發的幹掉我們覺得有問題的AI。AI會在這個階段的人工選擇之後融入人類文明。類似自然選擇的過程，有問題的AI又很大概率會被淘汰掉
- 星際擴散。沒有生命肉體的限制，智能體得以向星際空間擴散。
嗯。先擺明態度。
我贊同指數發展，但是僅限機能，而非智能。
我目光尚未長遠到可以預測那麼遠，我依舊固執的抱著這麼兩個觀點。
觀點一：電腦的發展，存在不可預知的瓶頸。就如同摩爾定律遇到量子效應。
觀點二：和與人類智能之間的鴻溝必然且將長期存在下去。
===========以下是純腦洞及對樓主的交流討論====================
智力差異對理解難度的影響，指數相關倒也不是不對。我深深體會過「不管教別人什麼別人都聽不明白」的感受與體驗————智力差別導致教育無法進行，是會存在的。你和天才之間，智力殘疾和你之間，都是如此。
翻譯很辛苦。
感謝。
這篇文章，用「長生不老」的誘惑來勾引我們，叫我們要鍛煉身體，活得更久。
作者心地挺好的……推薦閱讀：
※CPU 的摩爾定律是不是因為 10 納米的限制已經失效了？10 納米之後怎麼辦？
※為什麼計算機能讀懂 1 和 0 ？
※《黑客帝國》中的先知是人還是程序？