機器學習的科學家如何判斷計算機或是機器人的人工智慧是否黑化，即覺醒但不表露？

01-30

即在machine learning未來發展到較高級階段時某一節點可能產生的結果

首先，機器學習不是玄學，目前其實存在很多種人類能夠理解的機器學習演算法過程：比如決策樹，貝葉斯演算法，基於規則的專家系統等。比如計算機顯著強於人類的下棋領域，計算機所做的也不過是評估更多的走法，從中選擇最優的方案。這種情況下人類專家對這種類型的智能有比較清楚的認識和研究，控制力比較強（可以控制方案生成規則，方案評估函數，訓練數據等，事後還可以檢測學習成果，因為學到的成果也基本上是可理解的。），一般不太會出現黑化的情況。

確實有一些學習成果無法被人類理解的機器學習過程，比如遺傳演算法和人工神經網路。這種學習成果的特點是如果你不實際跑一跑這東西，它裡面的遺傳因子或權值對你是沒啥意義的，就是一坨符號或數字。所以問題就來了，面對這種無法理解和預測的智能體，如何理解並預測它的行為？也就是這裡邊說的防止它黑化？我覺得不存在穩定可靠的演算法來幹這種事兒，就像是圖靈停機問題一樣，涉及到判斷一個程序是不是有某種行為的問題，通常都是不可計算的……

所以更重要的是，我們該怎麼辦？其實這不是機器學習科學家面對的新問題，人類處理類似的問題已經有好幾千年的歷史了。一個人如何評判另一個人是好人還是壞人？我們是不是應該僅僅因為它有可能黑化，就將它消滅？我們自己種族的生存是不是這個宇宙中唯一重要的事情？一旦出現結構和我們迥異的智能體（包括但不限於：機器人，外星人，人猿星球等等），我們如何保護自己？為了保護自己，我們會走多遠？

在這個倫理議題下也有好多很不錯的科幻小說，比如說：

《三體》

《安德的遊戲》

《死者代言人》

《二百歲的壽星》

《我，機器人》

其實也沒什麼，電腦最大的優點在於他不會出錯，而電腦最大的缺點也就是它永遠不可能出錯，其實從某種觀念上說，我們所謂的靈光一現，所謂的創意創新，其實便是人腦的「錯誤」，人腦就神奇在此，他是允許錯誤存在的，而且對它來說還轉化成了一個好事，所以說，以現在的電腦的製作方式與其不會出錯的特性來說，再厲害的電腦也差了人腦一大截