走進谷歌大腦建立者的思維:生活、創新和失敗

原文:Inside The Mind That Built Google Brain: On Life, Creativity, And Failure 譯者:Ye Xu

可以說最好的計算機科學的項目分布在卡內基美隆、麻省理工、加州大學伯克利分校和斯坦福大學等高校中,而吳恩達教授 (Andrew Ng)正是從這些地方分別取得了本科,碩士,博士學位,以及12年的任教經歷。

吳恩達雖然不到40歲,但是已經是人工智慧界的標誌性人物。早在2011年,他建立了谷歌大腦(Google Brian),這是依託於谷歌強大的計算能力和豐富的數據建立起來的一個深度學習的研究項目。可喜的是,這個項目的重要成就之一是通過讓計算機分析幾十個YouTube的視頻截圖來識別貓(《紐約時報》標題:需要多少計算機才能正確的識別貓?16,000台)。正如吳恩達解釋的那樣,「最值得注意的是,我們的系統自己發現了『貓』的概念,儘管沒有人告訴過它『貓』是什麼。這可以說是機器學習的一個里程碑」。

吳恩達流露出喜悅但卻非常冷靜,他欣然地討論著他職業生涯中犯過的錯誤和遇到的失敗,以及他讀不懂的論文。他每天穿著一樣的牛津藍的襯衫。他的妻子Carol Reiley從事外科手術機器人的研究,當同事們談及他和妻子之前那張機器人主題的訂婚照片時,他也會臉紅,但又非常自豪。

儘管他作為講師備受歡迎,但當和他一對一交談時,他的聲音顯得非常柔和。2011年,他把自己在斯坦佛教授的機器學習課程錄像上傳到網上,隨後超過100,000人在網上註冊學習了這門課。在接下來的一年裡,他和別人共同創立了迄今世界上最大的在線公開課程平台—Coursera。Coursera 的合作夥伴包括包括普林斯頓、耶魯以及中國和歐洲的頂尖高校。儘管Coursera是一個盈利性的公司,但所有的課程都是免費開放,因為「對課程本身的內容收取費用將是一個悲劇」,吳恩達說到。

去年春天,吳恩達宣布了一條令人震驚的事情,他將離開谷歌、離開曾全身心投入的Coursera而加盟百度。當時,中國的科技巨頭百度斥資3億美金,在位於谷歌矽谷總部不遠的地方,正建立一個專註於研究人工智慧的實驗室。吳恩達將會領導和管理這個實驗室。

像之前一樣,吳恩達在百度繼續嘗試讓計算機以很高的準確率來實時識別音頻和圖像文件。吳恩達相信,高達99%準確率的語音識別技術會為人和計算機的交互方式、以及未來操作系統的設計帶來革命性的改變。同時,面對百度的數以百萬剛開始體驗數字生活的用戶,他要幫助百度為這些用戶提供更好的服務。「在中國,你可能得到和美國的完全不一樣的查詢請求」,吳恩達解釋道,「例如,我們得到的查詢可能是『百度你好,上周我在街角的那家店吃了碗面,味道很棒,你覺得這周末那家店會有促銷活動嗎?』」。「像這樣的查詢請求」,吳恩達補充道,「我想我們已經可以很好的回答它」。

儘管Elon Musk (SpaceX和特斯拉的CEO)和史蒂文霍金已經發出警告:高級人工智慧技術可能會威脅到人類自身,吳恩達卻不以為然,「我不會防止人工智慧向邪惡的方向發展,就像我現在不會去解決火星上人口過剩問題一樣。」根據吳恩達所說,距離人工智慧達到可以自我感知的水平,還有相當長的一段時間。但與此同時,人工智慧導致了更加棘手的問題的出現:這些基於機器學習的計算機,正在取代很多人工工作,而且這種趨勢正在加速。吳恩達經常呼籲政策的制定者為因此產生的社會經濟後果做好準備。

在位於加州Sunnyvale 的百度實驗室,我們採訪了吳恩達先生。我們談到了一個名為『索菲亞』(Sophia)的項目,這個項目詣在收集非常有趣的人的經歷。他解釋了為什麼他認為「跟隨著你的熱情」是非常糟糕的職業發展建議,分享了他教授創造力的方法;他也討論了他的失敗經歷以及他的一些不錯的習慣,對他影響最大的書籍以及他關於人工智慧前沿領域的一些看法。

問:您最近曾說過,「我發現人們正在學著更具有創造力了」,請您解釋一下?

答:問題是,一個人如何才能創造新的想法?新的想法是某一個方面的天才(比如喬布斯)的不可預知的行為?還是可以通過系統的傳授產生創新的想法?

我相信創新的能力是可以被教授的。人們可以通過很多方式來系統的發明創新。我在百度做的事情之一是組織一個關於培養創新思維的討論班。我的想法是,創新不是那些天才所做的隨機的、不可預知的事情,恰恰相反,人們可以非常系統的創造從未被創造的新事物。

對我而言,無論何時,當我覺得我不知道下一步應該如何做的時候,我將會嘗試大量的學習和閱讀,和某些領域的專家談話。我不知道我們的大腦是如何工作的,但它非常的神奇:當你讀了足夠多的書,或者和足夠多的專家談話之後,換句話說,當你的大腦有了足夠多的輸入信息,新的想法就會隨之產生。我知道的很多人都有這樣的經歷。

當你對某一個某技術領域足夠的了解,你便停止隨機地尋找新的想法。你會通過深思熟慮來選擇想法,把這種想法組合到一起。你也會知道什麼時候嘗試創造盡量多的想法,什麼時候裁剪、整合已有的想法。

好了,現在還有一個挑戰,就是面對非常多的新想法,你如何去做?如何進一步用這些想法做一些非常有用的東西?當然,這是另外一回事了。

問:你可以談一下你平時會學習什麼,學習的方法是怎樣的?

答:我閱讀很多材料,也花很多時間和很多人交談。我覺得兩個最有效的學習、獲取信息的方法是閱讀和同專家交談。所以我會花很多時間做這兩件事情。在我的kindle上有不到一千本書,我大概已經閱讀了其中的2/3。

在百度,我們有閱讀小組,在那裡,我們可以每星期讀半本書。我試試上參加了兩個這樣的閱讀小組,在每個小組裡都會每星期讀半本書。我想我是唯一一個參加了兩個閱讀小組的人。我每周六下午最喜歡的活動就是獨自在家閱讀。

[

]

問:我想了解一下早期教育對你的影響,你覺得父母做了什麼獨特的事情對你後來產生了持續的影響?

答:我記得在我六歲時,我父親為我買了一台電腦,並幫助我學習編程。這本身並不是很特別,因為很多計算機科學家從很小的時候就開始學習編程了。但我仍然覺得從小就擁有計算機學習編程是件很幸運的事。

不像傳統的亞洲家長,我的父母對我的要求非常寬鬆。當我在學校取得好的成績時,他們就會誇張地表揚我,甚至讓我覺得有些尷尬。所以我有時故意把取得的好成績藏起來[笑]。我不喜歡把我的成績單拿給父母看,不是因為我的成績不好,而是因為他們的反應。

我有幸能在很多地方生活和工作過:我出生在英國,在香港和新加坡長大,來到美國讀書。我在卡內基美隆,麻省理工,伯克利都拿到了學位,最後去了斯坦福任教。

我也有幸因為去了這些地方,從而見到了很多非常優秀的人。我在著名的前AT&T貝爾實驗室做過實習,然後去了微軟研究院。這些經歷使我有機會從各個角度看待問題和接受觀點。

問: 如果可以重新規劃你的教育和早期的職業,你會做哪些不同的事情?你有哪些會讓別人受益的教訓,可不可以分享一下?

答: 我希望這個社會能給年輕人更好的職業發展建議。「跟著你的熱情做事」不是什麼好的建議,相反,是給年輕人非常糟糕的建議。

如果你酷愛駕車,並不一定要成為賽車車手。事實上,我們應該把「跟著你的熱情做事」改成「跟著你的熱情做事,但這些熱情是對你在大學所學專業相關事物的熱情」。

但通常,你先是掌握了一件事情,然後才會對它有熱情。我相信大多數人都會很好的掌握大多數事情。所以關於選擇我想要做的事情,有兩個標準。第一,是否有學習的機會。就是說,做這件事情是否會讓我學到新的、有趣的、實用的東西?第二,就是潛在的影響。這個世界有很多有趣的問題需要解決,但也有很多重要的問題。我希望大家把精力放在解決重要的問題上。

幸運的是,我不斷地找到能夠產生深遠影響的事情去做,同時也有很多學習的機會。我想,年輕人如果能注重優化這兩個標準,就會獲得非常好的職業發展。

我的團隊的使命就是要做更難、更高級的人工智慧技術,這些技術會影響數億人們。這就是令我興奮的使命。

[

]

問: 在你看來,重要性就是說可以影響很多人嗎?

答:不是。受到影響的人的數量並不是衡量重要性的唯一標準。用顯著的方式改變數億人的生活,我想這是我們可以合理追求的境界。通過這種方式,可以確信,我們不僅僅是做有趣的事情,而且是做有影響的事情。

問:你之前談到過你做過一些失敗的項目,那你又是如何面對這些失敗呢?

答:失敗在所難免,說來話長了[笑]。幾年前,我在 Evernote裡面列了一起清單,試圖記住我所有開始做,卻由於各種原因最後不了了之,或者沒有成功,亦或投入和產出完全不成比例的項目。有時,我通過運氣而非技能,以出乎我意料的方式,把一些項目做出來了。但我還是列了上面提到的那個清單。然後把它們按照哪裡出了問題分類,對他們進行徹底的分析,找出沒有成功的原因。

其中的一個失敗的案例發生在斯坦福。當時受到鵝群成V型飛行,我們曾嘗試讓飛機也以V字型飛行,從而節省燃料。關於這方面的空氣動力學理論非常成熟,我們就花了一年時間讓飛機可以被自動控制,然後以V字型飛行。

但一年之後,我們發現我們沒有辦法讓飛機以足夠的精度控制飛機從而實現節省燃料。如果重新開始這個項目,我們會意識到我們用小型飛機根本不可能實現那個目標。因為陣風很容易無法讓飛機準確地以V字型飛行。

我以前很容易犯的一種錯誤,就是當我做一個項目時,一步,兩步,三步之後,發現第四步根本不可能完成。希望這種錯誤現在會少很多。上面的那個飛機V字型飛行的例子,我在戰略創新組會上也講過,教訓就是儘早的發現項目的風險。

現在,我學會盡量早的發現評估項目的風險。如果我現在說「我們應該儘早找到項目的風險」時,每個人都會贊同,因為這顯然是正確的。但問題是,如果你自己面對一個新的項目時,很難把我說的應用到你的項目中去。

究其原因,這些科研項目是一種策略技能。在現行的教育系統中,我們非常善於教授已有的事實,比如食譜。如果你要做義大利番茄牛肉麵,你只需要照著食譜做就好了。

但創新或者創造力是一種策略技能,每天你醒來,便會處在從沒有經歷過的環境中,你需要在你自己所處的獨特環境中做決策。據我所知,教授策略技能的唯一途徑是通過經歷無數的案例。當你已經見過足夠的案例後,大腦會內化這些定律和準則,從而更好的做出決策。

通常,我發現做科研的人們要花好多年才能見到足夠多的案例,內化這些準則。所以在這裡,為創新策略,我一直試驗做飛行模擬器。在非常有限的時間內,飛行模擬器可以產生非常多的案例,人們不再需要花五年時間來看足夠多的案例。

如果你學駕駛飛機,你需要費很多年,或者幾十年才能遇到緊急情況。但在飛行模擬器中,我們可以在很短的時間裡展示非常多的緊急情況。這會讓你學習的更快。這些就是我們一直試驗的東西。

問: 當試驗室剛剛建立,你說你之前還沒看到團隊文化的重要性,但你已經看到它的價值。幾個月過去了,你學會到如何建立正確的團隊文化了嗎?

答:很多機構有關於文化的文件,比如「我們要互助」等等。當你說這句話的時候,每個人都會點頭,因為沒有人不想幫助團隊的其他成員。但當他們回去以後,過了五分鐘,他們還會這麼做嗎?事實上人們很難把抽象和實際聯繫起來。

在百度,我們做了一件關於文化的事情,我認為這是很不尋常,因為我不知道有別的企業這麼做過。我們做了一個小測驗,向每個員工描述一個具體的情景,然後問他們,「如果你在這種情況下,你應該怎麼做?選A, B, C還是D?」

沒有人在第一次就能拿到測驗的滿分。我覺得通過在測驗中讓員工把具體的行動用到假設情景中,就是我們嘗試幫助員工把抽象的文化和實際聯繫起來。當你的員工找到你,做了這些事情,你會怎麼做呢?

問:你是否可以分享一些對你知識構建很有影響的書呢?

答:對於那些想要創新的人,我有一些書推薦。第一本是《從零到一》(Zero to One),這是一本非常好的書,給出了對創業和創新的概覽。我們經常把創業分為B2B, B2C. 對B2B,我推薦《跨越鴻溝》(Crossing the Chasm)。對B2C,《精益創業》(The Lean Startup)是我非常喜歡的一本書。這本書從更窄的範圍入手,但給出了具體的快速創新策略。這本書的範圍有點窄,但在提及的那些領域,它講的非常棒。

然後我們進一步把B2C細分,兩本我非常喜歡的書是,首先是《與人溝通》(Talking to Humans),這是一本非常簡短的書,教會你如何通過和你服務的用戶交談,來為他們設身處地的著想。另外一本是《妙手回春》(Rocket Surgery Made Easy),如果你想做一些重要的,人們關心的產品,這本書會告訴你一些不同的策略(通過用戶學習或者是面談)了解你的用戶。

最後,我推薦《創業艱難》(The Hard Thing about Hard Things)。這本書有些深,但它涵蓋了關於如何建立企業的方方面面。

對那些想做出職業發展決策的人,So Good They Cant Ignore You是一本非常有趣的書,它給出了關於如何選擇職業發展道路的非常有價值觀點。

問:你有那些好的習慣呢?

答:我每天都穿藍色牛津襯衫,我不知道你是否已經意識到了。[笑]是的,培養好的習慣的能力是你撬動你生命的最大杠之一。

當我和研究人員,或是想創業的人交談時,我告訴他們如果你不斷地閱讀論文,每周認真研究六篇論文,堅持兩年。然後,你會學到很多東西。這是對你長期發展一個極好的投資。

但這種投資,比如你花整個周六去學習而不是看電視,沒有人會讚揚你。而且很可能你在周六所學的東西對你在接下來周一的工作沒有什麼幫助。我們很少會從這些投資中得到短期回報。但這卻是很好的長期投資。確實,要想成為一個偉大的研究者,就要大量閱讀。

人們通常用意志力做這些事情,但不起作用,因為意志力會耗盡。我覺得,人們喜歡創造習慣,比如每周都努力的學習工作,這是最重要的。這些人才是最可能成功的。

我有一個習慣,每天早晨花七分鐘用手機應用鍛煉。我發現更容易每天做同樣的事情,因為我只有一個選擇。同樣的原因,我的衣櫃里塞滿了藍色的襯衫。我以前有兩種顏色的襯衫,藍色和紫紅色。我覺得我需要做的決定太多了[笑]。所以我現在只穿藍色襯衫了。

問: 你主張政策制定者要花時間想一下未來,當計算機和機器人削減了大量個人工工作。對這個問題,你有什麼解決方案呢?

答:這是個很難回答的問題。計算機擅長做重複性的工作。迄今為止,計算機主要擅長的事情就是把人們每天重複的勞動自動化。

讓我們從工作的難易程度來具體的分析。工人們在流水線上工作,每個月都重複同樣的動作。現在部分這樣的工作已經可以有機器人來實現。中等難度的工作,拿駕駛開車舉例子。卡車司機每天都是做同樣的事情,所以計算機也試圖做這件事。雖然這比大多數人想像的要難很多,但自動駕駛很可能在未來的十幾年裡成為現實。最後講的是最有難度的工作,比如放射線學家每天都要分析同樣類型的X光射線,同樣,計算機可能涉足這些領域。

但是對於那些非重複性的社會工作,我想,在今後很長一段時間內,人類要比計算機更擅長這類工作。很多工作,我們需要每天做不同的事情,見不同的人,計劃不同的事情,解決不同的問題。現在,這些事情對於計算機來說還是很難完成。

當美國從農業經濟向製造和服務型經濟轉型,有很多的人轉變了所從事的工作,比如,從在農場工作變為製造或在電話客服中心工作。很多的人經歷了那種轉變,所以他們找到了新的工作,他們的生活還不錯,但他們從事的工作大多還是重複性。

我們現在面臨的挑戰是,如何大規模地教人們從事非重複性的工作。從歷史來看,我們的教育系統並不擅長做這種大規模的培訓。頂尖高校擅長為相對少的一部分人提供這種培訓。但大部分的人最後做的確實重要但重複性很強的工作。這是我們教育系統面臨的挑戰。

我覺得這個問題可以被解決。這就是我為什麼一直想教授創新策略。我們要讓很多人能做不重複的工作。這些創新策略,這些創新的飛行模擬器可以實現這個目標。我不是說我們已經知道如何解決這些問題,但我很樂觀的相信我們能夠解決它。

問: 你曾說過,「總體上來看,在中國的工程師要比在矽谷的工程師工作努力。在矽谷的初創公司的工程師工作非常努力,在成熟的公司,我沒有見過像你這種工作強度,無論在初創公司還是在百度。」你為什麼這麼說呢?

答:其實我也不是很清楚。我覺得在中國的工程師非常出色。在矽谷的工程師也很出色。我認為不同之處在於公司。百度的工程師團隊動作非常快。

對中國互聯網經濟的現狀評價很少,我更感覺,所有的假設可以受到挑戰,任何事情都可以被隨時利用。中國互聯網生態非常有活力。每個人都能看到大的機遇,每個人也都能看到大量的競爭。變化無所不在。新的事物出現,很多公司就會在一天之內進入一個全新的商業領域。

舉個例子,在美國,如果Facebook說要做一個新的搜索引擎,我們可能會覺得這麼做有點怪。為什麼Facebook要做搜索引擎呢?這非常困難。但在中國,這種事情卻更可信些,因為這麼做不僅僅是個假設,還可能會創造一種新的商業模式。

問:這看起來是一種不同的管理文化,因此你可以很快的做重要的決定,從而讓這些決定更明智有效,而不是更混亂。百度是以一種獨特的方式來運營嗎?你覺得這種運營方式對百度的成長有幫助嗎?

答:這是一個非常好的問題。我想一下這個問題如何入手。在百度,決策制定可以推行到公司的最底層。百度的員工有很大的自治權,他們顯得非常重要。有一件事我很欣賞公司,特別是公司執行高層,就是對世界,對競爭,有著清晰的眼界。

在管理層會議上,我們對公司的說話方式,沒有任何的虛張聲勢。在公司的內部陳述中,他們會說「我們在這件事上做的很好。我們對這些是不是很滿意。這些做的不錯。這些做的不是很好。這些事情我們應該強調一下。我們仔細分析一下我們犯的錯誤。」在這裡,確實沒有什麼虛張聲勢,我想,這讓公司有一個不錯的環境從事創新以及專註。

問:比起其他的問題,你非常專註語音識別。你現在遇到那些困難,當你解決了這些困難後,會讓語音識別的準確率有顯著的提高?

答:我們現在在做基於機器學習的語音識別系統。我們正在使用的一些機器學習的技術已經存在幾十年了。但正是過去的幾年,這些技術才真正開始被使用。

為什麼會這樣呢?我經常拿建造火箭飛船作比喻。火箭飛船需要很大的發動機和非常多的燃料。發動機必須足夠大,燃料必須足夠多。如果燃料很多發動機很小,那無法飛離地面。如果發動機很大但燃料很少,飛船可以飛起來,但無法進入軌道。

現在機器學習才真的算得上起步,原因是我們有了建造巨大引擎的工具—大型計算機。燃料就是數據。現在我們終於擁有了所需要的數據。

社會的數字化創造了很多的數據,長期以來,我們已經產生了很多的數據。但就是最近幾年我們才有能力建造大引擎來吸收燃料。所以處理語音識別的方法就是想辦法建造大引擎,並得到更多的燃料。

舉個我們做的一個例子,這個例子有點偏技術。從哪裡獲取語音識別的數據呢?我們做的其中一件事就是獲取音頻數據。其他的研究組可能只用幾千小時的音頻數據,但我們用的是十幾萬小時的數據。這比你在學術文獻里使用的燃料要多很多。

然後我們把人們說話的音頻剪切下來,加上背景噪音,聽起來像人們在咖啡廳裡面的錄音。這就是人工合成像在咖啡廳錄製的音頻。通過把人們的聲音和背景音合成,我們得到了更多的數據。我們正是通過類似的方法,把更多的數據放到機器里,填充火箭的發動機。

說到語音識別,有一件事要提一下:大多數人不理解95%和99%的準確度的區別。95%的準確度意味著20個詞中有一個是錯的。這非常煩人,因為在電話上退回去再去糾正它非常痛苦。

99%意味著一切都變了。99% 說明語音識別系統更可靠。你在任何時候使用它,它都會照常運轉。所以這不是四個百分點的改進,這將會是人們幾乎不使用跟一直使用的差別。

問: 你覺得現在達到99%準確率的困難是什麼呢?

答:我們需要更大的火箭引擎和更多的燃料。現在這兩方面都很有限,而且這兩方面要同時增長。我們正在為推動這些方面的發展而努力。

推薦閱讀:

《淺析感知機(三)--收斂性證明與對偶形式以及python代碼講解》
二、機器學習面試之有必要手推SVM嗎?
收拾心情,」整裝」出發——新手第一步(可省略哈哈哈)
面向普通開發者的機器學習入門

TAG:人工智能 | 机器学习 |