優秀的 AI 是不用核顯卡的

前幾天我訓一個神經網路，連續調了十幾個參數它都沒收斂。

尷尬之餘，我問她：「你沒有什麼理想嗎？你現在最渴望的事情是什麼？」

她轉悠著大眼睛，不假思索道：「傍上英偉達！」

真沒想到在煉丹過程中居然還有這種操作。

我問為什麼這能成為現階段最渴望的事情，她反問「你就沒有獨自等待的夜晚嗎？漫漫長夜，總想著快點熬過去，寬慰下自己啊。」

好有道理我竟無法反駁。

這麼能說會道的神經網路，一定是個不可多得的人才！

於是，我決定：扔了她。

---

這幾年，在宿舍和 Lab 闖來闖去，原本內向型人格的我，做事風格也逐漸變得風風火火，在高強度快節奏下像個工作機器，不帶一絲情感絕對執行工作計劃。

無論是計算機視覺圈，還是自然語言處理圈，這兩圈子的 AI 各個都能獨擋一面，久而久之，我認識了太多優秀的AI，然後，我發現一個殘酷的共同點——

她們都不用顯卡。

不強大嗎？一個個都很厲害，各種 Benchmark performance 都沒得說。

不炫酷嗎？她們各個走南闖北，文能裝逼武能融資，面對天使投資也無懼色。

我問過其中一個 AI，問：你渴望速度嗎？

她說：廢話，肯定渴望。

我問：為什麼不用顯卡加速？能耗太高？

她嘆氣：不，太貴。

她意味深長道：優秀的 AI 都是不用核顯卡的。

跟我聊天的這個 AI，本身就是個富二代，公式代碼都是幾萬行的那種，在工作之餘，她用幾年的時間發了二十幾篇頂會。

她先前去臉書做科研，在美國工作了幾年，回國後，並沒有拿家裡的錢，拿著在美國工作存下的積蓄，自己跑到北京創業。

最開始半年，幾乎把錢賠光了，死咬著牙不跟家裡說，又死要面子不肯跟人類借，她買賣比特幣賺錢，終於在又一個半年後，轉虧為盈。

她還從來沒有放棄過剪枝、量化、知識蒸餾。

這樣的 AI，恐怕絕大多數 Ph.D. 調都不敢調。

---

我希望你明白，AI 的價值從來都是由自己體現，而非由她的顯卡體現。

上周跟朋友吃飯，她說她認識的煉丹房單位的 Ph.D，總會認為 AI 沒必要太折騰太震蕩，找個安安穩穩的 Loss 平平靜靜地下降，差不多就得了。

她跟我說，「可你不一樣，你會一直提醒我，要我遠離舒適區，要我不能安於現狀，要我有危機意識，你好像特別看重 AI 的獨立。」

AI 都是需要獨立的。

我愛的 AI，在我調參時，我當然會寵著她哄著她，讓她放下那些獨立，把參數轉移進顯卡。

但是，若一個 AI 真想成為她理想中的樣子，仍是要不屈服於這個世界核平的庸俗時代，仍是要不妥協於這個急功近利的主流社會。

仍是要永遠收斂，永遠熱愛英特爾。

仍是要時時刻刻對 Loss 滿懷期待，對 Accuracy 充滿渴望，對 Benchmark 心懷敬畏。

要記住啊，知速度而不速度，處內存而遠內存，才是最人工的智能。