從世界冠軍到數據科學家 他是如何煉成的？ | 硬創公開課

大數據這個詞我們聽得太多了，可是很少有人意識到，隨著互聯網的發展，今時今日的這些「大」字究竟已經意味著一種什麼樣的量級。除去少數嘩眾取寵的使用這個詞的公司外，那些真正擁有大數據的企業，經手和處理的都是一些普通人可能窮極一生也接觸不到的數字：微信朋友圈每天會上傳10億張圖片，支付寶日交易額峰值超過200億元人民幣，京東每天上傳幾百萬張新的商品信息圖……

這些數字對於急需數據訓練的人工智慧演算法來說是莫大的好消息。也意味著數據對於人工智慧的重要性正在隨著計算能力、演算法的發展而呈直線上升。但是怎麼在浩如煙海的數據中篩選出對我們真正有用的那些？又如何通過分析這些數據做出對自身有利的決策？這就是數據科學家們做的事了。

本期硬創公開課，我們邀請到了iPIN的首席科學家潘嶸，他於2004年底獲得中山大學理學博士學位後，分別於2005年2月~2007年8月在香港科技大學，以及2007年8月~2009年9月在美國惠普實驗室，進行數據挖掘、人工智慧等方面的研究。2009年10月通過百人計划進入中山大學，任職於計算機系。2014年起任iPIN首席科學家。

潘嶸博士在2005年，參加美國計算機學會（ACM） 舉辦的數據挖掘國際比賽（KDDCup：數據挖掘方面每年全球最重要的比賽）。當年比賽的主題是搜索引擎查詢的分類。最終獲得全部三個項目（包括查詢分類演算法的精確度、性能以及創新性）的第一名。已獲兩項美國專利授權。已在相關領域的國際一流學術會議、期刊和雜誌上發表超過二十篇學術論文，其中包括Artificial Intelligence, IEEE Transactions on Knowledge Discovery and Data Engineering, ACM Transactions on Information Systems, AAAI, IJCAI, ACM SIGKDD, UAI, ICDM等等。並且是多個雜誌、會議的審稿人（程序委員），包括IEEE Transactions on Knowledge Discovery and Data Engineering，IEEE/ACM……AAAI，IJCAI，ICDM，WSDM，CIKM，ECML，ACML，BMWT，AAIM，PRICAI，WI，WINE等等。

如果你也想跟我們近萬學霸精英用戶做近距離交流，也想成為我們的產業界首席科學家分享嘉賓，請發郵件至lizongren@leiphone.com

▎學界你博士畢業後，先去了香港科技大學，你的的核心研究方向是什麼？

這裡先要感謝我的博士導師李磊教授和姚正安教授，雖然他們原來都不是數據挖掘和機器學習領域的，但是他們對我博士研究方向的寬容度和實際指導都是讓我非常感激的。我的博士研究方向是基於核（Kernel）的機器學習演算法的研究。之後，到了香港科大，在楊強老師的指導下，我把核方法運用到基於案例推理（Case-based reasoning）。

同時，我們也在做搜索引擎的查詢分類；並且與NEC公司合作，我們研究了半監督的序列關係學習演算法並將其應用到室內無線定位。其中，查詢分類的問題來自於像Google、百度、Yahoo、微軟這些做搜索引擎的大公司的需求，目標是要提升廣告投放的精準度和搜索結果的排序質量。在港科大的經歷，我要感謝楊強教授對我的指導和幫助，在那段時間裡，鍛煉和提升了我在數據挖掘、機器學習方面的研究能力，例如：選方向、發現研究點、論文寫作能力。

後面去了惠普實驗室。因為什麼拿到入場券？

很幸運的在港科大我們參加了2005 ACM KDDCup比賽並且獲得全部三項的第一。的確對我的研究方向和成果產生了很大影響，也因此使我在後面獲得了惠普實驗室工作的機會。

在惠普實驗室你的核心研究方向是什麼？

我到惠普實驗室參與的項目是一個叫變色龍項目，實際上是個性化推薦演算法的研究項目，當時還是PC時代，全球市場中5台個人電腦就有一台是HP生產的，在美國，這個份額更加是1/4，只要在用戶許可的情況下，就跟今天的移動互聯網類似，HP是可以收集到用戶在PC上的各種行為數據，然後為用戶提供個性化推薦服務，從而更好的提升用戶體驗，在當時，推薦系統演算法使用的數據主要是用戶打分數據，也就是說，用戶在消費完某個產品或服務後，打了評分，推薦系統才能比較的有效工作。在我參與變色龍項目的過程中，我們發現大部分用戶行為都缺少打分這個過程，這其實也很合理，很多人消費或體驗完也不一定會打分，所以我提出來如何在沒有用戶打分的情況下，照樣能做推薦，後來我提出了One-Class Collaborative Filtering (OCCF) 演算法，發表在ICDM』08上，之後為了解決計算效率的問題，我又提出了新的OCCF的加速演算法，被KDD』09接受了。

在惠普實驗室工作的經歷進一步加強了我進入相對陌生研究領域的能力和信心，包括：解決應用問題的能力、數學基礎、演算法分析能力、工程能力。

為什麼當時從惠普回來後又選擇去學校任教？

一個是我自己個性的原因：喜歡獨立、有自主性的做研究，也不喜歡處理複雜人際關係。另外一個是家庭和工作地點的原因，還有就是中山大學的寬鬆、自由的學術氣氛，良好的研究條件和環境，學生也非常的優秀。

在中大任教的經歷對iPIN首席科學家的工作有什麼影響和幫助？

回到中山大學後，結合我過往在港科大和HP實驗室的工作經歷，我實驗室的研究主要研究方向協同過濾、信息檢、自然語言處理等。幾年下來，使得我在相關領域的研究經驗有進一步的積累，同時，我在挑選和培養學生方面也積累了一定的經驗。還記得我剛進入研究生階段，我的導師姚正安教授就跟我們說這樣一句話，「沒有不好的學生，只有不好的老師」。

當時我覺得姚老師怎麼這麼敢說，不過的確他對我的幫助非常的大，同時我們的博士同學的研究方向的確也不太一樣，姚老師的話我一直記得，到我自己當老師的時候也用他的這句話來要求自己，恰好，我是做個性化演算法研究的，因此，我希望盡量做到因材施教，這鍛煉我的人才培養方面的能力。

在中山大學，我主要講資料庫、數據挖掘、信息檢索等課程，結合自己的研究方向，每年我都希望在一些課程里添加一些新的內容，希望讓同學們了解到比較前沿的知識，同時也有利於我梳理自己的研究。

▎產界顏水城這樣的學術大牛在談到自己剛從學界轉到工業界時都不免感到忐忑，您2014年時投入工業界，成為一家創業公司的CDO，決心來自於哪裡？

其實我自己也同樣忐忑，不過由於我自己前面一些經歷的緣故，喜歡解決實際應用問題，或者說以解決實際問題為導向。另外，在目前的大環境下，大學裡碰到的現實問題是工業界才有真實的大數據和更加真實的應用問題。

您第一次覺得可以勝任產業界首席科學家這個Title是什麼時候？因為哪個標誌性事件？

說實話，我不覺得我勝任這個title，或許這個問題應該由我的partner或者將來再說，謝謝！

在學術界做和產業界做，具體哪裡不一樣？哪裡一樣？

我目前的方向是數據挖掘、機器學習、自然語言處理，嚴重依賴大規模數據。在問題提出的方面，工業界更實際、更直接；學術界則更注重基礎研究。

在問題解決的方面：工業界更多的會關註解決方案的成本與效果之間要取得好的平衡。學術界更多的會在演算法的創新方面。

從學術里的青年科學家到創業公司首席科學家，成長過程中有遇到什麼困難沒？

其實並不一定是叫成長過程，可能是如何適應角色的轉變。

首先是要有好的合作夥伴，必須在人品、價值觀取得比較一致的看法，同時角色上要有互補。另外，在大學裡，主要是培養人才，輸送給社會。比如在iPIN，組建團隊是核心要務，必須同時抓人才選拔和人才培養兩個方面。同時，上面也說到了，企業是非常注重成本的（包括：金錢、人力、時間），你的任務就不是僅僅為了發paper，更重要是考慮你的解決方案是否可以落地，如何落地的問題。

一個真正的公司，對於一個首席科學家的要求是怎樣的？

我目前是達不到的，我覺得首先是個人學術水平要有足夠的深度和廣度。同時要不斷的學習，能理解實際的應用問題。並能夠轉化為機器學習的問題，提出、篩選各種解決問題的方案，還要了解學術界、工業界發展趨勢，洞察未來的研究、技術發展方向，有自己的判斷力，提前布局。

作為大數據方向的研究者，選擇產業落地方向時如何下手？

首先我想簡單介紹一下iPIN的幾個產品：

完美志願，HaoHR和羅盤。完美志願是一款能為高考生量身定製志願方案、提前了解就業前景的高考志願填報應用。通過分析過去4000萬大學生使用獨家資料庫及創新演算法，幫助考生更科學更高效地選擇合適的大學和專業。

haoHR是一款全智能匹配更多合適簡歷，釋放HR簡歷甄選工作的產品。利用語義分析解讀職位需求智能人才畫像，幫助HR在短時間找到更多與職位描述相似經驗的人才。從而簡化HR簡歷尋找和甄選工作，讓HR把時間花在更有價值的工作上。

羅盤是一款根據用戶工作經歷自動匹配機會並進行職業規劃的產品。通過人工智慧語義分析技術深度解讀求職者過往經歷，全面、精準、快速地幫助求職者找到更多更好的工作機會。利用大數據分析上億人職業歷程及市場趨勢，及時、省心地幫助求職者做出職業方向決策判斷

以上就是這三款產品，其實，這幾款產品雖然在產品形態上很不一樣，但是它們的內核都是職場人才數據的分析與挖掘，在2013年，我們就確定了利用人才大數據，構建首張中國經濟圖譜。並在2014年初步完後，之後我們才不斷研發相關的產品，例如以上的例子。

請以一個具體例子舉例，數據挖掘做到何種程度，才能真正產生價值？————這些數據如何經過採集、聚合、構架，到機器學習、自然語言處理、複雜數據分析、預測模型、大規模運算、可視化、數據應用等步驟成為最終用戶覺得有價值的數據。

我具體說說完美志願，它是2015年最多人使用的高考志願填報工具，能量身定製志願方案、提前了解全國2500多所大學10萬多個院系的詳細就業信息，被諸多用戶稱為高考志願神器。完美志願由人工智慧公司iPIN的科學家團隊傾力打造，採用志願填報黃金法則，採取「錄取概率預測-個人偏好篩選-性格職業匹配-就業前景分析-志願策略選擇」五個步驟，這五個方面是我們根據用戶調研情況進行分析後得到的用戶真正的需求，實現這些，完美志願這個產品才能幫助高考學生和家長更科學更合理地選擇志願，真正做到為夢想導航。

是一套方法論通用還是有一些獨家心得？

首先，自己要熟悉或有類似經驗，要有相關的數據、有市場、競爭程度適中（教育市場和市場競爭都要有很大的代價），要學會順勢而為，因為在實際創業的過程中有偶然因素、要會變通。

學生提問：怎麼想出來某個演算法的。我常常看論文會發現一些很巧妙的演算法，除了考慮演算法的應用場景之外，更想知道一個演算法怎麼誕生的？

其實這是個可能很長的過程，我們常說站在巨人的肩膀上邁出一小步。首先，我們要爬上巨人的肩膀，爬得上去，邁一小步才有意義。所以我們要了解某個（或某些）領域過往的工作，領域內的主要的、有影響力的研究人員有哪些。頂級的會議、期刊有哪些，現在互聯網這麼發達，了解這些應該不是太難。這裡頭過去的大量的書籍、文獻需要我們去閱讀、吸收、消化的。

這個過程中涉及到選方向、發現研究點（或問題），這可以在大量的論文閱讀中訓練這方面的能力，你不但要學習到文獻中的優點的部分，同時自己要習慣質疑，論文中有哪些假設不合適，哪些演算法有改進空間

另外，在這個過程中也應該結合實際的應用提出你具體的研究問題，發現問題後（等於是爬上巨人的肩膀，準備邁出一小步了）。通常我們認為提出解決演算法並驗證演算法有效性的這個過程相對而言是比較容易的，當然，這裡頭涉及到很多細節，就不展開了，有興趣的話，可以參考Eamonn Keogh 2012年在KDD上的關於如何做數據挖掘研究的tutorial。

學生提問：數據挖掘目前不是一個定義清晰的學科，如果選了這個方向，應該必修什麼課程？選修什麼課程？

必修：（前置課程有程序設計、數據結構與演算法、組成原理、計算機網路等）資料庫、概率與統計、機器學習與模式識別。

選修：GPU/並行計算、數據倉庫、數據可視化、深度學習、商業智能（BI）、群體智能（CI），一些面向不同應用領域的課程，例如：信息檢索、NLP、語音、圖像方面。

推薦閱讀：