寫在前面

混跡知乎兩年有餘，幾乎沒有參與過討論，最近走在了十字路口，打算申請專欄寫一些學習心得分享給大家，也算是對自己博士生涯學習的歸納總結。

本專欄主要關注三個問題且不止此三個：自然語言理解，遷移學習以及深度模型等機器學習相關領域。此外，計算機體系結構，並行計算，演算法分析，工程實現及配置等內容也會在專欄里出現，目標一周一更。

文章前的插圖是近期一篇文章里對異構（Heterogeneous Achitecture）處理資源的描述，圖中描述了一幅輕量級的異構處理架構，以GPU+CPU的常規方式聯合處理計算任務。這也是我對未來計算設備及機器學習方法發展方向的期望，即基於輕量級異構計算設備以及少量樣本的機器學習模型的計算任務。最終的目的在於，在有限計算資源的計算設備上，例如手機或可穿戴設備等嵌入式系統，訓練並執行魯棒的機器學習模型，最終用於自然語言理解、計算機視覺等日常應用中。在這樣的目標下，涉及到以下幾個研究領域：

首先，計算機體系結構。主要關注片上優化，處理器設計等相關問題，目標在於設計一個輕便，節能，高效的處理器。晶元面積是影響處理器計算資源的一大因素，輕便既是希望未來的處理器能在面積小、輕薄的環境下能有高效的計算能力；功耗牆或能耗牆是影響現代處理器發展的重大障礙之一，如何在有限能源下提供盡量多的計算次數；最後關於高效，影響處理器的計算效率包含很多因素，主要提高的策略包含線程調度，數據預取等基於處理器的優化方法，另外，降低演算法複雜度也是一個重要的研究內容。AMD已推出的APU（Accelerate Processing Unit）是未來處理器發展的一個雛形，但例如統一定址等技術難點依然阻礙著新一代處理器的發展。

傳統的機器學習模型往往需要大規模的數據支持，尤其是在深度學習盛行的今天，訓練的數據規模及調參成為了影響模型準確率的重要因素，這顯然有違前文描述的期望。越來越多的研究人員開始關注用小量或領域外的數據提高模型泛化能力。遷移學習（Transfer Learning）既是解決數據問題的最重要研究方向之一，包含一次學習（One-Shot Learning）、自學習等。此外，零次學習（Zero-Shot Learning）、半監督學習（semi-supervised Learning）等方法也都在該專欄的介紹目標中。

關於自然語言理解方面，本人作為NLP小白，希望能分享自己從零開始的學習經歷，也希望能與各位領域內的同仁討論，未來會分享一些文章，學習資料等。下周進入寒假，第一更的題目一點點老套，支持向量機！

推薦閱讀：