《深度學習》讀書筆記1——引言

來自專欄 深度學習與自然語言處理

第一章 引言

人工智慧的兩種思路——規則模板與機器學習

人工智慧從很久之前就被人們所研究，人們希望計算機能擁有「智力」，但計算機擅長的是大量重複的按照一定規則的運算，而非人們所擅長的識別說的話或圖像中的臉。

起初，人們實現人工智慧的方式是構建知識庫，這個知識庫包含了大量形式化的語言，用來讓計算機根據邏輯推理規則來理解知識。但是，這樣的規則定義完全人為輸入，真實世界的知識很多且很複雜，用有限數量的推理語句無法很好讓計算機達到智能。

用上述硬編碼來讓計算機構建知識體系的方法十分困難，因此有人希望計算機可以自己通過原始數據來提取特定的模式（也就是知識），這樣的方式就是機器學習。

機器學習與深度學習

在機器學習中，我們需要對數據的進行特徵提取，這些特徵才是數據真正的表示。比如，我們用邏輯回歸判斷產婦是否適合剖腹產，「產婦本身」無法作為數據的輸入，我們需要提取其特徵（產婦的年齡、產婦是否存在子宮疤痕）作為真實輸入，這樣就把「產婦」變成了一組可量化的數值。

然而，在真實世界裡我們人類觀察數據時往往並不會顯式地進行特徵提取，我們看到貓時會用自己天然的「第六感」感知到這是一隻貓，而非進行一系列特徵判斷（是否活物、是否有鬍子、是否抓老鼠）。所以我們在某些場景下需要設計一種方法自動地把特徵提取出來，而非總是人為設計特徵抽取規則，這種方法就是表示學習。

深度學習相比於其他機器學習模型（如邏輯回歸、支持向量機等），解決了表示學習的核心問題。

深度學習是什麼

深度學習是機器學習中神經網路模型的現代化實踐，這裡的深度通常指的是神經網路的層數很多。

上圖即為一個較淺的神經網路。不同於傳統機器學習模型，在深度學習里，特徵通過一層層神經網路進行抽象。在輸入層（可見層）里，我們將原始數據進行輸入，經過一層層隱含層後，特徵一步步被提取出來，特徵提取的規則在隱含層里進行了學習，完成了表示學習的任務。

這樣的模型，在複雜問題中幫我們減輕了特徵提取的任務。

概念包含關係：深度學習 < 表示學習 < 機器學習 < 人工智慧

不同AI方法的流程對比

上述圖對比了規則系統、傳統機器學習、傳統表示學習和深度學習流程圖的差異。

1.1 本書面向的讀者

本書的組織結構圖：

1.2 深度學習的歷史趨勢

深度學習近些年特別火熱，但神經網路的出現其實可以追溯到20世紀40年代，中間也經歷過多次興衰。如今神經網路的第三次興起主要是由於以下幾個原因：

1. 更強大的計算機
2. 更大量的數據集
3. 更優的訓練技術

在這樣的條件背景下，層數更多的神經網路模型才能夠真正應用到實際場景中，這就是我們如今看到的深度學習。

推薦閱讀：