深度學習讀書筆記 第一章

註：此版本未做針對讀者閱讀的優化

讓計算機從經驗中學習 並根據層次化的概念體系來理解世界

層次化：用簡單的概念來構造複雜概念並繪製概念之間是如何聯繫的『圖』

問題1 如何將非形式化的知識傳遞給計算機

AI系統需要具備從原始數據中提取模式的能力（argue）這種能力成為機器學習

問題2 如何表示數據

使用機器學習來發掘表示本身，而不僅是把表示映射到輸出

名詞1 自編碼器（autoencoder）

問題3 分離差變因素

名詞2 多層感知機（mulitlayer perceptron，MLP）

：A multilayer perceptron is just a mathematical function mapping some set of input values to output values. The function is formed by composing many simpler functions. We can think of each application of a different mathematical function as providing a new representation of the input.

View of deep learning, not all of the information in a layer』s activations necessarily

encodes factors of variation that explain the input. The representation also stores

state information that helps to execute a program that can make sense of the input.

This state information could be analogous to a counter or pointer in a traditional

computer program. It has nothing to do with the content of the input specifically,

but it helps the model to organize its processing.

解釋1: 深層網路的隱藏層狀態 包含了之前幾層的信息，相當於網路加深的過程 信息是積累的。

深度的度量：1以『計算節點』作為深度計量單位 2以『概念』作為計量單位。

輸入>簡單特徵>複雜特徵>從特徵映射>輸出

建立智能的直接途徑是逆向大腦背後的工作原理

線性模型的局限性：無法學習異或函數（XOR） 是

名詞3：Relu 整流線型單元 rectified linear unit 隨機梯度下降 stochastic gradient descent

AI的一個目標：用通用的單一演算法來解決不同的問題

不同於深度學習的另一個方向：神經計算科學，了解大腦在演算法層面上的工作

聯結主義connectionism：即網路中大量簡單的計算大院連結在一起時可以實現智能行為。

分散式表示distributed representation(在閱讀至第十五章時修改)

截止至出書時的主要側重方向：如何通過無監督或半監督學習充分利用大量的未標註樣本。

可以使用的一部分開源數據集（歡迎留言補充）

名詞4: 神經圖靈機 強化學習reinforcement learning

第一章筆記結束 名詞相關解釋會在未來2周內單開文章進行說明。

推薦閱讀：