Course Notes：Neural Networks and Deep Learning Week 4

來自專欄 WuJue and Her CS

Deep Neural Network

Deep L-layer neural network

Deep neural network和shallow neural network的區別在於隱藏層的數目，以左下角的神經網路為例，它的隱藏層數目為2，總層數為3，可以記作L=3。我們通常用n[L]表示第L層的單元數目，在該網路中，n[0]=3，n[1]=4，n[2]=3，n[3]=1；用a[L]表示第L層的激活函數。

Getting your matrix dimensions right

在實際中，矩陣的維度容易出錯，所以我們需要對其進行檢查，其中w和dw維度一致，為

b和db維度一致，為

z和dz維度一致，為

a的維度為

Why deep representations?

深度神經網路是如何進行的，下面以圖像識別為例，進行說明。假設我們搭建一個系統用於面部識別，當我們輸入一張面部圖片時，第一層可以被認為是一個特徵檢測器，試圖找到這幅圖像中的邊緣位置；第二層用於檢測面部的不同部位；第三層則是將面部的不同部位組合起來，用於識別不同類型的面部。

我們之所以選擇深度神經網路，而不是淺層神經網路，是因為在很多時候深度的網路可以指數級地減少計算量。

Building blocks of deep neural network

Forward and Backward Propagation

Forward propagation:

Backward propagation:

Parameters vs Hyperparameters

Parameters: w, b

Hyperparameters: learning rate,#iterations, #hidden layers, #hidden units, choice of activation function