計算圖與反向傳播

0

反向傳播是深度學習基礎中的基礎，解決了誤差的源頭，即損失函數，怎麼回傳到開頭的問題，由此就有了參數梯度的解析解，同時，為了讓求出的梯度不至於太小也不至於太大，就需要解決梯度消失和梯度爆炸的問題，因此就有了新的激活函數、參數初始化的技巧，以及Batch Normalization的提出。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

推薦閱讀：