標籤：

自然語言處理（NLP）基礎概念5：word2vec代價函數求梯度計算過程詳解

01-30

目錄

  1. 我們的目標是什麼？
  2. 需要用到的表達式和公式
  3. 手把手帶你計算梯度
  4. 意義是什麼？

1. 我們的目標是什麼？

2.需要用到的表達式和公式

3.開始推導

4 意義是什麼？

為什麼要推導 frac{partial J}{partial v_c} ?

因為這裡的意義是，代價J對目標向量 v_c 求導，得到的導數就是使J最小的「方向」和「大小」。那麼通過朝著這個「方向」和「大小」優化 v_c 就可以得到使J最小的 v_c ！

推薦閱讀：

※一般的 kernel tricks 在最初的時候的思路都是什麼樣的？
※通過DARPA項目看看晶元世界的「遠方」- 自動化工具和開源硬體
※A Network-based End-to-End Trainable Task-oriented Dialogue System
※基於遷移學習的樹葉分類

TAG:深度学习DeepLearning | 自然语言处理 | 机器学习 |