CS231N 課程筆記合集

Python Numpy 教程

• Python
• Scipy
• Matplotlib

圖像分類筆記（上）

• 圖像分類、數據驅動方法和流程
• 近鄰分類器

圖像分類筆記（下）

• 驗證集、交叉驗證集和超參數調參
• 近鄰分類器的優劣

線性分類筆記（上）

• 線性分類器簡介
• 線性評分函數
• 線性分類器

線性分類筆記（中）

• 多類 SVM
• 正則化

線性分類筆記（下）

• Softmax分類器
• SVM 與 Softmax的比較

最優化筆記（上）

• 最優化簡介
• 損失函數可視化
• 最優化
• 隨機搜索
• 隨機局部搜索
• 跟隨梯度

最優化筆記（下）

• 梯度計算
• 使用有限差值進行數值計算
• 微分分析計算梯度
• 梯度下降

反向傳播筆記

• 反向傳播簡介
• 簡單表達式和理解梯度
• 複合表達式，鏈式法則，反向傳播
• 直觀理解反向傳播
• 模塊：Sigmoid例子
• 反向傳播實踐：分段計算
• 回傳流中的模式
• 用戶向量化操作的梯度

神經網路筆記1（上）

• 神經網路簡介
• 單個神經元建模
• 生物動機和連接
• 作為線性分類器的單個神經元
• 常用的激活函數

神經網路筆記1（下）

• 神經網路結構
• 層組織
• 前向傳播計算例子
• 表達能力
• 設置層的數量和尺寸

神經網路筆記 2

• 設置數據和模型
• 數據預處理
• 權重初始化
• 批量歸一化（Batch Normalization）
• 正則化（L2/L1/Maxnorm/Dropout）
• 損失函數

神經網路筆記3（上）

• 梯度檢查
• 合理性（Sanity）檢查
• 檢查學習過程
• 損失函數
• 訓練集與驗證集準確率
• 權重：更新比例
• 每層的激活數據與梯度分布
• 可視化

神經網路筆記3（下）

• 參數更新
• 一階（隨機梯度下降）方法，動量方法，Nesterov動量方法
• 學習率退火
• 二階方法
• 逐參數適應學習率方法（Adagrad，RMSProp）
• 超參數調優
• 評價
• 模型集成

卷積神經網路筆記

• 結構概述
• 用來構建卷積神經網路的各種層
• 卷積層
• 匯聚層
• 歸一化層
• 全連接層
• 將全連接層轉化成卷積層
• 卷積神經網路的結構
• 層的排列規律
• 層的尺寸設置規律
• 案例學習（LeNet / AlexNet / ZFNet / GoogLeNet / VGGNet）
• 計算上的考量

課程作業# 1

在學習完 最優化 之後完成該作業。

課程作業# 2

在學習完 神經網路 之後完成該作業。

課程作業# 3

在學習完 卷積神經網路 之後完成該作業。

- 線性分類器簡介

- 線性評分函數

- 線性分類器

推薦閱讀：

• CS231n官方筆記授權翻譯總集篇發布
• CS231N 課程內容中文翻譯

推薦閱讀：