CAMA-LAB 機器學習暑期研討班（2017）

我們實驗室暑假針對一些對機器學習感興趣的大一大二的學生還有研一新生弄了個研討班，因為是面向初學者，內容不會很複雜，不會深究理論，但覆蓋範圍比較廣，作業設計上也是希望參與者不是簡單的對 ML 里的概念一知半解，而是要可以有個比較紮實的基本理論基礎，能夠實現基礎的演算法。具體內容這個假期會逐周更新，資料以中文為主，收集整理花了一些功夫，在知乎也分享一下 qvq。

現在主要由學生自學資料為主，之後老師也會進行授課，整個研討班的所有內容我們都會傳到 Github 上，感興趣的朋友可以看～

Github 地址：wolegechu/cama_summer_class_2017

下面是整體內容安排（暫定）：

一、機器學習

第一周：熱身 ( 7 月 17 日- 7 月 22 日）

• Python 編程基礎
• 圖像表示：
• 矩陣、顏色空間
• 圖像特徵：像素值、顏色直方圖、梯度直方圖、LBP
• 作業：圖像讀寫、特徵提取
• 回歸：
• 演算法：線性回歸，線性回歸+正則項（L1, L2）
• 優化：梯度下降法
• 測度：歐式距離、街區距離、範數、Loss
• 作業：波士頓房價預測

第二周：分類

• 演算法：k-NN, Logistic Regression, 決策樹
• 作業：
• MNIST 手寫數字識別、CIFAR-10 圖像分類
• 採用第一周的特徵 + 第二周的方法（多種組合，對比結果）

第三周：經典演算法

• 支撐向量機 SVM
• 推薦博文：《理解SVM的三層境界》
• 圖像特徵：, SIFT, Visual BoW,
• 作業：收入預測、CIFAR-10 圖像分類

第四周：無監督特徵學習（Unsupervised Feature Learning, Manifold Learning）

• Andrew Ng 論文
• 聚類：K-means, K-means++
• 降維：PCA, ICA, ZCA, LLE, AE
• 作業：UFL + SVM，進行CIFAR-10圖像分類
• 推薦閱讀：pluskid 博客

擴展：

• 經典方法：譜聚類、樸素貝葉斯、EM演算法、稀疏編碼 Sparse Coding
• 集成學習：Adaboost, Random Forest, gdbt (XGBoost)
• 結構化學習 Structured Learning
• 排序學習 Learning to Rank
• 強化學習 Reinforcement Learning
• 模仿學習 Imitation Learning

深度學習

第五周：卷積神經網路 CNN

• 概念：卷積, Pooling, Stride, Padding, Data Augmentation, Learning Rate, Momentum, Softmax, ReLU, BP, SGD, Cross-Entropy Loss
• 網路：LeNet, AlexNet, VGGnet, GoogLeNet, ResNet
• 框架：Keras, Pytorch
• 作業：
• 自己搭建淺層網路（神經網路+卷積神經網路）
• 1）自己實現
• 2）使用框架
• 兩個對比
• Image Sentiment Classification
• 1）Analyze the Model by Confusion Matrix
• 2）Analyze the Model by Plotting the Saliency Map
• 3）Analyze the Model by Visualizing Filters

第六周：遞歸神經網路

• 網路：RNN, LSTM
• 作業：
• 1）由 Cosin 預測 Sin，自己編程實現網路
• 2）Image Captioning，使用框架實現

擴展：

• 經典應用論文：Deep Learning 推薦閱讀列表（余宙）
• 生成對抗網路：GAN, CGAN, DualGAN, CircleGAN

Github 地址：wolegechu/cama_summer_class_2017

推薦閱讀：