標籤：

機器學習專欄目錄

05-22
機器學習專欄目錄

來自專欄 機器學習

機器學習相關

  1. 線性回歸 講了線性回歸和LMS，講了梯度下降演算法以及隨機梯度下降，並給出了線性回歸的tensorflow實現；
  2. 線性回歸的概率解釋 講了線性回歸的概率解釋，在假設誤差項是獨立同分布並符合高斯分布之後，為了參數 heta 使得likelihood最大，進行了最大對數似然估計來求取參數，結果與線性回歸中的優化對象相同
  3. 邏輯回歸 講了分類問題和邏輯回歸，邏輯回歸的求解採用最大似然估計使得樣本概率最大，並給出了tensorflow實現
  4. 採用牛頓法來最大化對數似然函數 介紹了如何採用Newtons method 來解決優化問題，並以邏輯回歸為例
  5. 判別學習演算法和生成學習演算法 介紹了判別學習演算法和生成學習演算法的思路和不同點，生成學習演算法是根據類先驗知識和後驗知結合貝葉斯公式來求取最合適的y
  6. Gaussian Discriminant Analysis 介紹了第一個生成學習演算法 GDA，並且比較了GDA與邏輯回歸，GDA假設 p(x|y) 符合高斯分布，假設太強
  7. Naive Bayes樸素貝葉斯 介紹了
    1. Naive Bayes的NB假設和方法
    2. 介紹了兩個event model
      1. 採用multi-variate Bernoulli event model建模
      2. 採用multinomial event model建模
    3. 介紹了Laplace Smoothing來防止出現計算參數得到0的情況
  8. 基於Naive Bayes對垃圾簡訊進行分類 編碼了Naive Bayes Classifier from scratch，對垃圾簡訊進行了分類，並給出了分類效果
  9. Learning Theory 介紹了
    1. Bias/Variance
    2. 兩個Lemma
      1. The Union Bound
      2. Hoeffding inequality
    3. traning error hatvarepsilon(h) 和generalization error varepsilon(h)
    4. empirical risk minimization (ERM)

SVM系列

  1. SVM問題定義、推導介紹了
    1. separating hyperplane
    2. functional margin VS geometric margin
    3. optimal margin classificier
    4. 將SVM形式化的到目標函數和約束
  2. Lagrange Duality 介紹了
    1. 採用拉格朗日乘子構造Lagrangian，能夠消除約束條件
    2. primal problem min_{w} heta_{p}(w)=min_{w}max_{alpha,eta:alpha_{i}geq 0}L(w,alpha,eta)
    3. dual problem max_{alpha,eta:alpha_{i}geq 0} heta_{D}(alpha,eta)=max_{alpha,eta:alpha_{i}geq 0}min_{w}L(w,alpha,eta)
    4. 原始問題和對偶問題的解的關係及證明 d^{*}=max_{alpha,eta:alpha_{i}geq 0} heta_{D}(alpha,eta)leq min_{w} heta_{p}(w) =p^{*}
    5. KTT條件
  3. SVM Kernel 介紹了
    1. feature mapping phi
    2. Kernel K(z,x)=phi(x)^{T}phi(z)
    3. Kernel Function 的意義：用來衡量x、z的相似度
    4. Kernel Matrix K
    5. Mercer定理：如何判定一個Kernel Function為valid kernel
    6. 介紹常見的核函數
      1. gaussian kernel function K(x,z)=exp(-frac{||x-z||^{2}}{2sigma^{2}})
      2. polynomial kernel function K(x,z)=(xcdot z+1)^{p}
  4. SVM Regularization and non-separable case 介紹了線性不可分以及進行了特徵映射之後依然不可分的情況
    1. 需要regularization的原因
      1. 經過特徵映射依然在高維空間中是non-separable case；
      2. 存在outlier point
    2. 採用 l_{1} regularization之後的SVM優化問題，並構造對偶問題
  5. SVM求解介紹了
    1. SVM優化問題的對偶問題構造
    2. ordinate ascent
    3. SMO演算法
  6. 採用LibSVM進行分類 介紹了
    1. 數據預處理
      1. categorical feature的numerical
      2. scale 將attribute都映射到[-1,1]
    2. 模型選擇
      1. 常見kernel function
      2. cross-validation和grid-search用來查找參數 (C,gamma)
    3. LibSVM的用法
    4. 採用scale+cross-validation進行分類
  7. 使用LibSVM進行分類的注意事項 介紹了
    1. scale 訓練集和數據集需要採用相同的scaling factor
    2. 何時使用Linear Kernel或者RBF Kernel
  8. 在One-Class SVM中我們介紹了
    1. One-Class SVM的應用場景
    2. u-SVM
    3. SVDD
  9. 採用LibSVM實現One-Class SVM檢測 介紹了針對模擬數據，採用LibSVM來進行One-Class SVM檢測

異常檢測相關

  1. Isolation Forest介紹 中介紹了
    1. 異常&異常檢測
    2. isolation tree的訓練
    3. isolation forest
      1. 構成
      2. 參數關係
      3. evaluation
      4. anomaly score的產生

神經網路相關

  1. 循環神經網路RNN介紹 介紹了RNN
  2. Autoencoder及tensorflow實現 介紹了autoencoder和tensorflow實現
  3. 前饋神經網路與符號系統 介紹了神經網路的基本架構以及符號系統
  4. back propagation algorithm推導 介紹了反向傳播演算法，包括四個基本方程、推導以及如何進行反向傳播來進行訓練
  5. RNN Part 3-Back Propagation Through Time and Vanishing Gradients(BPTT演算法和梯度消失) 介紹了BPTT演算法，並介紹了Vanishing Gradient Problem
  6. Understanding LSTM Networks 介紹了
    1. LSTM的核心概念
    2. Step-by-Step LSTM Walk Through
      1. Forget Gate Layer
      2. Input Gate Layer
      3. Output Gate Layer
  7. RNN Part 4-LSTM 介紹了LSTM的網路結構
  8. RNN part 5-GRU(Gated Recurrent Unit) 介紹了GRU的網路結構
  9. RNN part 6-Bidirectional RNN 介紹了雙向RNN，包括：
    1. 雙向RNN的作用：解決當前節點不能獲取將來上下文的問題
    2. Bi-Directional RNN 的網路結構
    3. 前向、後向傳播方式
  10. 神經網路正則化1：L1/L2正則化介紹了
    1. L1/L2 regularization、推導、比較等
    2. L1/L2 regularization為什麼能夠預防過擬合的問題
  11. 神經網路正則化(2)：dropout正則化 介紹了
    1. dropout regularization工作原理
    2. 代碼實現加入dropout的神經網路傳播方法
    3. dropout為什麼能夠預防過擬合的問題
  12. 神經網路正則化(3)：data augmentation & early stopping 介紹了另外兩種預防過擬合的方法
    1. data augmentation
    2. early stopping
  13. Sequence to Sequence模型 介紹了seq2seq模型
  14. beam search相關
    1. Seq2Seq中的beam search演算法 介紹了beam search方法
    2. seq2seq模型中beam search的改進 介紹了針對數值下溢和傾向於選擇精短翻譯的問題，給出了歸一化的對數似然目標函數
  15. Seq2Seq With Attention 介紹了加入attention機制的seq2seq模型
  16. Tree-Structured LSTM介紹 介紹了Tree-LSTM，包括
    1. Child-Sum Tree-LSTMs(Dependency Tree-LSTMs)
    2. N-ary Tree LSTM(Constituency Tree-LSTMs)

基礎數學知識

  1. 向量範數與矩陣範數介紹了
    1. 向量範數
    2. 矩陣範數
    3. numpy求解

吳恩達深度學習課程答案解析

  1. Building Deep Neural Network from scratch-吳恩達深度學習第一課第四周習題答案(1) 介紹了如何從零開始構建一個可定製的深度神經網路模型，包括
    1. 前向傳播
    2. 後向傳播
    3. 參數更新
  2. Building RNN(LSTM cell) from scratch-吳恩達深度學習第五課第一周習題答案(1) 介紹了如何從零開始構建一個可定製的循環神經網路，包括
    1. 前向傳播
    2. 後向傳播
    3. 參數更新

自然語言處理相關

  1. constituent parsing & dependency parsing 介紹了成分分析和依存分析，並給出了例子；
  2. Using the Stanford CoreNLP API 介紹了
    1. CoreNLP package的Annotation和Annotator
    2. 如何對Annotation進行inteprete從而獲取到想要的信息
    3. 中文庫的使用
  3. 採用Graphviz繪製Stanford CoreNLP Parser的成分分析結果 介紹了採用GraphiViz來繪製成分分析結果，並給出了代碼實現
  4. 語義角色標註(Semantic Role Labelling) 介紹了
    1. SRL定義
    2. CPB語料及其標註體系
    3. 傳統SRL方法
    4. 基於深度學習的SRL方法

Tensorflow實戰

  1. Tensorflow實戰(1): 實現深層循環神經網路 介紹了採用tf.contrib.rnn.MultiRNNCell 來實現多層的循環神經網路，並完成了 y=sin(x) 曲線上的序列數據預測問題

推薦閱讀：

※Hinston大牛為什麼會對神經網路不滿？2018.03.NO.4(Note)
※人工神經網路
※基於RNN的序列標註-第六章 混合隱馬爾可夫模型
※神經網路之Pointer Net (Ptr-net)
※Paper Reading | 讓機器像人類一樣學畫畫？GANs 「全家福」一覽

TAG:機器學習 | 神經網路 | 自然語言處理 |