吳恩達機器學習課程筆記（完結）

為什麼說，零基礎的人的機器學習，超級推薦從吳恩達開始！2018.4.29 （視頻）

https://www.zhihu.com/video/974002334635958272

嗶哩嗶哩轉載原課程視頻

我的視頻筆記

what is machine learning? 課程 筆記

如何理解machine learning?

what is supervised learning? 課程 筆記

如何理解有監督的學習？

what is unsupervised learning? 課程 筆記

如何理解無監督學習？

model representation 課程 筆記

什麼是機器學習流程, 監督學習，無監督學習

什麼是 linear regression， uni-variant, multi-variant regression

cost function 原課程 筆記

如何用一張圖直觀理解損失函數

cost function Intuition I 課程 筆記

圖解 cost function 直覺1

cost function Intuition II 課程 筆記

圖解 損失函數直覺2

gradient descent 課程 筆記

gradient descent計算流程和注意事項

gradient descent intuition 課程 筆記

圖解gradient的智能與learning rate的注意事項

GradientDescentForLinearRegression 課程 筆記

如何為linear regression 計算gradient descent？

演算法流程是什麼？

圖解機器學習：如何用gradient descent一步一步求解最優linear regression 模型以及其他值得注意的細節

吳恩達機器學習所需的所有線性代數

原課程視頻 What_s Next Matrices and Vectors Addition and Scalar Multiplication Matrix Vector Multiplication Matrix Matrix Multiplication Matrix Multiplication Properties Inverse and Transpose 筆記視頻 圖解深度學習：理解Andrew Ng機器學習所需的所有線性代數知識

如何用vectorization加速多變數函數值求解

原課程：Multiple Features

筆記：如何利用vectorization快速求解多變數函數值

如何用vectorization一次性更新多變數函數的所有參數

原課程：Gradient Descent for Multiple Variables

筆記：如何用vectorization一次性更新多變數函數的所有參數

如何通過拉伸壓縮features來加速梯度下降的訓練進度

原課程：Gradient Descent in Practice I - Feature Scaling

筆記：如何通過拉伸壓縮features來加速梯度下降的訓練進度

如何快速識別模型訓練是否正常以及如何調節學習率幫助訓練正常化

課程：Gradient Descent in Practice II - Learning Rate

筆記：如何快速識別模型訓練是否正常以及如何調節學習率幫助訓練正常化

圖解機器學習：為什麼說提煉特徵和探尋模型藝術性權重大於科學性

課程：Features and Polynomial Regression

筆記：為什麼說提煉特徵和探尋模型藝術性權重大於科學性

圖解機器學習：Normal Equation如何實現一步求解最優參數及其特點

課程：Normal Equation

筆記：Normal Equation如何實現一步求解最優參數及其特點

圖解機器學習：Normal Equation計算中出現non invertible matrix該如何處理以及背後的直觀成因有哪些

課程：Noninvertibility

筆記：Normal Equation計算中出現non invertible matrix該如何處理以及背後的直觀成因有哪些

如何使用Octave來做機器學習？

吳恩達的編程課：

Basic Operations Moving Data Around Computing on Data Plotting Data Control Statements_ for, while, if statements Vectorization Working on and Submitting Programming Exercises

感受：主流語言是python, R, matlab，非常簡單易用，為什麼要學Octave?

- 沒有必要學Octave, 如果要給學Octave 找一個理由，那就是Octave無需引入任何lib，操作上是最直截了當，直觀簡單

圖解機器學習：如何使用vectorization來做梯度下降

課程：Vectorization

筆記：如何使用vectorization來做梯度下降

圖解機器學習：如何理解classification以及為什麼logistic比linear regression更適合做classification

課程： Classification

筆記：如何理解classification以及為什麼logistic比linear regression更適合做classification

圖解機器學習：如何理解logistic regression與linear regression的區別

課程： Hypothesis Representation

筆記：如何理解logistic regression與linear regression的區別

圖解機器學習：如何理解decision boundary的生成原理和實質內涵

課程： Decision Boundary

筆記： 如何理解decision boundary的生成原理和實質內涵

圖解機器學習：如何理解logistic regression的損失函數的由來和構成

課程：Cost Function

筆記：如何理解logistic regression的損失函數的由來和構成

圖解機器學習：如何對logistic regression的聯合形態的損失函數做梯度下降更新參數

課程：Simplified Cost Function and Gradient Descent

筆記：如何對logistic regression的聯合形態的損失函數做梯度下降更新參數

圖解機器學習：哪些演算法比gradient descent 更強大

課程：Advanced Optimization

筆記：哪些演算法比gradient descent 更強大

圖解機器學習：如何利用logistic regression二元分類模型解決多元分類問題

課程：Multiclass Classification_ One-vs-all

筆記：如何利用logistic regression二元分類模型解決多元分類問題

圖解機器學習：如何粗略理解underfitting, overfitting, 和overfitting的解決方案

課程：The Problem of Overfitting

筆記：如何粗略理解underfitting, overfitting, 和overfitting的解決方案

圖解機器學習：如何直觀理解regularization背後的直覺

課程：Cost Function

筆記：如何直觀理解regularization背後的直覺

圖解機器學習：regularized linear regression計算中增加的新內容

課程：Regularized Linear Regression

筆記：regularized linear regression計算中增加的新內容

圖解機器學習：regularized logistic regression在訓練時有何不同？

課程：Regularized Logistic Regression

筆記：regularized logistic regression在訓練時有何不同？

圖解機器學習：為什麼linear logistic regression不足以解決現實世界的問題

課程：Non-linear Hypotheses

筆記：為什麼linear logistic regression不足以解決現實世界的問題

圖解機器學習：神經網路模型的現狀和目標

課程：Neurons and the Brain

筆記：神經網路模型的現狀和目標

圖解機器學習：跟neural net打個正式的招呼(介紹)

課程：Model Representation I

筆記：跟neural net打個正式的招呼(介紹)

圖解機器學習：如何理解neuralnet的智能化精簡提煉特徵

課程：Model Representation II

筆記：如何理解neuralnet的智能化精簡提煉特徵

圖解機器學習：如何通過XNOR理解neuralnet提煉複雜特徵的能力

課程：Examples and Intuitions I Examples and Intuitions II

筆記：如何通過XNOR理解neuralnet提煉複雜特徵的能力

圖解機器學習：為什麼說neuralnet做多元分類的本質與多logistic regression解決方案本質相同但模型構架不同

課程：Multiclass Classification

筆記：為什麼說neuralnet做多元分類的本質與多logistic regression解決方案本質相同但模型構架不同

圖解機器學習：neuralnet做多元分類損失函數代碼執行要注意的細節

課程：Cost Function

筆記：neuralnet做多元分類損失函數代碼執行要注意的細節

圖解機器學習：如何理解neuralnet的backprogapation計算邏輯

課程：Backpropagation Algorithm

筆記：如何理解neuralnet的backprogapation計算邏輯

圖解機器學習：如何理解neuralnet的backprogapation中的error的計算邏輯

課程：Backpropagation Intuition

筆記：如何理解neuralnet的backprogapation中的error的計算邏輯

Implementation Note_ Unrolling Parameters

圖解機器學習：什麼是gradient checking及其注意事項

課程：Gradient Checking

筆記：什麼是gradient checking及其注意事項

圖解機器學習：參數起點設計的重要性，symmetry breaking

課程：Random Initialization

筆記：參數起點設計的重要性，symmetry breaking

圖解機器學習：訓練神經網路模型的工作全流程梳理

課程：Putting It Together

筆記：訓練神經網路模型的工作全流程梳理

圖解機器學習：為什麼說診斷模型病症很重要以及如何分割數據來驗證模型效果

課程：Autonomous Driving Deciding What to Try Next Evaluating a Hypothesis

筆記：為什麼說診斷模型病症很重要以及如何分割數據來驗證模型效果

圖解機器學習：為什麼驗證數據讓模型評估更客觀公正

課程：Model Selection and Train_Validation_Test Sets

筆記：為什麼驗證數據讓模型評估更客觀公正

圖解機器學習：為什麼以及如何用bias variance診斷模型病症

課程：Diagnosing Bias vs. Variance

筆記：為什麼以及如何用bias variance診斷模型病症

圖解機器學習：為什麼說regularizer是模型治療手段（bias variance診斷方式）

課程：Regularization and Bias_Variance

筆記：為什麼說regularizer是模型治療手段（bias variance診斷方式）

圖解機器學習：如何用learning curve動態識別模型的病症和選擇合適改進措施

課程：Learning Curves

筆記：如何用learning curve動態識別模型的病症和選擇合適改進措施

圖解機器學習：機器學習和神經網路模型表現差的病因分類和治療方案選擇

課程：Deciding What to Do Next Revisited

筆記：機器學習和神經網路模型表現差的病因分類和治療方案選擇

圖解機器學習：如何用Error analysis 幫助改進模型（垃圾郵件分類案例）

課程：Prioritizing What to Work On Error Analysis

筆記：如何用Error analysis 幫助改進模型（垃圾郵件分類案例）

圖解機器學習：為什麼面對skewed 數據precision recall能規避accuracy評估能力的片面性

課程：Error Metrics for Skewed Classes

筆記：為什麼面對skewed 數據precision recall能規避accuracy評估能力的片面性

圖解機器學習：如何理解precision與recall的博弈及其現實意義，為什麼F1能綜合precision和recall

課程：trading off precision and recall

筆記：如何理解precision與recall的博弈及其現實意義，為什麼F1能綜合precision和recall

圖解機器學習：怎樣的條件下更多數據能夠（或不能）幫助改進模型

課程：Data For Machine Learning

筆記：怎樣的條件下更多數據能夠（或不能）幫助改進模型

圖解機器學習：對比logistic regression來理解SVM通道式的decision boundary的由來

課程：Optimization Objective

筆記：SVM公式是如何從logistic regression 變形而來的

課程：Large Margin Intuition

筆記：為什麼說SVM是一個維持最大間隔的classifier（decision boundary)

課程：Mathematics Behind Large Margin Classification

筆記：如何利用線性代數幫助理解管道式的decision boundary 的由來

圖解機器學習：如何理解kernels通過參照點創造更好更多features來幫助模型實現non-linear能力01

課程：Kernels I Kernels II Using An SVM

筆記：如何理解kernels通過參照點創造更好更多features來幫助模型實現non-linear能力01

筆記：何時使用kernel來輔助SVM

圖解機器學習：如何理解無監督學習做聚類的K-means演算法流程和優化目標的實現

課程：Unsupervised Learning_ Introduction K-Means Algorithm Optimization Objective

筆記：如何理解無監督學習做聚類的K-means演算法流程和優化目標的實現

圖解機器學習：K-means如何精細處理centroid的random intialization和選擇最優cluster數量

課程：Random Initialization Choosing the Number of Clusters

筆記：K-means如何精細處理centroid的random intialization和選擇最優cluster數量

圖解機器學習：為什麼要對數據做降維和壓縮，可視化有助於理解壓縮後的維度內涵

課程：Motivation I_ Data Compression Motivation II_ Visualization

筆記：為什麼要對數據做降維和壓縮，可視化有助於理解壓縮後的維度內涵

圖解機器學習：如何理解PCA是一種projection降維的最優方案以及PCA的演算法邏輯

課程：Principal Component Analysis Problem Formulation

課程：Principal Component Analysis Algorithm

筆記：如何理解PCA是一種projection降維的最優方案以及PCA的演算法邏輯

圖解機器學習：PCA是如何通過K尋找最優的降維幅度的

課程：Choosing the Number of Principal Components

筆記：PCA是如何通過K尋找最優的降維幅度的

圖解機器學習：如何理解PCA中的U_reduce, x, z, x_approximation的關係

課程：Reconstruction from Compressed Representation

筆記：如何理解PCA中的U_reduce, x, z, x_approximation的關係

圖解機器學習：實際模型訓練中如何正確使用PCA和規避常見錯誤用法

課程： Advice for Applying PCA

筆記：實際模型訓練中如何正確使用PCA和規避常見錯誤用法

圖解機器學習：如何理解anomaly detection的本質，工作原理和演算法流程

課程：Problem Motivation Gaussian Distribution Algorithm

筆記：如何理解anomaly detection的本質，工作原理和演算法流程

圖解機器學習：如何理解anomaly detection實際使用的簡單流程

課程：Developing and Evaluating an Anomaly Detection System

課程：Anomaly Detection vs. Supervised Learning

課程：Choosing What Features to Use

筆記：如何理解anomaly detection實際使用的簡單流程

圖解機器學習：如何理解單變數正態分布 對比多變數正態分布運用於anomaly detection的優缺點

課程：Multivariate Gaussian Distribution

課程：Anomaly Detection using the Multivariate Gaussian Distribution

筆記：如何理解單變數正態分布 對比多變數正態分布運用於anomaly detection的優缺點

圖解機器學習：為什麼要學習推薦系統，簡單推薦系統的問題長什麼樣

課程：Problem Formulation

筆記：為什麼要學習推薦系統，簡單推薦系統的問題長什麼樣

圖解機器學習：為什麼說content based recommender是用電影特徵來訓練用戶參數

課程：Content Based Recommendations

筆記：為什麼說content based recommender是用電影特徵來訓練用戶參數

圖解機器學習：為什麼說collaborative filtering是讓電影特徵與用戶參數不斷迭代相互訓練相互更新

課程：Collaborative Filtering

筆記：為什麼說collaborative filtering是讓電影特徵與用戶參數不斷迭代相互訓練相互更新

圖解機器學習：梳理collaborative filtering合併2個交替訓練模型的演算法流程和如何利用電影和用戶特徵來預測

課程：Collaborative Filtering Algorithm

筆記：梳理collaborative filtering合併2個交替訓練模型的演算法流程和如何利用電影和用戶特徵來預測

圖解機器學習：在collaborative filtering代碼執行如何採取vectorization加速計算和訓練後快速找相似電影

課程：Vectorization_ Low Rank Matrix Factorization

筆記：在collaborative filtering代碼執行如何採取vectorization加速計算和訓練後快速找相似電影

圖解機器學習: 新用戶沒有給出任何評分時，如何避免訓練好的模型代替新用戶給所有電影都打0分

課程：Implementational Detail_ Mean Normalization

筆記：新用戶沒有給出任何評分時，如何避免訓練好的模型代替新用戶給所有電影都打0分

圖解機器學習：面對巨量數據如何高效訓練模型和發現問題改進

課程：Learning With Large Datasets

課程：Stochastic Gradient Descent

課程：Mini-Batch Gradient Descent

課程：Stochastic Gradient Descent Convergence

筆記：面對巨量數據如何高效訓練模型和發現問題改進

圖解機器學習：什麼是online learning（一句話）

課程：Online Learning

筆記：什麼是online learning（一句話）

圖解機器學習：什麼是map reduce 和data parallal（一句話）

課程：Map Reduce and Data Parallelism

筆記：什麼是map reduce 和data parallal（一句話）

圖解機器學習：一個簡單的OCR文字識別系統的工作全流程長什麼樣子

課程：Problem Description and Pipeline

課程：Sliding Windows

筆記：一個簡單的OCR文字識別系統的工作全流程長什麼樣子

圖解機器學習：合成新數據的方法及相關挑戰和注意事項

課程：Getting Lots of Data and Artificial Data

筆記： 圖解機器學習：合成新數據的方法及相關挑戰和注意事項

圖解機器學習：如何找到能最大化改進模型效果的具體工作任務或模型組建

課程：What Part of the Pipeline to Work on Next

筆記：如何找到能最大化改進模型效果的具體工作任務或模型組建

圖解吳恩達機器學習課程完結：for who, how to use, why

課程：Summary and Thank you

筆記：圖解吳恩達機器學習課程完結：for who, how to use, why

推薦閱讀：