各種機器學習的應用場景分別是什麼？例如，k近鄰,貝葉斯，決策樹，svm，邏輯斯蒂回歸和最大熵模型。

11-25

k近鄰,貝葉斯，決策樹，svm，邏輯斯蒂回歸和最大熵模型,隱馬爾科夫，條件隨機場，adaboost，em 這些在一般工作中，分別用到的頻率多大？一般用途是什麼？需要注意什麼？本人剛看了機器學習實戰和統計學習方法，剛了解這些東西，希望有經驗的大牛回答下，以便於後續有針對的學習，謝謝

關於這個問題我今天正好看到了這個文章。講的正是各個演算法的優劣分析，很中肯。

https://zhuanlan.zhihu.com/p/25327755

正好14年的時候有人做過一個實驗[1]，比較在不同數據集上（121個），不同的分類器（179個）的實際效果。

論文題為：Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?

實驗時間有點早，我嘗試著結合我自己的理解、一些最近的實驗，來談一談吧。主要針對分類器(Classifier)。

寫給懶得看的人：

沒有最好的分類器，只有最合適的分類器。

隨機森林平均來說最強，但也只在9.9%的數據集上拿到了第一，優點是鮮有短板。

SVM的平均水平緊隨其後，在10.7%的數據集上拿到第一。

神經網路（13.2%）和boosting（~9%）表現不錯。

數據維度越高，隨機森林就比AdaBoost強越多，但是整體不及SVM[2]。

數據量越大，神經網路就越強。

近鄰 (Nearest Neighbor)

典型的例子是KNN，它的思路就是——對於待判斷的點，找到離它最近的幾個數據點，根據它們的類型決定待判斷點的類型。

它的特點是完全跟著數據走，沒有數學模型可言。

適用情景：

需要一個特別容易解釋的模型的時候。

比如需要向用戶解釋原因的推薦演算法。

貝葉斯 (Bayesian)

典型的例子是Naive Bayes，核心思路是根據條件概率計算待判斷點的類型。

是相對容易理解的一個模型，至今依然被垃圾郵件過濾器使用。

適用情景：

需要一個比較容易解釋，而且不同維度之間相關性較小的模型的時候。

可以高效處理高維數據，雖然結果可能不盡如人意。

決策樹 (Decision tree)

決策樹的特點是它總是在沿著特徵做切分。隨著層層遞進，這個劃分會越來越細。

雖然生成的樹不容易給用戶看，但是數據分析的時候，通過觀察樹的上層結構，能夠對分類器的核心思路有一個直觀的感受。

舉個簡單的例子，當我們預測一個孩子的身高的時候，決策樹的第一層可能是這個孩子的性別。男生走左邊的樹進行進一步預測，女生則走右邊的樹。這就說明性別對身高有很強的影響。

適用情景：

因為它能夠生成清晰的基於特徵(feature)選擇不同預測結果的樹狀結構，數據分析師希望更好的理解手上的數據的時候往往可以使用決策樹。

同時它也是相對容易被攻擊的分類器[3]。這裡的攻擊是指人為的改變一些特徵，使得分類器判斷錯誤。常見於垃圾郵件躲避檢測中。因為決策樹最終在底層判斷是基於單個條件的，攻擊者往往只需要改變很少的特徵就可以逃過監測。

受限於它的簡單性，決策樹更大的用處是作為一些更有用的演算法的基石。

隨機森林 (Random forest)

提到決策樹就不得不提隨機森林。顧名思義，森林就是很多樹。

嚴格來說，隨機森林其實算是一種集成演算法。它首先隨機選取不同的特徵(feature)和訓練樣本(training sample)，生成大量的決策樹，然後綜合這些決策樹的結果來進行最終的分類。

隨機森林在現實分析中被大量使用，它相對於決策樹，在準確性上有了很大的提升，同時一定程度上改善了決策樹容易被攻擊的特點。

適用情景：

數據維度相對低（幾十維），同時對準確性有較高要求時。

因為不需要很多參數調整就可以達到不錯的效果，基本上不知道用什麼方法的時候都可以先試一下隨機森林。

SVM (Support vector machine)

SVM的核心思想就是找到不同類別之間的分界面，使得兩類樣本盡量落在面的兩邊，而且離分界面盡量遠。

最早的SVM是平面的，局限很大。但是利用核函數(kernel function)，我們可以把平面投射(mapping)成曲面，進而大大提高SVM的適用範圍。

提高之後的SVM同樣被大量使用，在實際分類中展現了很優秀的正確率。

適用情景：

SVM在很多數據集上都有優秀的表現。

相對來說，SVM盡量保持與樣本間距離的性質導致它抗攻擊的能力更強。

和隨機森林一樣，這也是一個拿到數據就可以先嘗試一下的演算法。

邏輯斯蒂回歸 (Logistic regression)

邏輯斯蒂回歸這個名字太詭異了，我就叫它LR吧，反正討論的是分類器，也沒有別的方法叫LR。顧名思義，它其實是回歸類方法的一個變體。

回歸方法的核心就是為函數找到最合適的參數，使得函數的值和樣本的值最接近。例如線性回歸(Linear regression)就是對於函數f(x)=ax+b，找到最合適的a,b。

LR擬合的就不是線性函數了，它擬合的是一個概率學中的函數，f(x)的值這時候就反映了樣本屬於這個類的概率。

適用情景：

LR同樣是很多分類演算法的基礎組件，它的好處是輸出值自然地落在0到1之間，並且有概率意義。

因為它本質上是一個線性的分類器，所以處理不好特徵之間相關的情況。

雖然效果一般，卻勝在模型清晰，背後的概率學經得住推敲。它擬合出來的參數就代表了每一個特徵(feature)對結果的影響。也是一個理解數據的好工具。

判別分析 (Discriminant analysis)

判別分析主要是統計那邊在用，所以我也不是很熟悉，臨時找統計系的閨蜜補了補課。這裡就現學現賣了。

判別分析的典型例子是線性判別分析(Linear discriminant analysis)，簡稱LDA。

（這裡注意不要和隱含狄利克雷分布(Latent Dirichlet allocation)弄混，雖然都叫LDA但說的不是一件事。）

LDA的核心思想是把高維的樣本投射(project)到低維上，如果要分成兩類，就投射到一維。要分三類就投射到二維平面上。這樣的投射當然有很多種不同的方式，LDA投射的標準就是讓同類的樣本盡量靠近，而不同類的盡量分開。對於未來要預測的樣本，用同樣的方式投射之後就可以輕易地分辨類別了。

使用情景：

判別分析適用於高維數據需要降維的情況，自帶降維功能使得我們能方便地觀察樣本分布。它的正確性有數學公式可以證明，所以同樣是很經得住推敲的方式。

但是它的分類準確率往往不是很高，所以不是統計系的人就把它作為降維工具用吧。

同時注意它是假定樣本成正態分布的，所以那種同心圓形的數據就不要嘗試了。

神經網路 (Neural network)

神經網路現在是火得不行啊。它的核心思路是利用訓練樣本(training sample)來逐漸地完善參數。還是舉個例子預測身高的例子，如果輸入的特徵中有一個是性別（1:男；0:女），而輸出的特徵是身高（1:高；0:矮）。那麼當訓練樣本是一個個子高的男生的時候，在神經網路中，從「男」到「高」的路線就會被強化。同理，如果來了一個個子高的女生，那從「女」到「高」的路線就會被強化。

最終神經網路的哪些路線比較強，就由我們的樣本所決定。

神經網路的優勢在於，它可以有很多很多層。如果輸入輸出是直接連接的，那它和LR就沒有什麼區別。但是通過大量中間層的引入，它就能夠捕捉很多輸入特徵之間的關係。卷積神經網路有很經典的不同層的可視化展示(visulization)，我這裡就不贅述了。

神經網路的提出其實很早了，但是它的準確率依賴於龐大的訓練集，原本受限於計算機的速度，分類效果一直不如隨機森林和SVM這種經典演算法。

使用情景：

數據量龐大，參數之間存在內在聯繫的時候。

當然現在神經網路不只是一個分類器，它還可以用來生成數據，用來做降維，這些就不在這裡討論了。

Rule-based methods

這個我是真不熟，都不知道中文翻譯是什麼。

它裡面典型的演算法是C5.0 Rules，一個基於決策樹的變體。因為決策樹畢竟是樹狀結構，理解上還是有一定難度。所以它把決策樹的結果提取出來，形成一個一個兩三個條件組成的小規則。

使用情景：

它的準確度比決策樹稍低，很少見人用。大概需要提供明確小規則來解釋決定的時候才會用吧。

提升演算法（Boosting）

接下來講的一系列模型，都屬於集成學習演算法(Ensemble Learning)，基於一個核心理念：三個臭皮匠，頂個諸葛亮。

翻譯過來就是：當我們把多個較弱的分類器結合起來的時候，它的結果會比一個強的分類器更

典型的例子是AdaBoost。

AdaBoost的實現是一個漸進的過程，從一個最基礎的分類器開始，每次尋找一個最能解決當前錯誤樣本的分類器。用加權取和(weighted sum)的方式把這個新分類器結合進已有的分類器中。

它的好處是自帶了特徵選擇（feature selection），只使用在訓練集中發現有效的特徵(feature)。這樣就降低了分類時需要計算的特徵數量，也在一定程度上解決了高維數據難以理解的問題。

最經典的AdaBoost實現中，它的每一個弱分類器其實就是一個決策樹。這就是之前為什麼說決策樹是各種演算法的基石。

使用情景：

好的Boosting演算法，它的準確性不遜於隨機森林。雖然在[1]的實驗中只有一個擠進前十，但是實際使用中它還是很強的。因為自帶特徵選擇（feature selection）所以對新手很友好，是一個「不知道用什麼就試一下它吧」的演算法。

裝袋演算法（Bagging）

同樣是弱分類器組合的思路，相對於Boosting，其實Bagging更好理解。它首先隨機地抽取訓練集（training set），以之為基礎訓練多個弱分類器。然後通過取平均，或者投票(voting)的方式決定最終的分類結果。

因為它隨機選取訓練集的特點，Bagging可以一定程度上避免過渡擬合(overfit)。

在[1]中，最強的Bagging演算法是基於SVM的。如果用定義不那麼嚴格的話，隨機森林也算是Bagging的一種。

使用情景：

相較於經典的必使演算法，Bagging使用的人更少一些。一部分的原因是Bagging的效果和參數的選擇關係比較大，用默認參數往往沒有很好的效果。

雖然調對參數結果會比決策樹和LR好，但是模型也變得複雜了，沒事有特別的原因就別用它了。

Stacking

這個我是真不知道中文怎麼說了。它所做的是在多個分類器的結果上，再套一個新的分類器。

這個新的分類器就基於弱分類器的分析結果，加上訓練標籤(training label)進行訓練。一般這最後一層用的是LR。

Stacking在[1]裡面的表現不好，可能是因為增加的一層分類器引入了更多的參數，也可能是因為有過渡擬合(overfit)的現象。

使用情景：

沒事就別用了。

（修訂：@庄岩提醒說stacking在數據挖掘競賽的網站kaggle上很火，相信參數調得好的話還是對結果能有幫助的。

A Kaggler's Guide to Model Stacking in Practice

這篇文章很好地介紹了stacking的好處。在kaggle這種一點點提升就意味著名次不同的場合下，stacking還是很有效的，但是對於一般商用，它所帶來的提升就很難值回額外的複雜度了。）

多專家模型（Mixture of Experts）

最近這個模型還挺流行的，主要是用來合併神經網路的分類結果。我也不是很熟，對神經網路感興趣，而且訓練集異質性（heterogeneity）比較強的話可以研究一下這個。

講到這裡分類器其實基本說完了。講一下問題裡面其他一些名詞吧。

最大熵模型 (Maximum entropy model)

最大熵模型本身不是分類器，它一般是用來判斷模型預測結果的好壞的。

對於它來說，分類器預測是相當於是：針對樣本，給每個類一個出現概率。比如說樣本的特徵是：性別男。我的分類器可能就給出了下面這樣一個概率：高（60%），矮（40%）。

而如果這個樣本真的是高的，那我們就得了一個分數60%。最大熵模型的目標就是讓這些分數的乘積盡量大。

LR其實就是使用最大熵模型作為優化目標的一個演算法[4]。

EM

就像最大熵模型一樣，EM不是分類器，而是一個思路。很多演算法都是基於這個思路實現的。

@劉奕馳已經講得很清楚了，我就不多說了。

隱馬爾科夫 (Hidden Markov model)

這是一個基於序列的預測方法，核心思想就是通過上一個（或幾個）狀態預測下一個狀態。

之所以叫「隱」馬爾科夫是因為它的設定是狀態本身我們是看不到的，我們只能根據狀態生成的結果序列來學習可能的狀態。

適用場景：

可以用於序列的預測，可以用來生成序列。

條件隨機場 (Conditional random field)

典型的例子是linear-chain CRF。

具體的使用 @Aron 有講，我就不獻醜了，因為我從來沒用過這個。

就是這些啦。

相關的文章：

[1]: Do we need hundreds of classifiers to solve real world classification problems.

Fernández-Delgado, Manuel, et al. J. Mach. Learn. Res 15.1 (2014)

[2]: An empirical evaluation of supervised learning in high dimensions.

Rich Caruana, Nikos Karampatziakis, and Ainur Yessenalina. ICML "08

[3]: Man vs. Machine: Practical Adversarial Detection of Malicious Crowdsourcing Workers

Wang, G., Wang, T., Zheng, H., Zhao, B. Y. Usenix Security"14

[4]: http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf

一般來說Machine Learning主要有3種:

Supervised Learning
Semi-supervised Learning
Unsupervised Learning

Supervised Learning適用與已知LABEL的情況.
Semi-supervised/Unsupervised Learning適用於有Latent Variable的情況.

題主提到的這些演算法雖然常見,但是想真正的搞懂需要深入了解(Calculus, Linear Algebra, Probabilistic).

比如SVM,為什麼叫Support Vector Machine, 為什麼SVM有Sparsity的特性, L1/L2 Regularizar起到了什麼作用, 等等...
單單一個SVM就有太多的內容在裡面了.
-----------------------------------------------------------------------------------------------
接下來回答問題:

k近鄰,貝葉斯，決策樹，svm，邏輯斯蒂回歸和最大熵模型,隱馬爾科夫，條件隨機場，adaboost，em

首先:
Maximum Entropy和EM是理念.
Maximum Entropy的背後是資訊理論(Information Theory)和概率模型.
EM Model事實上對所有含有Latent Variable的模型都可以用.

kNN可以用於圖像壓縮.
但是,如何選取K, Similarity用什麼, 都不是隨便說應用就應用的...

Naive Bayes: 知名的 http://arxiv.org 背後就有用,簡單粗暴, 強大有效...
但是, NB演算法如何Smooth,如何應對Online Setting,也不是那麼簡單...

SVM/Logistic Regression 都可以用於各種分類.
但是Hinge Loss和Sigmoid Function有什麼區別, 什麼時候用哪個?

HMM/CRF NLP常用

Ada-boost 可以參考Netflix Prize,貌似大獎用了這個...具體不清楚
但是, Weak Learner是什麼, Why boost works?

-----------------------------------------------------------------------------------------------
總結:
前幾天Yann Lecun來我們學校做了演講, 然後我們的老師回頭總結,我覺得很有道理:
就是現在Deep Learning處於一個Scaling就是Accuracy的階段,很多背後的原因我們其實都沒有搞清楚. 例如, Deep Learning里用Max做Feature selection效果很好,但是Yann Lecun也只能猜測原因.
所以真正的應用,取決於你動手去做, 去嘗試.

最後:
推薦Andrew的公開課, 你值得擁有.
https://class.coursera.org/ml-006

先上一張圖吧，有需要再詳細寫

crf 分詞、語法依存分析、命名實體識別，但是現在正在越來越多的應用場景里被RNN已經它的變種們所替代~ LSTM+CRF的解決方案取得了state of art的效果~
lr ctr 預估，商品推薦轉換為點擊率預估也可以用該模型。之前天貓大數據比賽很多同學都是用它做的session first。可以著重了解推導，正則化及並行。但現在越來越多的依賴於深度學習，包括DNN, DRL.
svm 可以做文本分類，人臉識別等，了解下原始問題如何轉換為對偶問題，然後使用smo或者其他問題求解，還有了解下核函數~
adaboost 本身是exp loss在boosting方法下的Model.
EM 是一種優化演算法，本質個人認為有點類似於離散空間的梯度上升演算法，一般是結合具體的演算法來用，比如混合高斯模型，最大熵，無監督HMM等，但比較經典的個人感覺還是pLSA，其實k-means背後也有em的思想，了解em再看k-means就有感覺了。
決策樹可以認為是將空間進行劃分，ID3和C4.5算是比較經典的決策樹演算法，可以用來分類，也可以用來回歸，但業界很少直接使用一棵樹，一般使用多棵樹，組成committee，較為經典有GBDT 和RF，兩者都是ensemble learning的典範，只不過前者使用boosting降低bias，後者使用bagging降低variance從而提升模型的performance。在ESL中有個對比，使樹形模型幾乎完爆其他演算法，泛化能力和學習能力都很牛逼。業界的話一般用來做搜索排序和相關性。
HMM，在基礎的一階馬兒科夫的基礎之上，加入隱含狀態，有兩者假設，解決三種問題，一般時間序列預測都可以用該模型，當然了，NLP中的分詞，語音識別等效果也還不錯。

先寫到這，求大神來噴~

分別用到的頻率多大？

It depends. 看你需要處理的問題是什麼。不同數據規模、不同特徵都會影響演算法的選擇。

一般用途是什麼？

這個問題太大了，簡單來說，
KNN、樸素貝葉斯、決策樹、SVM、logistic回歸、adaboost用來分類。
EM演算法用於尋找隱藏參數的最大似然估計。該演算法首先在E step中計算隱藏參數的似然估計，然後再M step中進行最大化，然後進行EM step的迭代直至收斂。應用場景之一是聚類問題，但EM演算法本身並不是一個聚類演算法。舉個例子，GMM(高斯混合模型)和Kmeans在聚類時都使用了EM演算法。
最大熵模型是一個概率模型，決策樹的數學基礎就是它。
HMM也是一個統計模型，我們不能用它來做什麼，但是可以利用這個模型對現實生活中的問題建模。

需要注意什麼？

實踐出真知。

謝霄哥邀請 @孫凌霄
這個問題確實很有意思，作為新入門的小白只能提供一點點粗略的認識。
----------------------------------------------------------------------------------------------------------

K近鄰：演算法採用測量不同特徵值之間的距離的方法進行分類。

優點：

1.簡單好用，容易理解，精度高，理論成熟，既可以用來做分類也可以用來做回歸；

2.可用於數值型數據和離散型數據；

3.訓練時間複雜度為O(n)；無數據輸入假定；

4.對異常值不敏感

缺點：

1.計算複雜性高；空間複雜性高；

2.樣本不平衡問題（即有些類別的樣本數量很多，而其它樣本的數量很少）；

3.一般數值很大的時候不用這個，計算量太大。但是單個樣本又不能太少否則容易發生誤分。

4.最大的缺點是無法給出數據的內在含義。

樸素貝葉斯

優點：

1.生成式模型，通過計算概率來進行分類，可以用來處理多分類問題，

2.對小規模的數據表現很好，適合多分類任務，適合增量式訓練，演算法也比較簡單。

缺點：

1.對輸入數據的表達形式很敏感，

2.由於樸素貝葉斯的「樸素」特點，所以會帶來一些準確率上的損失。

3.需要計算先驗概率，分類決策存在錯誤率。

決策樹

優點：

1.概念簡單，計算複雜度不高，可解釋性強，輸出結果易於理解；

2.數據的準備工作簡單，能夠同時處理數據型和常規型屬性，其他的技術往往要求數據屬性的單一。

3.對中間值得確實不敏感，比較適合處理有缺失屬性值的樣本，能夠處理不相關的特徵；

4.應用範圍廣，可以對很多屬性的數據集構造決策樹，可擴展性強。決策樹可以用於不熟悉的數據集合，並從中提取出一些列規則這一點強於KNN。

缺點：

1.容易出現過擬合；

2.對於那些各類別樣本數量不一致的數據，在決策樹當中,信息增益的結果偏向於那些具有更多數值的特徵。

3. 信息缺失時處理起來比較困難。忽略數據集中屬性之間的相關性。

Svm

優點：

1.可用於線性/非線性分類，也可以用於回歸，泛化錯誤率低，計算開銷不大，結果容易解釋；

2.可以解決小樣本情況下的機器學習問題，可以解決高維問題可以避免神經網路結構選擇和局部極小點問題。

3.SVM是最好的現成的分類器，現成是指不加修改可直接使用。並且能夠得到較低的錯誤率，SVM可以對訓練集之外的數據點做很好的分類決策。

缺點：對參數調節和和函數的選擇敏感，原始分類器不加修改僅適用於處理二分類問題。

Logistic回歸：根據現有數據對分類邊界線建立回歸公式，依次進行分類。

優點：實現簡單，易於理解和實現；計算代價不高，速度很快，存儲資源低；

缺點：容易欠擬合，分類精度可能不高

EM 期望最大化演算法-上帝演算法

只要有一些訓練數據，再定義一個最大化函數，採用EM演算法，利用計算機經過若干次迭代，就可以得到所需的模型。EM演算法是自收斂的分類演算法，既不需要事先設定類別也不需要數據見的兩兩比較合併等操作。缺點是當所要優化的函數不是凸函數時，EM演算法容易給出局部最佳解，而不是最優解。

參考文獻：

機器學習--判別式模型與生成式模型

數據挖掘十大演算法----EM演算法（最大期望演算法）

各種分類演算法的優缺點

機器學習數據挖掘筆記_16（常見面試之機器學習演算法思想簡單梳理）

吳軍．數學之美[M]．北京：人民郵電出版社，2014.

Peter Harrington，李銳，李鵬，曲亞東，王斌．機器學習實戰[M]．北京：人民郵電出版社2013．

李航．統計學習方法[M]．北京：清華大學出版社 2012．

杉山將，許永偉.圖解機器學習[M]．北京：人民郵電出版社2015．

斯坦福大學公開課：機器學習課程

說一些和題目裡面的模型不太有關係的話，介紹一個 KL 散度的運用小場景：

寫過一篇關於 KL 散度的理論＋運用的文章：KL 散度（從動力系統到推薦系統）

在資訊理論和動力系統裡面，Kullback-Leibler 散度（簡稱 KL 散度，KL divergence）是兩個概率分布 P 和 Q 的一個非對稱的度量公式。這個概念是由 Solomon Kullback 和 Richard Leibler 在 1951 年引入的。從概率分布 Q 到概率分布 P 的 KL 散度用 D_{KL}(P||Q) 來表示。儘管從直覺上看 KL 散度是一個度量或者是一個距離，但是它卻不滿足度量或者距離的定義。例如，從 Q 到 P 的 KL 散度就不一定等於從 P 到 Q 的 KL 散度。本文即將介紹如何將動力系統的概念運用到實際推薦系統的工作中，從而達到更佳的推薦效果。

詳細請見：KL 散度（從動力系統到推薦系統）

現代玄學，很多需要依靠經驗

具體問題具體分析。。。。。。

演算法是解決方法的數學抽象，一個演算法誕生於某個應用場景下，但也可以用在其他應用場景。按場景來分不太合理。

比如pagerank是用來做網頁排序的，有人把它用在文本處理上，發現效果奇好，於是發明了textrank。再比如word2vec是自然語言處理的方法，但有人用它來處理交互數據給微博用戶做推薦。

隨便強答一發吧。說幾個自己用過的。
lr萬金油中的萬金油，解釋性很強。（每個特徵可以通過權重來分析重要性，這就是所謂的可解釋性）。應用場合很多，例如CTR預估，因為在這個場合下特徵緯度很高並且稀疏。很適合用lr。
當特徵維度不高，而且不會稀疏（一般是沒onehot），也就是比較稠密的時候用gbdt或者xgboost比較合適。

Kaggle比賽中，前兩名基本是xgb加或神經網路。

實踐中Xgb用得最多
某些響應時間有嚴格要求的情形下特徵工程加簡單模型，比如LR
NLP, 圖像，語音自然是dl的天下
Svm實踐中估計沒什麼人用