標籤:

一個框架解決幾乎所有機器學習問題

一個框架解決幾乎所有機器學習問題

來自專欄機器學習之路4 人贊了文章

一個叫 Abhishek Thakur 的數據科學家,在他的 Linkedin 發表了一篇文章 Approaching (Almost) Any Machine Learning Problem,介紹他建立的一個自動的機器學習框架,幾乎可以解決任何機器學習問題,項目很快也會發布出來。這篇文章迅速火遍 Kaggle,他參加過100多個數據科學相關的競賽,積累了很多寶貴的經驗,看他很幽默地說「寫這樣的框架需要很多豐富的經驗,不是每個人都有這樣的經歷,而很多人有寶貴的經驗,但是他們不願意分享,我呢恰好是又有一些經驗,又願意分享的人」。當然這篇文章也是受到爭議的,很多人覺得並不全面。

我最近也在準備參加 Kaggle,之前看過幾個例子,自己也總結了一個分析的流程,今天看了這篇文章,裡面提到了一些高效的方法,最乾貨的是,他做了一個表格,列出了各個演算法通常需要訓練的參數。

這個問題很重要,因為大部分時間都是通過調節參數,訓練模型來提高精度。作為一個初學者,第一階段,最想知道的問題,就是如何調節參數。因為分析的套路很簡單,就那麼幾步,常用的演算法也就那麼幾個,以為把演算法調用一下就可以了么,那是肯定不行的。實際過程中,調用完演算法後,結果一般都不怎麼好,這個時候還需要進一步分析,哪些參數可以調優,哪些數據需要進一步處理,還有什麼更合適的演算法等等問題。

接下來一起來看一下他的框架。

據說數據科學家 60-70% 的時間都花在數據清洗和應用模型演算法上面,這個框架主要針對演算法的應用部分。

Pipeline

什麼是 Kaggle?Kaggle是一個數據科學競賽的平台,很多公司會發布一些接近真實業務的問題,吸引愛好數據科學的人來一起解決,可以通過這些數據積累經驗,提高機器學習的水平。

應用演算法解決 Kaggle 問題,一般有以下幾個步驟:

  • 第一步:識別問題
  • 第二步:分離數據
  • 第三步:構造提取特徵
  • 第四步:組合數據
  • 第五步:分解
  • 第六步:選擇特徵
  • 第七步:選擇演算法進行訓練

當然,工欲善其事,必先利其器,要先把工具和包都安好。最方便的就是安裝 Anaconda,這裡面包含大部分數據科學所需要的包,直接引入就可以了,常用的包有:

  • pandas:常用來將數據轉化成 dataframe 形式進行操作
  • scikit-learn:裡面有要用到的機器學習演算法模型
  • matplotlib:用來畫圖
  • 以及 xgboost,keras,tqdm 等。

第一步:識別問題

在這一步先明確這個問題是分類還是回歸。通過問題和數據就可以判斷出來,數據由 X 和 label 列構成,label 可以一列也可以多列,可以是二進位也可以是實數,當它為二進位時,問題屬於分類,當它為實數時,問題屬於回歸。

第二步:分離數據

為什麼需要將數據分成兩部分?用 Training Data 來訓練模型,用 Validation Data 來檢驗這個模型的表現,不然的話,通過各種調節參數,模型可以在訓練數據集上面表現的非常出色,但是這可能會是過擬合,過擬合就是太依賴現有的數據了,擬合的效果特別好,但是只適用於訓練集,以致於來一個新的數據,就不知道該預測成什麼了。所以需要有 Validation 來驗證一下,看這個模型是在那裡自娛自樂呢,還是真的表現出色。

在 scikit learn 包里就有工具可以幫你做到這些:分類問題用 StrtifiedKFold

from sklearn.cross_validation import StratifiedKFold

回歸問題用 KFold

from sklearn.cross_validation import KFold

第三步:構造特徵

這個時候,需要將數據轉化成模型需要的形式。數據有三種類型:數字,類別,文字。當數據是類別的形式時,需要將它的每一類提取出來作為單獨一列,然後用二進位表示每條記錄相應的值。例如:

record 1: 性別 女record 2:性別 女record 3:性別 男

轉化之後就是:

?????????女 男record 1: 1 0record 2:1 0record 3:0 1

這個過程 sklearn 也可以幫你做到:

from sklearn.preprocessing import LabelEncoder

或者

from sklearn.preprocessing import OneHotEncoder

第四步:組合數據

處理完 Feature 之後,就將它們組合到一起。如果數據是稠密的,就可以用 numpy 的 hstack:

import numpy as npX = np.hstack((x1, x2, ...))

如果是稀疏的,就用 sparse 的 hstack:

from scipy import sparseX = sparse.hstack((x1, x2, ...))

組合之後,就可以應用以下演算法模型:

  • RandomForestClassifier
  • RandomForestRegressor
  • ExtraTreesClassifier
  • ExtraTreesRegressor
  • XGBClassifier
  • XGBRegressor

但是不能應用線性模型,線性模型之前需要對數據進行正則化而不是上述預處理。

第五步:分解

這一步是為了進一步優化模型,可以用以下方法:

PCA:Principal components analysis,主成分分析,是一種分析、簡化數據集的技術。用於減少數據集的維數,同時保持數據集中的對方差貢獻最大的特徵。

from sklearn.decomposition import PCA

對於文字數據,在轉化成稀疏矩陣之後,可以用 SVD

from sklearn.decomposition import TruncatedSVD

SVD:Singular Value Decomposition,奇異值分解,是線性代數中一種重要的矩陣分解,它總能找到標準化正交基後方差最大的維度,因此用它進行降維去噪。

第六步:選擇特徵

當特徵個數越多時,分析特徵、訓練模型所需的時間就越長,容易引起「維度災難」,模型也會越複雜,推廣能力也會下降,所以需要剔除不相關或亢余的特徵。

常用的演算法有完全搜索,啟發式搜索,和隨機演算法。

例如,Random Forest:

from sklearn.ensemble import RandomForestClassifier

或者 xgboost:

import xgboost as xgb

對於稀疏的數據,一個比較有名的方法是 chi-2:

from sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2

第七步:選擇演算法進行訓練

選擇完最相關的參數之後,接下來就可以應用演算法,常用的演算法有:

Classification:Random ForestGBMLogistic RegressionNaive BayesSupport Vector Machinesk-Nearest NeighborsRegressionRandom ForestGBMLinear RegressionRidgeLassoSVR

在scikit-learn里可以看到分類和回歸的可用的演算法一覽,包括它們的原理和例子代碼。

在應用各演算法之前先要明確這個方法到底是否合適。為什麼那麼多演算法里,只提出這幾個演算法呢,這就需要對比不同演算法的性能了。這篇神文 Do we Need Hundreds of Classifiers to Solve Real World Classification Problems 測試了179種分類模型在UCI所有的121個數據上的性能,發現Random Forests 和 SVM 性能最好。我們可以學習一下裡面的調研思路,看看是怎麼樣得到比較結果的,在我們的實踐中也有一定的指導作用。

各演算法比較

但是直接應用演算法後,一般精度都不是很理想,這個時候需要調節參數,最乾貨的問題來了,什麼模型需要調節什麼參數呢?

雖然在sklearn的文檔里,會列出所有演算法所帶有的參數,但是裡面並不會說調節哪個會有效。在一些mooc課程里,有一些項目的代碼,裡面可以看到一些演算法應用時,他們重點調節的參數,但是有的也不會說清楚為什麼不調節別的。這裡作者根據他100多次比賽的經驗,列出了這個表,我覺得可以借鑒一下,當然,如果有時間的話,去對照文檔里的參數列表,再查一下演算法的原理,通過理論也是可以判斷出來哪個參數影響比較大的。

調參之後,也並不就是大功告成,這個時候還是需要去思考,是什麼原因造成精度低的,是哪些數據的深意還沒有被挖掘到,這個時候需要用統計和可視化去再一次探索數據,之後就再走一遍上面的過程。

我覺得這裡還提到了很有用的一條經驗是,把所有的 transformer 都保存起來,方便在 validation 數據集上面應用:

文章里介紹了分析問題的思路,還提到了幾條很實用的經驗,不過經驗終究是別人的經驗,只能借鑒,要想提高自己的水平,還是要看到作者背後的事情,就是參加了100多次實戰,接下來就去行動吧,享受用演算法和代碼與數據玩耍的興奮吧。

推薦閱讀:

一文弄懂神經網路中的反向傳播法——BackPropagation
機器學習面試題精講(一)
邏輯回歸之損失函數與最大似然估計
無需編程,即刻擁有你的機器學習模型

TAG:機器學習 |