如何使用sklearn進行數據挖掘

1.1.數據挖掘的步驟

數據挖掘通常包括數據採集，數據分析，特徵工程，訓練模型，模型評估等步驟。使用sklearn工具可以方便地進行特徵工程和模型訓練工作，在《使用sklearn做單機特徵工程》中，我們最後留下了一些疑問：特徵處理類都有三個方法fit、transform和fit_transform，fit方法居然和模型訓練方法fit同名(不光同名，參數列表都一樣)，這難道都是巧合?

顯然，這不是巧合，這正是sklearn的設計風格。我們能夠更加優雅地使用sklearn進行特徵工程和模型訓練工作。此時，不妨從一個基本的數據挖掘場景入手：

我們使用sklearn進行虛線框內的工作(sklearn也可以進行文本特徵提取)。通過分析sklearn源碼，我們可以看到除訓練，預測和評估以外，處理其他工作的類都實現了3個方法：fit、transform和fit_transform。從命名中可以看到，fit_transform方法是先調用fit然後調用transform，我們只需要關注fit方法和transform方法即可。

transform方法主要用來對特徵進行轉換。從可利用信息的角度來說，轉換分為無信息轉換和有信息轉換。無信息轉換是指不利用任何其他信息進行轉換，比如指數、對數函數轉換等。有信息轉換從是否利用目標值向量又可分為無監督轉換和有監督轉換。無監督轉換指只利用特徵的統計信息的轉換，統計信息包括均值、標準差、邊界等等，比如標準化、PCA法降維等。

有監督轉換指既利用了特徵信息又利用了目標值信息的轉換，比如通過模型選擇特徵、LDA法降維等。通過總結常用的轉換類，我們得到下表：

不難看到，只有有信息的轉換類的fit方法才實際有用，顯然fit方法的主要工作是獲取特徵信息和目標值信息，在這點上，fit方法和模型訓練時的fit方法就能夠聯繫在一起了：都是通過分析特徵和目標值，提取有價值的信息，對於轉換類來說是某些統計量，對於模型來說可能是特徵的權值係數等。

另外，只有有監督的轉換類的fit和transform方法才需要特徵和目標值兩個參數。fit方法無用不代表其沒實現，而是除合法性校驗以外，其並沒有對特徵和目標值進行任何處理，Normalizer的fit方法實現如下：

不基於這些特徵處理工作都有共同的方法，那麼試想可不可以將他們組合在一起?在本文假設的場景中，我們可以看到這些工作的組合形式有兩種：流水線式和並行式。基於流水線組合的工作需要依次進行，前一個工作的輸出是後一個工作的輸入;基於並行式的工作可以同時進行，其使用同樣的輸入，所有工作完成後將各自的輸出合併之後輸出。sklearn提供了包pipeline來完成流水線式和並行式的工作。

1.2.數據初貌

不在此，我們仍然使用IRIS數據集來進行說明。為了適應提出的場景，對原數據集需要稍微加工：

1.3.關鍵技術

並行處理，流水線處理，自動化調參，持久化是使用sklearn優雅地進行數據挖掘的核心。並行處理和流水線處理將多個特徵處理工作，甚至包括模型訓練工作組合成一個工作(從代碼的角度來說，即將多個對象組合成了一個對象)。在組合的前提下，自動化調參技術幫我們省去了人工調參的反鎖。訓練好的模型是貯存在內存中的數據，持久化能夠將這些數據保存在文件系統中，之後使用時無需再進行訓練，直接從文件系統中載入即可。

2.並行處理

並行處理使得多個特徵處理工作能夠並行地進行。根據對特徵矩陣的讀取方式不同，可分為整體並行處理和部分並行處理。整體並行處理，即並行處理的每個工作的輸入都是特徵矩陣的整體;部分並行處理，即可定義每個工作需要輸入的特徵矩陣的列。

2.1.整體並行處理

pipeline包提供了FeatureUnion類來進行整體並行處理：

整體並行處理有其缺陷，在一些場景下，我們只需要對特徵矩陣的某些列進行轉換，而不是所有列。pipeline並沒有提供相應的類，需要我們在FeatureUnion的基礎上進行優化：

在本文提出的場景中，我們對特徵矩陣的第1列(花的顏色)進行定性特徵編碼，對第2、3、4列進行對數函數轉換，對第5列進行定量特徵二值化處理。使用FeatureUnionExt類進行部分並行處理的代碼如下：

3.流水線處理

pipeline包提供了Pipeline類來進行流水線處理。流水線上除最後一個工作以外，其他都要執行fit_transform方法，且上一個工作輸出作為下一個工作的輸入。最後一個工作必須實現fit方法，輸入為上一個工作的輸出;但是不限定一定有transform方法，因為流水線的最後一個工作可能是訓練!

根據本文提出的場景，結合併行處理，構建完整的流水線的代碼如下：

4.自動化調參

網格搜索為自動化調參的常見技術之一，grid_search包提供了自動化調參的工具，包括GridSearchCV類。對組合好的對象進行訓練以及調參的代碼如下：

5.持久化

externals.joblib包提供了dump和load方法來持久化和載入內存數據：

6.回顧

注意：組合和持久化都會涉及pickle技術，在sklearn的技術文檔中有說明，將lambda定義的函數作為FunctionTransformer的自定義轉換函數將不能pickle化。

http://weixin.qq.com/r/ZDnC2j-E5GKbrXu592x2 (二維碼自動識別)

關注LeadAI公眾號，查看更多專業文章