標籤：

如何學習特徵工程？

01-12

數據挖掘中特徵工程常用的具體方法有哪些？如何系統的學習？有推薦的學習書籍或者網站嗎？還是說要在項目中學習？謝謝。

作者：城東

鏈接：特徵工程到底是什麼？ - 城東的回答

來源：知乎

著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。

轉自我的博文：

使用sklearn做單機特徵工程

目錄

1 特徵工程是什麼？

2 數據預處理

　　2.1 無量綱化

　　　　2.1.1 標準化

　　　　2.1.2 區間縮放法

　　　　2.1.3 標準化與歸一化的區別

　　2.2 對定量特徵二值化

　　2.3 對定性特徵啞編碼

　　2.4 缺失值計算

　　2.5 數據變換

3 特徵選擇

　　3.1 Filter

　　　　3.1.1 方差選擇法

　　　　3.1.2 相關係數法

　　　　3.1.3 卡方檢驗

　　　　3.1.4 互信息法

　　3.2 Wrapper

　　　　3.2.1 遞歸特徵消除法

　　3.3 Embedded

　　　　3.3.1 基於懲罰項的特徵選擇法

　　　　3.3.2 基於樹模型的特徵選擇法

4 降維

　　4.1 主成分分析法（PCA）

　　4.2 線性判別分析法（LDA）

5 總結

6 參考資料

1 特徵工程是什麼？

　　有這麼一句話在業界廣泛流傳：數據和特徵決定了機器學習的上限，而模型和演算法只是逼近這個上限而已。那特徵工程到底是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特徵以供演算法和模型使用。通過總結和歸納，人們認為特徵工程包括以下方面：

　　特徵處理是特徵工程的核心部分，sklearn提供了較為完整的特徵處理方法，包括數據預處理，特徵選擇，降維等。首次接觸到sklearn，通常會被其豐富且方便的演算法模型庫吸引，但是這裡介紹的特徵處理庫也十分強大！

　　本文中使用sklearn中的IRIS（鳶尾花）數據集來對特徵處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特徵（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特徵值都為正浮點數，單位為厘米。目標值為鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。導入IRIS數據集的代碼如下：

from sklearn.datasets import load_iris

#導入IRIS數據集
iris = load_iris()

#特徵矩陣
iris.data

#目標向量
iris.target

2 數據預處理

　　通過特徵提取，我們能得到未經處理的特徵，這時的特徵可能有以下問題：

  • 不屬於同一量綱：即特徵的規格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。
  • 信息冗餘：對於某些定量特徵，其包含的有效信息為區間劃分，例如學習成績，假若只關心「及格」或不「及格」，那麼需要將定量的考分，轉換成「1」和「0」表示及格和未及格。二值化可以解決這一問題。
  • 定性特徵不能直接使用：某些機器學習演算法和模型只能接受定量特徵的輸入，那麼需要將定性特徵轉換為定量特徵。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過於靈活，增加了調參的工作。通常使用啞編碼的方式將定性特徵轉換為定量特徵：假設有N種定性值，則將這一個特徵擴展為N種特徵，當原始特徵值為第i種定性值時，第i個擴展特徵賦值為1，其他擴展特徵賦值為0。啞編碼的方式相比直接指定的方式，不用增加調參的工作，對於線性模型來說，使用啞編碼後的特徵可達到非線性的效果。
  • 存在缺失值：缺失值需要補充。
  • 信息利用率低：不同的機器學習演算法和模型對數據中信息的利用是不同的，之前提到在線性模型中，使用對定性特徵啞編碼可以達到非線性的效果。類似地，對定量變數多項式化，或者進行其他的轉換，都能達到非線性的效果。

　　我們使用sklearn中的preproccessing庫來進行數據預處理，可以覆蓋以上問題的解決方案。

2.1 無量綱化

　　無量綱化使不同規格的數據轉換到同一規格。常見的無量綱化方法有標準化和區間縮放法。標準化的前提是特徵值服從正態分布，標準化後，其轉換成標準正態分布。區間縮放法利用了邊界值信息，將特徵的取值區間縮放到某個特點的範圍，例如[0, 1]等。

2.1.1 標準化

　　標準化需要計算特徵的均值和標準差，公式表達為：

　　使用preproccessing庫的StandardScaler類對數據進行標準化的代碼如下：

from sklearn.preprocessing import StandardScaler

#標準化，返回值為標準化後的數據
StandardScaler().fit_transform(iris.data)

2.1.2 區間縮放法

　　區間縮放法的思路有多種，常見的一種為利用兩個最值進行縮放，公式表達為：

　　使用preproccessing庫的MinMaxScaler類對數據進行區間縮放的代碼如下：

from sklearn.preprocessing import MinMaxScaler

#區間縮放，返回值為縮放到[0, 1]區間的數據
MinMaxScaler().fit_transform(iris.data)

2.1.3 標準化與歸一化的區別

　　簡單來說，標準化是依照特徵矩陣的列處理數據，其通過求z-score的方法，將樣本的特徵值轉換到同一量綱下。歸一化是依照特徵矩陣的行處理數據，其目的在於樣本向量在點乘運算或其他核函數計算相似性時，擁有統一的標準，也就是說都轉化為「單位向量」。規則為l2的歸一化公式如下：

　　使用preproccessing庫的Normalizer類對數據進行歸一化的代碼如下：

from sklearn.preprocessing import Normalizer

#歸一化，返回值為歸一化後的數據
Normalizer().fit_transform(iris.data)

2.2 對定量特徵二值化

　　定量特徵二值化的核心在於設定一個閾值，大於閾值的賦值為1，小於等於閾值的賦值為0，公式表達如下：

　　使用preproccessing庫的Binarizer類對數據進行二值化的代碼如下：

from sklearn.preprocessing import Binarizer

#二值化，閾值設置為3，返回值為二值化後的數據
Binarizer(threshold=3).fit_transform(iris.data)

2.3 對定性特徵啞編碼

　　由於IRIS數據集的特徵皆為定量特徵，故使用其目標值進行啞編碼（實際上是不需要的）。使用preproccessing庫的OneHotEncoder類對數據進行啞編碼的代碼如下：

from sklearn.preprocessing import OneHotEncoder

#啞編碼，對IRIS數據集的目標值，返回值為啞編碼後的數據
OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))

2.4 缺失值計算

　　由於IRIS數據集沒有缺失值，故對數據集新增一個樣本，4個特徵均賦值為NaN，表示數據缺失。使用preproccessing庫的Imputer類對數據進行缺失值計算的代碼如下：

from numpy import vstack, array, nan
from sklearn.preprocessing import Imputer

#缺失值計算，返回值為計算缺失值後的數據
#參數missing_value為缺失值的表示形式，默認為NaN
#參數strategy為缺失值填充方式，默認為mean（均值）
Imputer().fit_transform(vstack((array([nan, nan, nan, nan]), iris.data)))

2.5 數據變換

　　常見的數據變換有基於多項式的、基於指數函數的、基於對數函數的。4個特徵，度為2的多項式轉換公式如下：

　　使用preproccessing庫的PolynomialFeatures類對數據進行多項式轉換的代碼如下：

from sklearn.preprocessing import PolynomialFeatures

#多項式轉換
#參數degree為度，默認值為2
PolynomialFeatures().fit_transform(iris.data)

　　基於單變元函數的數據變換可以使用一個統一的方式完成，使用preproccessing庫的FunctionTransformer對數據進行對數函數轉換的代碼如下：

from numpy import log1p
from sklearn.preprocessing import FunctionTransformer

#自定義轉換函數為對數函數的數據變換
#第一個參數是單變元函數
FunctionTransformer(log1p).fit_transform(iris.data)

3 特徵選擇

　　當數據預處理完成後，我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特徵：

  • 特徵是否發散：如果一個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本上沒有差異，這個特徵對於樣本的區分並沒有什麼用。
  • 特徵與目標的相關性：這點比較顯見，與目標相關性高的特徵，應當優選選擇。除方差法外，本文介紹的其他方法均從相關性考慮。

　　根據特徵選擇的形式又可以將特徵選擇方法分為3種：

  • Filter：過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。
  • Wrapper：包裝法，根據目標函數（通常是預測效果評分），每次選擇若干特徵，或者排除若干特徵。
  • Embedded：集成法，先使用某些機器學習的演算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於Filter方法，但是是通過訓練來確定特徵的優劣。

　　我們使用sklearn中的feature_selection庫來進行特徵選擇。

3.1 Filter

3.1.1 方差選擇法

　　使用方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的代碼如下：

from sklearn.feature_selection import VarianceThreshold

#方差選擇法，返回值為特徵選擇後的數據
#參數threshold為方差的閾值
VarianceThreshold(threshold=3).fit_transform(iris.data)

3.1.2 相關係數法

　　使用相關係數法，先要計算各個特徵對目標值的相關係數以及相關係數的P值。用feature_selection庫的SelectKBest類結合相關係數來選擇特徵的代碼如下：

from sklearn.feature_selection import SelectKBest
from scipy.stats import pearsonr

#選擇K個最好的特徵，返回選擇特徵後的數據
#第一個參數為計算評估特徵是否好的函數，該函數輸入特徵矩陣和目標向量，輸出二元組（評分，P值）的數組，數組第i項為第i個特徵的評分和P值。在此定義為計算相關係數
#參數k為選擇的特徵個數
SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

3.1.3 卡方檢驗

　　經典的卡方檢驗是檢驗定性自變數對定性因變數的相關性。假設自變數有N種取值，因變數有M種取值，考慮自變數等於i且因變數等於j的樣本頻數的觀察值與期望的差距，構建統計量：

　　不難發現，這個統計量的含義簡而言之就是自變數對因變數的相關性。用feature_selection庫的SelectKBest類結合卡方檢驗來選擇特徵的代碼如下：

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

#選擇K個最好的特徵，返回選擇特徵後的數據
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)

3.1.4 互信息法

　　經典的互信息也是評價定性自變數對定性因變數的相關性的，互信息計算公式如下：

　　為了處理定量數據，最大信息係數法被提出，使用feature_selection庫的SelectKBest類結合最大信息係數法來選擇特徵的代碼如下：

from sklearn.feature_selection import SelectKBest
from minepy import MINE

#由於MINE的設計不是函數式的，定義mic方法將其為函數式的，返回一個二元組，二元組的第2項設置成固定的P值0.5
def mic(x, y):
m = MINE()
m.compute_score(x, y)
return (m.mic(), 0.5)

#選擇K個最好的特徵，返回特徵選擇後的數據
SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

3.2 Wrapper

3.2.1 遞歸特徵消除法

　　遞歸消除特徵法使用一個基模型來進行多輪訓練，每輪訓練後，消除若干權值係數的特徵，再基於新的特徵集進行下一輪訓練。使用feature_selection庫的RFE類來選擇特徵的代碼如下：

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

#遞歸特徵消除法，返回特徵選擇後的數據
#參數estimator為基模型
#參數n_features_to_select為選擇的特徵個數
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

3.3 Embedded

3.3.1 基於懲罰項的特徵選擇法

　　使用帶懲罰項的基模型，除了篩選出特徵外，同時也進行了降維。使用feature_selection庫的SelectFromModel類結合帶L1懲罰項的邏輯回歸模型，來選擇特徵的代碼如下：

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression

#帶L1懲罰項的邏輯回歸作為基模型的特徵選擇
SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)

　　實際上，L1懲罰項降維的原理在於保留多個對目標值具有同等相關性的特徵中的一個，所以沒選到的特徵不代表不重要。故，可結合L2懲罰項來優化。具體操作為：若一個特徵在L1中的權值為1，選擇在L2中權值差別不大且在L1中權值為0的特徵構成同類集合，將這一集合中的特徵平分L1中的權值，故需要構建一個新的邏輯回歸模型：

from sklearn.linear_model import LogisticRegression

class LR(LogisticRegression):
def __init__(self, threshold=0.01, dual=False, tol=1e-4, C=1.0,
fit_intercept=True, intercept_scaling=1, class_weight=None,
random_state=None, solver="liblinear", max_iter=100,
multi_class="ovr", verbose=0, warm_start=False, n_jobs=1):

#權值相近的閾值
self.threshold = threshold
LogisticRegression.__init__(self, penalty="l1", dual=dual, tol=tol, C=C,
fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight=class_weight,
random_state=random_state, solver=solver, max_iter=max_iter,
multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
#使用同樣的參數創建L2邏輯回歸
self.l2 = LogisticRegression(penalty="l2", dual=dual, tol=tol, C=C, fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight = class_weight, random_state=random_state, solver=solver, max_iter=max_iter, multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)

def fit(self, X, y, sample_weight=None):
#訓練L1邏輯回歸
super(LR, self).fit(X, y, sample_weight=sample_weight)
self.coef_old_ = self.coef_.copy()
#訓練L2邏輯回歸
self.l2.fit(X, y, sample_weight=sample_weight)

cntOfRow, cntOfCol = self.coef_.shape
#權值係數矩陣的行數對應目標值的種類數目
for i in range(cntOfRow):
for j in range(cntOfCol):
coef = self.coef_[i][j]
#L1邏輯回歸的權值係數不為0
if coef != 0:
idx = [j]
#對應在L2邏輯回歸中的權值係數
coef1 = self.l2.coef_[i][j]
for k in range(cntOfCol):
coef2 = self.l2.coef_[i][k]
#在L2邏輯回歸中，權值係數之差小於設定的閾值，且在L1中對應的權值為0
if abs(coef1-coef2) &< self.threshold and j != k and self.coef_[i][k] == 0: idx.append(k) #計算這一類特徵的權值係數均值 mean = coef / len(idx) self.coef_[i][idx] = mean return self

　　使用feature_selection庫的SelectFromModel類結合帶L1以及L2懲罰項的邏輯回歸模型，來選擇特徵的代碼如下：

from sklearn.feature_selection import SelectFromModel

#帶L1和L2懲罰項的邏輯回歸作為基模型的特徵選擇
#參數threshold為權值係數之差的閾值
SelectFromModel(LR(threshold=0.5, C=0.1)).fit_transform(iris.data, iris.target)

3.3.2 基於樹模型的特徵選擇法

　　樹模型中GBDT也可用來作為基模型進行特徵選擇，使用feature_selection庫的SelectFromModel類結合GBDT模型，來選擇特徵的代碼如下：

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import GradientBoostingClassifier

#GBDT作為基模型的特徵選擇
SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)

4 降維

　　當特徵選擇完成後，可以直接訓練模型了，但是可能由於特徵矩陣過大，導致計算量大，訓練時間長的問題，因此降低特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型以外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點，其本質是要將原始的樣本映射到維度更低的樣本空間中，但是PCA和LDA的映射目標不一樣：PCA是為了讓映射後的樣本具有最大的發散性；而LDA是為了讓映射後的樣本有最好的分類性能。所以說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。

4.1 主成分分析法（PCA）

　　使用decomposition庫的PCA類選擇特徵的代碼如下：

from sklearn.decomposition import PCA

#主成分分析法，返回降維後的數據
#參數n_components為主成分數目
PCA(n_components=2).fit_transform(iris.data)

4.2 線性判別分析法（LDA）

　　使用lda庫的LDA類選擇特徵的代碼如下：

from sklearn.lda import LDA

#線性判別分析法，返回降維後的數據
#參數n_components為降維後的維數
LDA(n_components=2).fit_transform(iris.data, iris.target)

5 總結

　　再讓我們回歸一下本文開始的特徵工程的思維導圖，我們可以使用sklearn完成幾乎所有特徵處理的工作，而且不管是數據預處理，還是特徵選擇，抑或降維，它們都是通過某個類的方法fit_transform完成的，fit_transform要不只帶一個參數：特徵矩陣，要不帶兩個參數：特徵矩陣加目標向量。這些難道都是巧合嗎？還是故意設計成這樣？方法fit_transform中有fit這一單詞，它和訓練模型的fit方法有關聯嗎？接下來，我將在《使用sklearn優雅地進行數據挖掘》中闡述其中的奧妙！

6 參考資料

  1. FAQ: What is dummy coding?
  2. IRIS（鳶尾花）數據集
  3. 卡方檢驗
  4. 乾貨：結合Scikit-learn介紹幾種常用的特徵選擇方法
  5. 機器學習中，有哪些特徵選擇的工程方法？
  6. 機器學習中的數學(4)-線性判別分析（LDA）, 主成分分析(PCA)

特徵工程就是基於你對業務的深入了解。

科學總把簡單的問題轉化的很複雜，在彰顯其嚴謹的同時，也把大部分的學習者擋在了門外，jacky跟大家談談如何深入淺出的學習特徵工程？

《特徵工程三部曲》之一數據處理

要理解特徵工程，首先就要理解好數據（Data）和特徵（Feature）的概念

（一）邏輯梳理

  • 特徵工程（Feature Engineering）
    • 其本質上是一項工程活動，它目的是最大限度地從原始數據中提取特徵以供演算法和模型使用。

特徵工程在數據挖掘中有舉足輕重的位置

數據領域一致認為：數據和特徵決定了機器學習的上限，而模型和演算法只能逼近這個上限而已。

  • 特徵工程重要性：
    • 特徵越好，靈活性越強；
    • 特徵越好，模型越簡單；
    • 特徵越好，性能越出色；

好特徵即使使用一般的模型，也能得到很好的效果！好特徵的靈活性在於它允許你可以選擇不複雜的模型，同時，運行速度也更快，也更容易理解和維護。

好的特徵，即使參數不是最優解，模型性能也能表現很好，因此，不需要太多時間去尋找最優參數，大大的降低了模型的複雜度，使模型趨向簡單。

模型的性能包括模型的效果，執行的效率及模型的可解釋性。特徵工程的最終目的就是提升模型的性能。

數據科學家通過總結和歸納，把特徵工程劃分為以下三個部分：

  • 特徵工程包括：
    • 數據處理
    • 特徵選擇
    • 維度壓縮

（二）數據處理

數據處理的常用技巧

  • 量綱不一
  • 虛擬變數
  • 缺失值填充

1.數據處理——量綱不一

  • 量綱：就是單位，特徵的單位不一致，特徵就不能放在一起比較。
  • 解決量綱不一致的方法：標準化
    • 0-1標準化
    • Z標準化
    • Normalizer歸一化

（1）0-1標準化

是對原始數據進行線性變換，將特徵值映射成區間為［0，1］的標準值中：

（2）Z標準化

基於特徵值的均值（mean）和標準差（standard deviation）進行數據的標準化。它的計算公式為：

標準化後的變數值圍繞0上下波動，大於0說明高於平均水平，小於0說明低於平均水平。

（3）Normalizer歸一化

將每個樣本縮放到單位範數（每個樣本的範數為1），計算公式如下：

（4）如何使用sklearn實現標準化

sklearn簡介

  • sklearn
    • 全名Scikit-Learn，是基於Python的機器學習模塊，基於BSD開源許可證，官網上可以找到相關sklearn的資源，模塊下載，文檔，歷程等等；
    • sklearn的數據結構基於numpy和pandas;
    • sklearn的數據計算基於scipy;
    • sklearn的數據可視化基於matplotlib;
  • sklearn是在現有的數據分析，數據計算，數據可視化最好的包的基礎上，搭建起來的最好python 機器學習的框架；
  • sklearn的六大基本功能
    • 分類
    • 回歸
    • 聚類
    • 數據降維
    • 模型選擇
    • 模型預處理
  • sklearn處理機器學習問題的三個步驟：
    • 數據準備與預處理
    • 模型選擇與訓練
    • 模型驗證與參數調優

用sklearn實現標準化

#導入數據到data變數中
import pandas
data = pandas.read_csv("路徑.csv")

#（一）Min-Max 標準化

from sklearn.preprocessing import MinMaxScaler
#初始化一個scaler對象
scaler = MinMaxScaler()
#調用scaler的fit_transform方法，把我們要處理的列作為參數傳進去

data["標準化後的A列數據"] = scaler.fit_transform(data["A列數據"])
data["標準化後的B列數據"] = scaler.fit_transform(data["B列數據"])

#（二）Z-Score標準化 （可在scale中直接實現）

from sklearn.preprocessing import scale
data["標準化後的A列數據"] = scale(data["A列數據"])
data["標準化後的B列數據"] = scale(data["B列數據"])

# (三) Normalizer歸一化

from sklearn.preprocessing import Normalizer
scaler = Normalizer()
#歸一化可以同時處理多個列，所以[0]第一個進行賦值
data["歸一化後的A列數據"] = scaler.fit_transform(data["A列數據"])[0]
data["歸一化後的B列數據"] = scaler.fit_transform(data["B列數據"])[0]

2.數據處理——虛擬變數

  • 虛擬變數：也叫啞變數和離散特徵編碼，可用來表示分類變數、非數據因素可能產生的影響。
  • 虛擬變數的兩種數據類型：
    • 離散特徵的取值之間有大小的意義：例如：尺寸（L、XL、XXL）
    • 離散特徵的取值之間沒有大小的意義：例如：顏色（Red、Blue、Green）
  • 離散特徵值有大小意義的虛擬變數處理
    • 離散特徵的取值之間有大小意義的處理函數，我們只需要把大小值以字典的方式，作為第一個參數傳入即可；
    • (1) dict 映射的字典
    • pandas.Series.map(dict)
  • 離散特徵值沒有大小意義的虛擬變數處理
    • 離散特徵的取值之間沒有大小意義的處理方法，我們可以使用get_dummies方法處理，它有6個常用的參數
    • (1) data 要處理的DataFrame
    • (2) prefix 列名的前綴，在多個列有相同的離散項時候使用
    • (3) prefix_sep 前綴和離散值的分隔符，默認為下劃線，默認即可
    • (4) dummy_na 是否把NA值，作為一個離散值進行處理，默認不處理
    • (5) columns 要處理的列名，如果不指定該列，那麼默認處理所有列
    • (6) drop_first 是否從備選項中刪第一個，建模的時候為避免共線性使用
    • pandas.getdummies(data,prefix=None,prefix_sep=』『,dummy_na=False,columns=None,drop_first=False)

虛擬變數—實戰案例

以互聯網金融行業為例：

import pandas
#有些朋友也可能是encoding="utf8"或其他
data=pandas.read_csv(
"file:///Users/apple/Desktop/jacky_1.csv",encoding="GBK"
)
print(data)

其實，虛擬變數的實質就是要把離散型的數據轉化為連續型的數據，因為第1列年齡已經是連續值，所以我們就不需要處理了。

我們看看如何處理學歷和性別？

因為不同學歷之間是有高低之分的，因此我們要使用Map方法來處理這種類型的離散型數據；

  • 第1步： 首先我們要處理不同學歷之間的大小值
    • 我們使用drop_duplicates方法，來看看數據列都有哪些學歷

#查看學歷去重之後的情況
data["學歷"].drop_duplicates()

  • 第2步：理解數據值背後的意義，作出我們自己的解析，對每個學歷進行評分

#構建學歷字典
educationLevelDict={"博士":4,"碩士":3,"大學":2,"大專":1}
#調用Map方法進行虛擬變數的轉換
data["Education Level Map"]=data["Education Level"].map(educationLevelDict)

  • 第3步 對於性別這種沒有大小比較的離散變數，我們使用get_dummies方法，來進行調用處理即可；

dummies=pandas.get_dummies(
data,
columns=["性別"],
prefix=["性別"],
prefix_sep="_",
dummy_na=False,
drop_first=False)

完整代碼展示

import pandas
data=pandas.read_csv(
"file:///Users/apple/Desktop/jacky_1.csv",encoding="GBK"
)

data["學歷"].drop_duplicates()
educationLevelDict={"博士":4,"碩士":3,"大學":2,"大專":1}
data["學歷 Map"]=data["學歷"].map(educationLevelDict)

dummies=pandas.get_dummies(
data,columns=["性別"],
prefix=["性別"],
prefix_sep="_",
dummy_na=False,
drop_first=False
)

print(dummies)

3.數據處理——缺失值填充

  • 缺失值產生原因
    • 有些信息暫時無法獲取；
    • 有些信息被遺漏或者錯誤的處理了
  • 缺失值處理方法
    • 數據補齊
    • 刪除缺失行
    • 不處理

實操－使用統計指標填充缺失值

import pandas
data=pandas.read_csv("路徑.csv")
from sclera.preprocessing import Imputer
#"mean","median","most_frequent"

imputer=Imputer(strategy="mean")
imputer.fit_transform(data[["需填充列的列名"]])

《特徵工程三部曲》之二 數據選擇

（一）什麼特徵選擇

  • 特徵選擇 ( Feature Selection )也稱特徵子集選擇( Feature Subset Selection , FSS ) ，或屬性選擇( Attribute Selection ) ，是指從全部特徵中選取一個特徵子集，使構造出來的模型更好。

（二）為什麼要做特徵選擇

  • 在機器學習的實際應用中，特徵數量往往較多，其中可能存在不相關的特徵，特徵之間也可能存在相互依賴，容易導致如下的後果：
    • 特徵個數越多，分析特徵、訓練模型所需的時間就越長。
    • 特徵個數越多，容易引起「維度災難」，模型也會越複雜，其推廣能力會下降。
  • 特徵選擇能剔除不相關(irrelevant)或亢余(redundant )的特徵，從而達到減少特徵個數，提高模型精確度，減少運行時間的目的。另一方面，選取出真正相關的特徵簡化了模型，使研究人員易於理解數據產生的過程。

（三）特徵選擇基本原則

數據預處理完成之後，我們需要選擇有意義的特徵，輸入機器學習的演算法和模型進行訓練，通常來說，從兩個方面考慮來選擇特徵

  • 如何選擇特徵
    • 是否發散
    • 是否相關

如果一個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本沒有差異，那我們就可以判斷，這個特徵對於樣本的區別並沒有什麼用

第二個是特徵與目標的相關性，與目標相關性高的特徵應該優先選擇

（四）特徵選擇常用的四種方法

我們以互聯網金融實際情景舉例：

  • 說白了，特徵選擇，就是看累計銷售和用戶忠誠度評分能不能成為金融產品的特徵，我們會有一系統的評估標準，當然這些評估標準也都有人為主觀判斷在的。

1.方差選擇法(過濾法)

  • 使用方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的代碼如下：

#首先把數據導入到data變數中
import pandas
data=pandas.read_csv("路徑.csv")

#使用VarianceThreshold類進行方差過濾
from sklearn.feature_selection import VarianceThreshold

#要生成這個類的對象，就需要一個參數，就是最小方差的閾值，我們先設置為1，
#然後調用它的transform方法進行特徵值的過濾
variancethreshold=VarianceThreshold(threshold=1)
variancethreshold.fit_transform(
data[["累計銷售（億）","用戶忠誠度評分"]]
)

#使用get_support方法，可以得到選擇特徵列的序號，
#然後根據這個序號在原始數據中把對應的列名選擇出來即可
varianceThreshold.get_support()

threshold=1兩個特徵都被顯示出來了

為什麼閾值設定為1，累計銷售與用戶忠誠度這兩個特徵都被選擇了出來？

首先我們看下累計銷售與用戶忠誠度各自的方差是什麼？

#看下這兩個特徵的方差是什麼？data[["累計銷售（億）","用戶忠誠度評分"]].std()

2.相關係數法

  • 先計算各個特徵對目標值的相關係數，選擇更加相關的特徵。

以互聯網金融行業為例

#首先導入數據到data變數中
import pandas
data=pandas.read_csv("路徑.csv")

#然後，SelectKBest類，通過回歸的方法，以及要選擇多少個特徵值，
#新建一個 SelectKBest對象，
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import f_regression

selectKBest = SelectKBest(
f_regression,k=2
)

#接著，把自變數選擇出來，然後調用fit_transform方法，
#把自變數和因變數傳入，即可選出相關度最高的兩個變數。
feature =data[["月份","季度","廣告推廣費","註冊並投資人數"]]
bestFeature =selectKBest.fit_transform(
feature,
data["銷售金額"]
)

#我們想要知道這兩個自變數的名字，使用get_support方法即可得到相應的列名
feature.columns[selectKBest.get_support()]

最終，python幫助我們選擇的特徵是：

3.遞歸特徵消除法

  • 使用一個基模型來進行多輪訓練，經過多輪訓練後，保留指定的特徵數。

還是延用上面那個案例

#首先導入數據到data變數中
import pandas
data=pandas.read_csv("路徑.csv")

#接著，我們使用RFE類，在estimator中，
#把我們的基模型設置為線性回歸模型LinearRegression,
#然後在把我們要選擇的特徵數設置為2，
#接著就可以使用這個rfe對象，把自變數和因變數傳入fit_transform方法，
#即可得到我們需要的特徵值
from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression

feature =data[["月份","季度","廣告推廣費","註冊並投資人數"]]

rfe =RFE(
estimator=LinearRegression(),
n_features_to_select=2
)
sFeature = rfe.fit_transform(
feature,
data["銷售金額"]
)

#同理，我們要想知道這兩個自變數的名字，
#使用get_support方法，即可得到對應的列名
rfe.get_support()

4.模型選擇法

  • 它是一種我們把建好的模型對象傳入選擇器，然後它會根據這個已經建好的模型，自動幫我嗎選擇最好的特徵值。

還是延用上面那個案例

import pandas
data = pandas.read_csv(
"file:///Users/apple/Desktop/jacky_2.csv",
encoding="GBK")

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LinearRegression

feature =data[["月份","季度","廣告推廣費","註冊並投資人數"]]
lrModel = LinearRegression()

selectFromModel = SelectFromModel(lrModel)

selectFromModel.fit_transform(
feature,
data["銷售金額"]
)
selectFromModel.get_support()

  • 這裡jacky就強調一點，模型選擇法並不需要指定我們需要多少個特徵，selectFromModel的方法會自動幫我們選擇最優的特徵數

（五）總結

  • 科學總把簡單的問題轉化的很複雜
  • 有時間的小夥伴可以思考一下，特徵選擇的第一個方法對應的就是發散性，後面三個方法對應的就是回歸。我們細細琢磨，後三個方法其實是一回事，但是得到的結果卻略有不同，參透這其中的道理，也就參透數據挖掘和機器學習的奧秘了。

《特徵工程三部曲》之三 維度壓縮

當特徵選擇完成之後，就可以直接訓練模型了，但是可能由於特徵矩陣過大導致計算量大，訓練時間長的問題；因此，降低特徵矩陣維度，也是必不可少的，主成分分析就是最常用的降維方法，在減少數據集的維度的同時，保持對方差貢獻最大的特徵，在sklearn中，我們使用PCA類進行主成分分析。

  • 主成分分析（Principal Components Analysis）
  • PCA API
    • 有一個參數用於設置主成分的個數：pca_3=PCA(n_components=3)，設置好參數後，就可以生成PCA的對象了
    • 接著我們可以調用fit_transform方法對高維數據進行壓縮：data_pca_3=pca3.fit_transform(data)

我們人類只能看到三維數據，那麼怎樣把四維數據壓縮到三維數據呢？

#導入iris特徵數據到data變數中
import pandas
from sklearn import datasets
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from mpl_toolkits.mplot3d import Axes3D

iris =datasets.load_iris()

data = iris.data

#分類變數到target變數中
target = iris.target

#使用主成分分析，將四維數據壓縮為三維
pca_3 = PCA(n_components=3)
data_pca_3 = pca_3.fit_transform(data)

#繪圖
colors={0:"r",1:"b",2:"k"}
markers={0:"x",1:"D",2:"o"}

#彈出圖形
#%matplotlib qt

#三維數據
fig = plt.figure(1,figsize=(8,6))
ax = Axes3D(fig,elev=-150,azim=110)

data_pca_gb = pandas.DataFrame(
data_pca_3
).groupby(target)

for g in data_pca_gb.groups:
ax.scatter(
data_pca_gb.get_group(g)[0],
data_pca_gb.get_group(g)[1],
data_pca_gb.get_group(g)[2],
c=colors[g],
marker=markers[g],
cmap=plt.cm.Paired
)
plt.show()

生成的效果圖如下：

End ... ...

鏈接：【持續更新】機器學習特徵工程實用技巧大全 - 知乎專欄

彙集已知特徵工程技巧，包括一些入門級教程沒有的trick。

機器學習 - 標籤 - Charlotte77 - 博客園

這個博主寫了一系列的特徵工程相關的博文，目前更了數據清洗 數據轉換 降維，講得很詳細。

新手用不同演算法跑kaggle，老手用特徵工程掙獎金。

我研究一個問題，一般總會按照「why—what——how」的思考框架來思考。

1.Why——為什麼要進行特徵選擇？

我們並沒有辦法把客觀實體，塞進一個演算法如決策樹，隨機森林，SVM等，得到一個結果。

所以需要對客觀世界對象建立近似模型，模型以機器挖掘演算法能夠理解的近似的方式來表示客觀對象。而特徵可用於建模，只有先把客觀對象用特徵表示出來，才能藉助數據挖掘的力量找到問題的答案。

也就是說模型描述了客觀世界對象的某些方面，是客觀世界對象的一個簡化版本。它降低真實世界的複雜度，讓問題有了被解決的可能性。

然而通常情況下，特徵數量很多，但我們只想選用其中一小部分。這樣做有如下幾個原因：

  • 降低複雜度：隨著特徵數量的增加，很多數據挖掘演算法需要更多的時間和資源。減少特徵數量，是提高演算法運行速度，減少資源使用的好方法。
  • 降低噪音：增加額外特徵並不總會提升演算法的表現。額外特徵可能擾亂演算法的正常工作，這些額外特徵間的相關性和模式沒有實際應用價值（這種情況在小數據集上很常見）。只選擇合適的特徵有助於減少出現沒有實際意義的相關性的幾率。
  • 增加模型可讀性：根據成千上萬個特徵創建的模型來解答一個問題，對計算機來說很容易，但模型對我們自己來說就晦澀無比。因此，使用更少的特徵，創建我們自己可以理解的模型，就很有必要。

然而，選擇合適的特徵是項技術活，需要考慮特徵和最終結果之間的相互關係——例如，身高這個特徵描述的是一個人外表的某個方面，但是不能說明這個人學習成績如何，所以預測學習成績時，我們沒必要去測量每個人的身高。

2.What——什麼是特徵選擇？

特徵選擇( Feature Selection )也稱特徵子集選擇( Feature Subset Selection , FSS )，或屬性選擇( Attribute Selection )。是指從已有的M個特徵(Feature)中選擇N個特徵使得系統的特定指標最優化，是從原始特徵中選擇出一些最有效特徵以降低數據集維度的過程，是提高學習演算法性能的一個重要手段，也是模式識別中關鍵的數據預處理步驟。對於一個學習演算法來說,好的學習樣本是訓練模型的關鍵。（來源於百度百科）

3.How——特徵選擇的方法：

數據驅動：分析手上已有的訓練數據，得出哪些x裡面的特徵對預測y最重要的。主要的四大種類方法如下：

  • 方差選擇法：使用方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。

scikit-learn 中的 VarianceThreshold 轉換器可用來刪除特徵值的方差達不到最低標準的特徵。

#創建簡單矩陣（10個個體、3個特徵的數據集）
import numpy as np
X = np.arange(30).reshape((10, 3))
X
#輸出：
array([[ 0, 1, 2],
[ 3, 4, 5],
[ 6, 7, 8],
[ 9, 10, 11],
[12, 13, 14],
[15, 16, 17],
[18, 19, 20],
[21, 22, 23],
[24, 25, 26],
[27, 28, 29]])

#把所有第二列的數值都改為1
X[:,1] = 1
X

#輸出：
array([[ 0, 1, 2],
[ 3, 1, 5],
[ 6, 1, 8],
[ 9, 1, 11],
[12, 1, 14],
[15, 1, 17],
[18, 1, 20],
[21, 1, 23],
[24, 1, 26],
[27, 1, 29]])
#第二列方差為0，而第一、三列特徵值方差很大

#來創建 VarianceThreshold 轉換器，用它處理數據集
from sklearn.feature_selection import VarianceThreshold
vt = VarianceThreshold()
Xt = vt.fit_transform(X)
Xt

#輸出：
array([[ 0, 2],
[ 3, 5],
[ 6, 8],
[ 9, 11],
[12, 14],
[15, 17],
[18, 20],
[21, 23],
[24, 26],
[27, 29]])

#輸出每一列的方差
print(vt.variances_)

#輸出：
[ 74.25 0. 74.25]

方差為0的特徵不但對數據挖掘沒有絲毫用處，相反還會拖慢演算法的運行速度。無論什麼時候，拿到數據後，先做下類似簡單、直接的分析，對數據集的特點做到心中有數。

  • 相關性：考察在我們已有的數據裡面的特徵x與預測值y的相關度

特徵很多的情況下，一般是去找表現好的單個特徵（單變數），依據是它們各自所能達到的精確度。分類任務通常是這麼做的，我們一般只要測量變數和目標類別之間的某種相關性就行。

單個特徵和某一類別之間相關性的計算方法有很多。最常用的有卡方檢驗（χ2）。其他方法還有互信息和信息熵。

經典的卡方檢驗是檢驗定性自變數對定性因變數的相關性。

#scikit-learn 提供了幾個用於選擇單變數特徵的轉換器，
#其中 SelectKBest 返回k個最佳特徵， SelectPercentile 返回表現最佳的前r%個特徵。

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
transformer = SelectKBest(score_func=chi2, k=n)
Xt_chi2 = transformer.fit_transform(X, y)
print(transformer.scores_)

在自然科學領域中，Pearson係數廣泛用於度量兩個變數之間的相關程度，其值介於-1與1之間。-1表示完全的負相關，1表示完全的正相關，0表示沒有線性相關。

Pearson Correlation速度快、易於計算，經常在拿到數據(經過清洗和特徵提取之後的)之後第一時間就執行。

from scipy.stats import pearsonr

# pearsonr(x, y)的輸入為特徵矩陣和目標向量
pearsonr(x,y)

# 輸出為二元組(score, p-value)的數組
(score, p-value)

Pearson相關係數的一個明顯缺陷是，作為特徵排序機制，他只對線性關係敏感。如果關係是非線性的，即便兩個變數具有一一對應的關係，Pearson相關性也可能會接近0

  • 迭代刪除（增加）：確定要使用哪個演算法後，選擇最合適的訓練子集，從而使得模型的效果最好
  • 基於模型：通過隨機森林等可以直接得出每個訓練特徵的重要性的模型；或者是在進行預測時加入的一些正則化調整，引起的對特徵的篩選，從而挑選出最重要的特徵

領域專家：挑選好的特徵離不開直覺，這需要需要專業領域知識和數據挖掘經驗。

有時，僅僅選擇已有特徵不夠用。這時，我們就可以用不同的方法從已有特徵中發掘新特徵，比如連續特徵離散化，數值特徵轉化為分類特徵，分類特徵轉化為數值特徵等。

轉自我的專欄：用特徵選擇方法優化模型|python數據挖掘思考筆記(1)

推薦閱讀：

※如何研究inferring networks和mining RNA seq network？
※2013年是否有可用的「基於互聯網大數據的風險評估模型」？
※請教如何做用戶行為路徑分析？用python或者R實現！
※一個有三年工作經驗的優秀數據分析師所具備的能力有哪些？怎麼衡量？從哪幾個方面？

TAG:數據挖掘 | 機器學習 | 數據挖掘SPSS | 數據挖掘演算法工程師 | 文本數據挖掘 |