Python數據挖掘與機器學習技術入門實戰

05-04

摘要：什麼是數據挖掘？什麼是機器學習？又如何進行Python數據預處理？本文將帶領大家一同了解數據挖掘和機器學習技術，通過淘寶商品案例進行數據預處理實戰，通過鳶尾花案例介紹各種分類演算法。

本次直播視頻精彩回顧，戳這裡！

直播涉及到的PPT，戳這裡！

課程主講簡介：

韋瑋，企業家，資深IT領域專家/講師/作家，暢銷書《精通Python網路爬蟲》作者，阿里雲社區技術專家。

以下內容根據主講嘉賓視頻分享以及PPT整理而成。

本次課程包含了五個知識點：

1.數據挖掘與機器學習技術簡介

2.Python數據預處理實戰

3.常見分類演算法介紹

4.對鳶尾花進行分類案例實戰

5.分類演算法的選擇思路與技巧

一、數據挖掘與機器學習技術簡介

什麼是數據挖掘？數據挖掘指的是對現有的一些數據進行相應的處理和分析，最終得到數據與數據之間深層次關係的一種技術。例如在對超市貨品進行擺放時，牛奶到底是和麵包擺放在一起銷量更高，還是和其他商品擺在一起銷量更高。數據挖掘技術就可以用於解決這類問題。具體來說，超市的貨品擺放問題可以劃分為關聯分析類場景。

在日常生活中，數據挖掘技術應用的非常廣泛。例如對於商戶而言，常常需要對其客戶的等級（svip、vip、普通客戶等）進行劃分，這時候可以將一部分客戶數據作為訓練數據，另一部分客戶數據作為測試數據。然後將訓練數據輸入到模型中進行訓練，在訓練完成後，輸入另一部分數據進行測試，最終實現客戶等級的自動劃分。其他類似的應用例子還有驗證碼識別、水果品質自動篩選等。

那麼機器學習技術又是什麼呢？一言以蔽之，凡是讓機器通過我們所建立的模型和演算法對數據之間的關係或者規則進行學習，最後供我們利用的技術都是機器學習技術。其實機器學習技術是一個交叉的學科，它可以大致分為兩類：傳統的機器學習技術與深度學習技術，其中深度學習技術包含了神經網路相關技術。在本次課程中，著重講解的是傳統的機器學習技術及各種演算法。

由於機器學習技術和數據挖掘技術都是對數據之間的規律進行探索，所以人們通常將兩者放在一起提及。而這兩種技術在現實生活中也有著非常廣闊的應用場景，其中經典的幾類應用場景如下圖所示：

1、分類：對客戶等級進行劃分、驗證碼識別、水果品質自動篩選等

機器學習和數據挖掘技術可以用於解決分類問題，如對客戶等級進行劃分、驗證碼識別、水果品質自動篩選等。

以驗證碼識別為例，現需要設計一種方案，用以識別由0到9的手寫體數字組成的驗證碼。有一種解決思路是，先將一些出現的0到9的手寫體數字劃分為訓練集，然後人工的對這個訓練集進行劃分，即將各個手寫體映射到其對應的數字類別下面，在建立了這些映射關係之後，就可以通過分類演算法建立相應的模型。這時候如果出現了一個新的數字手寫體，該模型可以對該手寫體代表的數字進行預測，即它到底屬於哪個數字類別。例如該模型預測某手寫體屬於數字1的這個類別，就可以將該手寫體自動識別為數字1。所以驗證碼識別問題實質上就是一個分類問題。

水果品質的自動篩選問題也是一個分類問題。水果的大小、顏色等特徵也可以映射到對應的甜度類別下面，例如1這個類別可以代表甜，0這個類別代表不甜。在獲得一些訓練集的數據之後，同樣可以通過分類演算法建立模型，這時候如果出現一個新的水果，就可以通過它的大小、顏色等特徵來自動的判斷它到底是甜的還是不甜的。這樣就實現了水果品質的自動篩選。

2、回歸：對連續型數據進行預測、趨勢預測等

除了分類之外，數據挖掘技術和機器學習技術還有一個非常經典的場景——回歸。在前文提到的分類的場景，其類別的數量都有一定的限制。比如數字驗證碼識別場景中，包含了0到9的數字類別；再比如字母驗證碼識別場景中，包含了a到z的有限的類別。無論是數字類別還是字母類別，其類別數量都是有限的。

現在假設存在一些數據，在對其進行映射後，最好的結果沒有落在某個0、1或者2的點上，而是連續的落在1.2、1.3、1.4...上面。而分類演算法就無法解決這類問題，這時候就可以採用回歸分析演算法進行解決。在實際的應用中，回歸分析演算法可以實現對連續型數據進行預測和趨勢預測等。

3、聚類：客戶價值預測、商圈預測等

什麼是聚類？在上文中提過，要想解決分類問題，必須要有歷史數據（即人為建立的正確的訓練數據）。倘若沒有歷史數據，而需要直接將某對象的特徵劃分到其對應的類別，分類演算法和回歸演算法無法解決這個問題。這種時候有一種解決辦法——聚類，聚類方法直接根據對象特徵劃分出對應的類別，它是不需要經過訓練的，所以它是一種非監督的學習方法。

在什麼時候能用到聚類？假如資料庫中有一群客戶的特徵數據，現在需要根據這些客戶的特徵直接劃分出客戶的級別（如SVIP客戶、VIP客戶），這時候就可以使用聚類的模型去解決。另外在預測商圈的時候，也可以使用聚類的演算法。

4、關聯分析：超市貨品擺放、個性化推薦等

關聯分析是指對物品之間的關聯性進行分析。例如，某超市內存放有大量的貨品，現在需要分析出這些貨品之間的關聯性，如麵包商品與牛奶商品之間的關聯性的強弱程度，這時候可以採用關聯分析演算法，藉助於用戶的購買記錄等信息，直接分析出這些商品之間的關聯性。在了解了這些商品的關聯性之後，就可以將之應用於超市的商品擺放，通過將關聯性強的商品放在相近的位置上，可以有效提升該超市的商品銷量。

此外，關聯分析還可以用於個性化推薦技術。比如，藉助於用戶的瀏覽記錄，分析各個網頁之間存在的關聯性，在用戶瀏覽網頁時，可以向其推送強關聯的網頁。例如，在分析了瀏覽記錄數據後，發現網頁A與網頁C之間有很強的關聯關係，那麼在某個用戶瀏覽網頁A時，可以向他推送網頁C，這樣就實現了個性化推薦。

5、自然語言處理：文本相似度技術、聊天機器人等

除了上述的應用場景之外，數據挖掘和機器學習技術也可以用於自然語言處理和語音處理等等。例如對文本相似度的計算和聊天機器人。

二、Python數據預處理實戰

在進行數據挖掘與機器學習之前，首先要做的一步是對已有數據進行預處理。倘若連初始數據都是不正確的，那麼就無法保證最後的結果的正確性。只有對數據進行預處理，保證其準確性，才能保證最後結果的正確性。

數據預處理指的是對數據進行初步處理，把臟數據（即影響結果準確率的數據）處理掉，否則很容易影響最終的結果。常見的數據預處理方法如下圖所示：

1、缺失值處理

缺失值是指在一組數據中，某行數據缺失的某個特徵值。解決缺失值有兩種方法，一是將該缺失值所在的這行數據刪除掉，二是將這個缺失值補充一個正確的值。

2、異常值處理

異常值產生的原因往往是數據在採集時發生了錯誤，如在採集數字68時發生了錯誤，誤將其採集成680。在處理異常值之前，自然需要先發現這些異常值數據，往往可以藉助畫圖的方法來發現這些異常值數據。在對異常值數據處理完成之後，原始數據才會趨於正確，才能保證最終結果的準確性。

3、數據集成

相較於上文的缺失值處理和異常值處理，數據集成是一種較為簡單的數據預處理方式。那麼數據集成是什麼？假設存在兩組結構一樣的數據A和數據B，且兩組數據都已載入進入內存，這時候如果用戶想將這兩組數據合併為一組數據，可以直接使用Pandas對其進行合併，而這個合併的過程實際上就是數據的集成。

接下來以淘寶商品數據為例，介紹一下上文預處理的實戰。

在進行數據預處理之前，首先需要從MySQL資料庫中導入淘寶商品數據。在開啟MySQL資料庫之後，對其中的taob表進行查詢，得到了如下的輸出：

可以看到，taob表中有四個欄位。其中title欄位用於存儲淘寶商品的名稱；link欄位存儲淘寶商品的鏈接；price存儲淘寶商品的價格；comment存儲淘寶商品的評論數（一定程度上代表商品的銷量）。

那麼接下來如何將這些數據導入進來？首先通過pymysql連接資料庫（如果出現亂碼，則對pymysql的源碼進行修改），連接成功後，將taob中的數據全部檢索出來，然後藉助pandas中的read_sql()方法便可以將數據導入到內存中。read_sql()方法有兩個參數，第一個參數是sql語句，第二個參數是MySQL資料庫的連接信息。具體代碼如下圖：

1、缺失值處理實戰

對缺失值進行處理可以採用數據清洗的方式。以上面的淘寶商品數據為例，某件商品的評論數可能為0，但是它的價格卻不可能為0。然而實際上在資料庫內存在一些price值為0的數據，之所以會出現這種情況，是因為對部分數據的價格屬性沒有爬到。

那麼如何才能判斷出這些數據出現了缺失值呢？可以通過以下的方法來進行判別：首先對於之前的taob表調用data.describe()方法，會出現如下圖所示的結果：

如何看懂這個統計結果？第一步要注意觀察price和comment欄位的count數據，如果兩者不相等，說明一定有信息缺失；如果兩者相等，則暫時無法看出是否有缺失情況。例如price的count為9616.0000，而comment的count為9615.0000，說明評論數據至少缺失了一條。

其他各個欄位的含義分別為：mean代表平均數；std代表標準差；min代表最小值；max代表最大值。

那麼如何對這些缺失數據進行處理？一種方法是刪掉這些數據，還有一種方法是在缺失值處插入一個新值。第二種方法中的值可以是平均數或者中位數，而具體使用平均數還是中位數需要根據實際情況來決定。例如年齡這個數據（1到100歲），這類平穩、變化的級差不大的數據，一般插入平均數，而變化的間隔比較大的數據，一般插入中位數。

處理價格的缺失值的具體操作如下：

2、異常值處理實戰

跟缺失值的處理過程類似，想要處理異常值，首先要發現異常值。而異常值的發現往往是通過畫散點圖的方法，因為相似的數據會在散點圖中集中分布到一塊區域，而異常的數據會分布到遠離這塊區域的地方。根據這個性質，可以很方便的找到數據中的異常值。具體操作如下圖：

首先需要從數據中抽出價格數據和評論數據。通常的做法可以藉助循環去抽取，但是這種方法太複雜，有一種簡單的方法是這個數據框進行轉置，這時候原先的列數據就變成了現在的行數據，可以很方便的獲取價格數據和評論數據。接下來通過plot()方法繪製散點圖，plot()方法第一個參數代表橫坐標，第二個參數代表縱坐標，第三個參數代表圖的類型，」o」代表散點圖。最後通過show()方法將其展現出來，這樣就可以直觀的觀測到離群點。這些離群點對數據的分析沒有幫助，在實際操作中往往需要將這些離群點代表的數據刪除或者轉成正常的值。下圖是繪製的散點圖：

根據上圖所示，將評論大於100000，價格大於1000的數據都處理掉，就可以達到處理異常值的效果。而具體的兩種處理方法的實現過程如下：

第一種是改值法，將其改為中位數、平均數或者其他的值。具體操作如下圖所示：

第二種是刪除處理法，即直接刪除這些異常數據，也是推薦使用的一種方法。具體操作如下圖所示：

3、分布分析

分布分析是指對數據的分布狀態進行分析，即觀察其是線性分布還是正態分布。一般採用畫直方圖的方式來進行分布分析。直方圖的繪製有以下幾個步驟：計算極差、計算組距和繪製直方圖。具體的操作如下圖所示：

其中，藉助arrange()方法來制定樣式，arrange()方法第一個參數代表最小值，第二個參數代表最大值，第三個參數代表組距，接下來使用hist()方法來繪製直方圖。

taob表中的淘寶商品價格直方圖如下圖所示，大致上符合正態分布：

taob表中的淘寶商品評論直方圖如下圖所示，大致上是遞減的曲線：

4、詞雲圖的繪製

有的時候常常需要根據一段文本信息來進行詞雲圖的繪製，繪製的具體操作如下圖：

實現的大致流程是：先使用cut()對文檔進行切詞，在切詞完成之後，將這些詞語整理為固定格式，然後根據所需的詞雲圖的展現形式讀取相應的圖片（下圖中的詞雲圖是貓的形狀），接著使用wc.WordCloud()進行詞雲圖的轉換，最後通過imshow()展現出相應的詞雲圖。例如根據老九門.txt文檔繪製的詞雲圖效果如下圖所示：

三、常見分類演算法介紹

常見的分類演算法有很多，如下圖所示：

其中KNN演算法和貝葉斯演算法都是較為重要的演算法，除此之外還有其他的一些演算法，如決策樹演算法、邏輯回歸演算法和SVM演算法。Adaboost演算法主要是用於弱分類演算法改造成強分類演算法。

四、對鳶尾花進行分類案例實戰

假如現有一些鳶尾花的數據，這些數據包含了鳶尾花的一些特徵，如花瓣長度、花瓣寬度、花萼長度和花萼寬度這四個特徵。有了這些歷史數據之後，可以利用這些數據進行分類模型的訓練，在模型訓練完成後，當新出現一朵不知類型的鳶尾花時，便可以藉助已訓練的模型判斷出這朵鳶尾花的類型。這個案例有著不同的實現方法，但是藉助哪種分類演算法進行實現會更好呢？

1、KNN演算法

（1）、KNN演算法簡介

首先考慮這樣一個問題，在上文的淘寶商品中，有三類商品，分別是零食、名牌包包和電器，它們都有兩個特徵：price和comment。按照價格來排序，名牌包包最貴，電器次之，零食最便宜；按照評論數來排序，零食評論數最多，電器次之，名牌包包最少。然後以price為x軸、comment為y軸建立直角坐標系，將這三類商品的分布繪製在坐標系中，如下圖所示：

顯然可以發現，這三類商品都集中分布在不同的區域。如果現在出現了一個已知其特徵的新商品，用？表示這個新商品。根據其特徵，該商品在坐標系映射的位置如圖所示，問該商品最有可能是這三類商品中的哪種？

這類問題可以採用KNN演算法進行解決，該演算法的實現思路是，分別計算未知商品到其他各個商品的歐幾里得距離之和，然後進行排序，距離之和越小，說明該未知商品與這類商品越相似。例如在經過計算之後，得出該未知商品與電器類的商品的歐幾里得距離之和最小，那麼就可以認為該商品屬於電器類商品。

（2）、實現方式

上述過程的具體實現如下：

當然也可以直接調包，這樣更加簡潔和方便，缺點在於使用的人無法理解它的原理：

（3）、使用KNN演算法解決鳶尾花的分類問題

首先載入鳶尾花數據。具體有兩種載入方案，一種是直接從鳶尾花數據集中讀取，在設置好路徑之後，通過read_csv()方法進行讀取，分離數據集的特徵和結果，具體操作如下：

還有一種載入方法是藉助sklearn來實現載入。sklearn的datasets中自帶有鳶尾花的數據集，通過使用datasets的load_iris()方法就可以將數據載入出來，隨後同樣獲取特徵和類別，然後進行訓練數據和測試數據的分離（一般做交叉驗證），具體是使用train_test_split()方法進行分離，該方法第三個參數代表測試比例，第四個參數是隨機種子，具體操作如下：

在載入完成之後，就可以調用上文中提到的KNN演算法進行分類了。

2、貝葉斯演算法

（1）、貝葉斯演算法的介紹

首先介紹樸素貝葉斯公式：P（B|A）=P（A|B）P（B）/P（A）。假如現在有一些課程的數據，如下表所示，價格和課時數是課程的特徵，銷量是課程的結果，若出現了一門新課，其價格高且課時多，根據已有的數據預測新課的銷量。

顯然這個問題屬於分類問題。先對表格進行處理，將特徵一與特徵二轉化成數字，即0代表低，1代表中，2代表高。在進行數字化之後，[[t1,t2],[t1,t2],[t1,t2]]------[[0,2],[2,1],[0,0]]，然後對這個二維列表進行轉置（便於後續統計），得到[[t1,t1,t1],[t2,t2,t2]]-------[[0,2,0],[2,1,0]]。其中[0,2,0]代表著各個課程價格，[2,1,0]代表各個課程的課時數。

P（c0|AB）=P（A|C0）P（B|C0）P（C0）=2/4*2/4*4/7=1/7

P（c1|AB）=P（A|C1）P（B|C1）P（C1）=0=0

P（c2|AB）=P（A|C2）P（B|C2）P（C2）=0=0

顯然P（c0|AB）最大，即可預測這門新課的銷量為高。

（2）、實現方式

跟KNN演算法一樣，貝葉斯演算法也有兩種實現方式，一種是詳細的實現：

另一種是集成的實現方式：

3、決策樹演算法

決策樹演算法是基於信息熵的理論去實現的，該演算法的計算流程分為以下幾個步驟：

（1）先計算總信息熵

（2）計算各個特徵的信息熵

（3）計算E以及信息增益，E=總信息熵-信息增益，信息增益=總信息熵-E

（4）E如果越小，信息增益越大，不確定因素越小

決策樹是指對於多特徵的數據，對於第一個特徵，是否考慮這個特徵（0代表不考慮，1代表考慮）會形成一顆二叉樹，然後對第二個特徵也這麼考慮...直到所有特徵都考慮完，最終形成一顆決策樹。如下圖就是一顆決策樹：

決策樹演算法實現過程為：首先取出數據的類別，然後對數據轉化描述的方式（例如將「是」轉化成1，「否」轉化成0），藉助於sklearn中的DecisionTreeClassifier建立決策樹，使用fit()方法進行數據訓練，訓練完成後直接使用predict()即可得到預測結果，最後使用export_graphviz進行決策樹的可視化。具體實現過程如下圖所示：

4、邏輯回歸演算法

邏輯回歸演算法是藉助於線性回歸的原理來實現的。假如存在一個線性回歸函數：y=a1x1+a2x2+a3x3+…+anxn+b，其中x1到xn代表的是各個特徵，雖然可以用這條直線去擬合它，但是由於y範圍太大，導致其魯棒性太差。若想實現分類，需要縮小y的範圍到一定的空間內，如[0,1]。這時候通過換元法可以實現y範圍的縮小：

令y=ln（p/（1-p））

那麼：e^y=e^(ln（p/（1-p））)

=> e^y=p/(1-p)

=>e^y*(1-p)=p => e^y-p*e^y=p

=> e^y=p(1+e^y)

=> p=e^y/(1+e^y)

=> p屬於[0,1]

這樣y就降低了範圍，從而實現了精準分類，進而實現邏輯回歸。

邏輯回歸演算法對應的實現過程如下圖所示：

5、SVM演算法

SVM演算法是一種精準分類的演算法，但是其可解釋性並不強。它可以將低維空間線性不可分的問題，變為高位空間上的線性可分。SVM演算法的使用十分簡單，直接導入SVC，然後訓練模型，並進行預測。具體操作如下：

儘管實現非常簡單，然而該演算法的關鍵卻在於如何選擇核函數。核函數可分為以下幾類，各個核函數也適用於不同的情況：

（1）、線性核函數

（2）、多項式核函數

（3）、徑向基核函數

（4）、Sigmoid核函數

對於不是特別複雜的數據，可以採用線性核函數或者多項式核函數。對於複雜的數據，則採用徑向基核函數。採用各個核函數繪製的圖像如下圖所示：

5、Adaboost演算法

假如有一個單層決策樹的演算法，它是一種弱分類演算法（準確率很低的演算法）。如果想對這個弱分類器進行加強，可以使用boost的思想去實現，比如使用Adaboost演算法，即進行多次的迭代，每次都賦予不同的權重，同時進行錯誤率的計算並調整權重，最終形成一個綜合的結果。

Adaboost演算法一般不單獨使用，而是組合使用，來加強那些弱分類的演算法。

五、分類演算法的選擇思路與技巧

首先看是二分類還是多分類問題，如果是二分類問題，一般這些演算法都可以使用；如果是多分類問題，則可以使用KNN和貝葉斯演算法。其次看是否要求高可解釋性，如果要求高可解釋性，則不能使用SVM演算法。再看訓練樣本數量、再看訓練樣本數量，如果訓練樣本的數量太大，則不適合使用KNN演算法。最後看是否需要進行弱-強演算法改造，如果需要則使用Adaboost演算法，否則不使用Adaboost演算法。如果不確定，可以選擇部分數據進行驗證，並進行模型評價（耗時和準確率）。

綜上所述，可以總結出各個分類演算法的優缺點為：

KNN：多分類，惰性調用，不宜訓練數據過大

貝葉斯：多分類，計算量較大，特徵間不能相關

決策樹演算法：二分類，可解釋性非常好

邏輯回歸演算法：二分類，特徵之間是否具有關聯無所謂

SVM演算法：二分類，效果比較不錯，但可解釋性欠缺

Adaboost演算法：適用於對弱分類演算法進行加強

本專題系列文章

從能做什麼到如何去做，一文帶你快速掌握Python編程基礎與實戰

如何快速掌握Python數據採集與網路爬蟲技術

Python數據挖掘與機器學習技術入門實戰

Python數據挖掘與機器學習，快速掌握聚類演算法和關聯分析

手把手教你寫網站：Python WEB開發技術實戰

原文鏈接

更多技術乾貨敬請關注云棲社區知乎機構號：阿里云云棲社區 - 知乎