聚類分析中幾種演算法的比較
聚類分析中幾種演算法的比較
將資料庫中的對象進行聚類是聚類分析的基本操作，其準則是使屬於同一類的個體間距離儘可能小，而不同類個體間距離儘可能大，為了找到效率高、通用性強的聚 類方法人們從不同角度提出了近百種聚類方法，典型的有K-means方法、K-medoids方法、CLARANS方法,BIRCH方法等，這些演算法適用 於特定的問題及用戶。本文綜合提出了評價聚類演算法好壞的5個標準，基於這5個標準，對數據挖掘中常用聚類方法作了比較分析，以便於人們更容易、更快捷地找 到一種適用於特定問題及用戶的聚類演算法。
聚類演算法研究及比較框架
聚類演算法一般有五種方法，最主要的是劃分方法和層次方法兩種。劃分聚類演算法通過優化評價函數把數據集分割為K個部分，它需要K作為 輸人蔘數。典型的分割聚類演算法有K-means演算法, K-medoids演算法、CLARANS演算法。層次聚類由不同層次的分割聚類組成，層次之間的分割具有嵌套的關係。它不需要輸入參數，這是它優於分割聚類 演算法的一個明顯的優點，其缺點是終止條件必須具體指定。典型的分層聚類演算法有BIRCH演算法、DBSCAN演算法和CURE演算法等。
對各聚類演算法的比較研究基於以下5個標準： ① 是否適用於大數據量，演算法的效率是否滿足大數據量高複雜性的要求; ② 是否能應付不同的數據類型，能否處理符號屬性;③ 是否能發現不同類型的聚類;
④ 是否能應付臟數據或異常數據; ⑤ 是否對數據的輸入順序不敏感。 下面將在該框架下對各聚類演算法作分析比較。數據挖掘常用聚類演算法比較分析
3.1 K-pototypes演算法
K-pototypes演算法結合了K-means方法和根據K-means方法改進的能夠處理符號屬性的K-modes方法，同K-means方法相比，K-pototypes 演算法能夠處理符號屬性。3.2 CLARANS演算法（劃分方法）
CLARANS演算法即隨機搜索聚類演算法，是一種分割聚類方法。它首先隨機選擇一個點作為當前點，然後隨機檢查它周圍不超過參數Maxneighbor 個的一些鄰接點，假如找到一個比它更好的鄰接點，則把它移人該鄰接點，否則把該點作為局部最小量。然後再隨機選擇一個點來尋找另一個局部最小量，直至所找 到的局部最小量數目達到用戶要求為止。該演算法要求聚類的對象必須都預先調人內存，並且需多次掃描數據集，這對大數據量而言，無論時間複雜度還是空間複雜度 都相當大。雖通過引人R-樹結構對其性能進行改善，使之能夠處理基於磁碟的大型資料庫，但R*-樹的構造和維護代價太大。該演算法對臟數據和異常數據不敏 感，但對數據物人順序異常敏感，且只能處理凸形或球形邊界聚類。3.3 BIRCH演算法（層次方法）
BIRCH演算法即平衡迭代削減聚類法，其核心是用一個聚類特徵3元組表示一個簇的有關信息，從而使一簇點的表示可用對應的聚類特徵，而不必用具體的一 組點來表示。它通過構造滿足分支因子和簇直徑限制的聚類特徵樹來求聚類。BIRCH演算法通過聚類特徵可以方便地進行中心、半徑、直徑及類內、類間距離的運 算。演算法的聚類特徵樹是一個具有兩個參數分枝因子B和類直徑T的高度平衡樹。分枝因子規定了樹的每個節點子女的最多個數，而類直徑體現了對一類點的直徑大 小的限制即這些點在多大範圍內可以聚為一類，非葉子結點為它的子女的最大關鍵字，可以根據這些關鍵字進行插人索引，它總結了其子女的信息。
聚類特徵樹可以動態構造，因此不要求所有數據讀人內存，而可以在外存上逐個讀人。新的數據項總是插人到樹中與該數據距離最近的葉子中。如果插人後使得 該葉子的直徑大於類直徑T，則把該葉子節點分裂。其它葉子結點也需要檢查是否超過分枝因子來判斷其分裂與否，直至該數據插入到葉子中，並且滿足不超過類直 徑，而每個非葉子節點的子女個數不大於分枝因子。演算法還可以通過改變類直徑修改特徵樹大小，控制其占內存容量。 BIRCH演算法通過一次掃描就可以進行較好的聚類，由此可見，該演算法適合於大數據量。對於給定的M兆內存空間，其空間複雜度為O(M)，時間間複雜度 為O(dNBlnB(M/P)).其中d為維數,N為節點數,P為內存頁的大小，B為由P決定的分枝因子。I/O花費與數據量成線性關係。BIRCH演算法 只適用於類的分布呈凸形及球形的情況，並且由於BIRCH演算法需提供正確的聚類個數和簇直徑限制，對不可視的高維數據不可行。 3.4 CURE演算法（層次方法）CURE演算法即使用代表點的聚類方法。該演算法先把每個數據點看成一類，然後合併距離最近的類直至類個數為所要求的個數為止。CURE演算法將傳統對類的 表示方法進行了改進，迴避了用所有點或用中心和半徑來表示一個類，而是從每一個類中抽取固定數量、分布較好的點作為描述此類的代表點，並將這些點乘以一個 適當的收縮因子，使它們更靠近類的中心點。將一個類用代表點表示，使得類的外延可以向非球形的形狀擴展，從而可調整類的形狀以表達那些非球形的類。另外， 收縮因子的使用減小了嗓音對聚類的影響。CURE演算法採用隨機抽樣與分割相結合的辦法來提高演算法的空間和時間效率，並且在演算法中用了堆和K-d樹結構來提 高演算法效率。
3.5 DBSCAN演算法（基於密度的方法） DBSCAN演算法即基於密度的聚類演算法。該演算法利用類的密度連通性可以快速發現任意形狀的類。其基本思想是：對於一個類中的每個對象，在其給定半徑的 領域中包含的對象不能少於某一給定的最小數目。在DBSCAN演算法中，發現一個類的過程是基於這樣的事實：一個類能夠被其中的任意一個核心對象所確定。為 了發現一個類，DBSCAN先從對象集D中找到任意一對象P，並查找D中關於關徑Eps和最小對象數Minpts的從P密度可達的所有對象。如果P是核心 對象，即半徑為Eps的P的鄰域中包含的對象不少於Minpts,則根據演算法，可以找到一個關於參數Eps和Minpts的類。如果P是一個邊界點，則半 徑為Eps的P鄰域包含的對象少於Minpts，P被暫時標註為雜訊點。然後，DBSCAN處理D中的下一個對象。 密度可達對象的獲取是通過不斷執行區域查詢來實現的。一個區域查詢返回指定區域中的所有對象。為了有效地執行區域查詢，DBSCAN演算法使用了空間查 詢R-樹結構。在進行聚類前，必須建立針對所有數據的R*-樹。另外，DBSCAN要求用戶指定一個全局參數Eps(為了減少計算量，預先確定參數 Minpts)。為了確定取值，DBSCAN計算任意對象與它的第k個最臨近的對象之間的距離。然後，根據求得的距離由小到大排序，並繪出排序後的圖，稱 做k-dist圖。k-dist圖中的橫坐標表示數據對象與它的第k個最近的對象間的距離；縱坐標為對應於某一k-dist距離值的數據對象的個數。 R*-樹的建立和k-dist圖的繪製非常消耗時間。此外，為了得到較好的聚類結果，用戶必須根據k-dist圖，通過試探選定一個比較合適的Eps值。 DBSCAN演算法不進行任何的預處理而直接對整個數據集進行聚類操作。當數據量非常大時，就必須有大內存量支持，I/O消耗也非常大。其時間複雜度為 O(nlogn)(n為數據量)，聚類過程的大部分時間用在區域查詢操作上。DBSCAN演算法對參數Eps及Minpts非常敏感，且這兩個參數很難確定。 3.6 CLIQUE演算法（綜合了基於密度和基於網格的演算法） CLIQUE演算法即自動子空間聚類演算法。該演算法利用自頂向上方法求出各個子空間的聚類單元。CLUQUE演算法主要用於找出在高維數據空間中存在的低維 聚類。為了求出d維空間聚類，必須組合給出所有d-1維子空間的聚類，導致其演算法的空間和時間效率都較低，而且要求用戶輸入兩個參數：數據取值空間等間隔 距離和密度闊值。這2個參數與樣木數據緊密相關，用戶一般難以確定。CLIQUE演算法對數據輸人順序不敏感。4 總結
基於上述分析，我們得到各聚類演算法的比較結果，結論如下：演算法 演算法效率 適合的數據類型 發現的聚類類型 對臟數據或異常數據的敏感性 對數據輸入順序的敏感性BIRCH 高 數值 凸形或球形 不敏感 不太敏感DBSCAN 一般 數值 任意形狀 敏感 敏感CURE 較高 數值 任意形狀 不敏感 不太敏感K-poto 一般 數值和符號 凸形或球形 敏感 一般CLARANS 較低 數值 凸形或球形 不敏感 非常敏感CUQUE 較低 數值 凸形或球形 一般 不敏感由於每個方法都有其特點和不同的適用領域，在數據挖掘中，用戶應該根據實際需要選擇恰當的聚類演算法。http://cda.pinggu.org/view/20203.html推薦閱讀：