10行Python代碼的詞雲

什麼是詞雲呢？

詞雲又叫文字雲，是對文本數據中出現頻率較高的「關鍵詞」在視覺上的突出呈現，形成關鍵詞的渲染形成類似雲一樣的彩色圖片，從而一眼就可以領略文本數據的主要表達意思。

現在，可以從網路上找到各種各樣的詞雲，下面一圖來自沈浩老師的微博：

詞雲製作有很多工具.....

從技術上來看，詞雲是一種有趣的數據可視化方法，互聯網上有很多現成的工具：

1. Wordle是一個用於從文本生成詞雲圖而提供的遊戲工具

2. Tagxedo 可以在線製作個性化詞雲

3. Tagul 是一個 Web 服務，同樣可以創建華麗的詞雲

4. Tagcrowd 還可以輸入web的url，直接生成某個網頁的詞雲

5. ......

十行代碼

但是作為一個老碼農，還是喜歡自己用代碼生成自己的詞雲，複雜么？需要很長時間么？ 很多文字都介紹過各種的方法，但實際上只需要10行python代碼即可。

import matplotlib.pyplot as pltnfrom wordcloud import WordCloudnimport jiebanntext_from_file_with_apath = open(/Users/hecom/23tips.txt).read()nnwordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)nwl_space_split = " ".join(wordlist_after_jieba)nnmy_wordcloud = WordCloud().generate(wl_space_split)nnplt.imshow(my_wordcloud)nplt.axis("off")nplt.show()n

如此而已，生成的一個詞雲是這樣的：

讀一下這10行代碼：

1～3 行，分別導入了畫圖的庫matplotlib，詞雲生成庫wordcloud 和 jieba的分詞庫；

4 行，是讀取本地的文件,代碼中使用的文本是本公眾號中的《老曹眼中研發管理二三事》。

5～6 行，使用jieba進行分詞，並對分詞的結果以空格隔開；

7行，對分詞後的文本生成詞雲；

8～10行，用pyplot展示詞雲圖。

這是我喜歡python的一個原因吧，簡潔明快。

執行環境

如果這十行代碼沒有運行起來，需要檢查自己的執行環境了。對於完整的開發學習環境，可以參考本公眾號《老曹眼中的開發學習環境》。 對於面向python 的數據分析而言，個人喜歡Anaconda，可以去Download Anaconda Now! 下載安裝，安裝成功後的運行界面如下：

anaconda 是python 數據愛好者的福音吧。

安裝wordcloud 和 jieba 兩個庫同樣非常簡單：

pip install wordcloudnpip install jieban

遇到的一個小坑，剛開始運行這十行代碼的時候，只顯式了若干彩色的小矩形框，中文詞語顯式不出來，以為是萬惡的UTF8問題，debug一下，發現print 結巴分詞的結果是可以顯示中文的，那就是wordcloud 生成詞語的字體庫問題了。開源的好處來了，直接進入wordcloud.py 的源碼，找字體庫相關的代碼

FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))n

wordcloud 默認使用了DroidSansMono.ttf 字體庫，改一下換成一個支持中文的ttf 字型檔， 重新運行一下這十行代碼，就可以了。當然，解讀代碼後有更優雅的方法。

看一下源碼

既然進入了源碼，就會忍不住好奇心，瀏覽一下wordcloud 的實現過程和方式吧。

wordcloud.py總共不過600多行，其間有著大量的注釋，讀起來很方便。其中用到了較多的庫，常見的random，os，sys，re（正則）和可愛的numpy，還採用了PIL繪圖，估計一些人又會遇到安裝PIL的那些坑。

生成詞雲的原理其實並不複雜，大體分成5步：

1. 對文本數據進行分詞，也是眾多NLP文本處理的第一步，對於wordcloud中的process_text（）方法，主要是停詞的處理

2. 計算每個詞在文本中出現的頻率，生成一個哈希表。詞頻計算相當於各種分散式計算平台的第一案例wordcount， 和各種語言的hello world 程序具有相同的地位了，呵呵。

3. 根據詞頻的數值按比例生成一個圖片的布局，類IntegralOccupancyMap 是該詞雲的演算法所在，是詞雲的數據可視化方式的核心。

4. 將詞按對應的詞頻在詞雲布局圖上生成圖片，核心方法是generate_from_frequencies,不論是generate（）還是generate_from_text（）都最終到generate_from_frequencies

5. 完成詞雲上各詞的著色,默認是隨機著色

詞語的各種增強功能大都可以通過wordcloud的構造函數實現，裡面提供了22個參數，還可以自行擴展。

更多的小例子

看看一個準文言文的詞雲，文本文字來自本公眾號去年的舊文——《妻》，其中在構造函數中傳入了關於屏幕和字體大小的幾個參數：

width_=800,height=400,max_font_size=84,min_font_size=16n

得到了這樣的詞雲圖：

自慚形穢，根本看不出文言文的色彩和對妻子的感情流露，不是好文字呀！或許是詞雲的局限吧！

矩形的詞雲的確太簡陋了，直接在圖片上用詞雲來填充就有意思多了，wordcloud中可以採用mask的方式來實現。換上一張自己的照片，用《再談<全棧架構師>一文》中的文字，詞雲出來的效果是這樣的 ：

還是很難看出肖像的輪廓，還好，可以遮醜。其中增加了3行代碼

from PIL import Imagenimport numpy as npnabel_mask = np.array(Image.open("/Users/hecom/chw.png"))n

在構造函數的時候，將mask傳遞進去即可：

background_color="black", mask=abel_maskn

自己做的這些詞雲圖片還是太陋，這就是原型簡單，好的產品困難呀！做好一個漂亮詞雲的圖片，還是要在諸多細節上下功夫的。

例如：

分詞的處理，「就是」這樣沒有意義的詞不應該出現在詞雲里呀？

所展示關鍵詞的目的性選擇？

如何選擇一個合適的字型檔？

如何更好地自主著色？

圖片的預處理，如何讓圖片和詞雲表達原圖片的主要特徵？

......

詞雲的背後

詞雲的背後實際上是數據集成處理的典型過程，我們所熟知的6C,如下圖：

• Connect: 目標是從各種各樣數據源選擇數據，數據源會提供APIs,輸入格式,數據採集的速率,和提供者的限制.

• Correct: 聚焦於數據轉移以便於進一步處理，同時保證維護數據的質量和一致性

• Collect: 數據存儲在哪，用什麼格式，方便後面階段的組裝和消費

• Compose: 集中關注如何對已採集的各種數據集的混搭, 豐富這些信息能夠構建一個引入入勝的數據驅動產品。

• Consume: 關注數據的使用、渲染以及如何使正確的數據在正確的時間達到正確的效果。

• Control: 這是隨著數據、組織、參與者的增長，需要的第六個附加步驟，它保證了數據的管控。?

這十行代碼構建的詞雲，沒有通過API從公眾號(wireless_com)直接獲取,簡化和抽象是工程化的典型方式，這裡至今複製粘貼，甚至省略了correct的過程，直接將數據存儲在純文本文件中，通過jieba分詞進行處理即compose，使用詞雲生成可視化圖片用於消費consume，把一個個自己生成的詞雲組織到不同的文件目錄便於檢索算是初步的管控control吧。

參考網站

• Continuum

• fxsjy/jieba

• amueller/word_cloud

---------------------

作者：老曹

公眾號：喔家ArchiSelf

出處：10行Python代碼的詞雲

大家也可以加小編微信：tszhihu （備註：Python），拉大家到 Python愛好者社區 微信群，可以跟各位老師互相交流。謝謝。

也可以關注微信公眾號：Python愛好者社區 (ID:python_shequ)

推薦閱讀：