如何用Python做詞雲?

臨淵羨魚,不如退而結網。我們步步為營,從頭開始幫助你用Python做出第一張詞雲圖來。歡迎嘗試哦!

需求

在大數據時代,你經常可以在媒體或者網站上看到一些非常漂亮的信息圖。

例如這個樣子。

或是這個樣子的。

看過之後你有什麼感覺?想不想自己做一張出來?

如果你的答案是肯定的,我們就不要拖延了,今天就來一步步從零開始做個詞雲分析圖。當然,做為基礎的詞雲圖,肯定比不上剛才那兩張信息圖酷炫。不過不要緊,好的開始是成功的一半嘛。食髓知味,後面你就可以自己升級技能,進入你開掛的成功之路。

網上教你做信息圖的教程很多。許多都是利用了專用工具。這些工具好是好,便捷而強大。只是它們功能都太過專一,適用範圍有限。今天我們要嘗試的,是用通用的編程語言Python來做詞雲。

Python是一種時下很流行的編程語言。你不僅可以用它做數據分析和可視化,還能用來做網站、爬取數據、做數學題、寫腳本替你偷懶……

知道豆瓣嗎?它一開始就是用Python寫的。

在目前的編程語言熱度排序里,Python屈居第四(當然,很多人不同意,所以編程語言的排行榜有許多,你懂的)。但看問題要用發展眼光。隨著數據科學的發展,Python有爆發的趨勢。早點兒站上風口,很有益處。

如果你之前沒有編程基礎,沒關係。從零開始,意味著我會教你如何安裝Python運行環境,一步步完成詞雲圖。希望你不要限於瀏覽,而是親自動手嘗試一番。到完成的那一步,你不僅可以做出第一張詞雲圖,而且這還將是你的第一個有用的編程作品。

心動了?那咱們就開始吧。

安裝

首先,我們需要安裝Python運行環境。

如果你用的是macOS,那麼你的系統裡面實際已經預裝好了Python。

然而我們要使用到許多擴展包的功能。因此最好安裝一個Python工具套裝。只需要一次安裝,以後大部分的功能就都已集成了。不必每次使用新功能,都去零敲碎打地安裝新包了。

Python的套裝有許多種,這裡推薦給大家anaconda。因為經過我4年多的嘗試與對比,感覺這款軟體包的安裝更為便捷,擴展包的涵蓋範圍與結構更合理。

請你到 這個網址 下載anaconda套裝。下拉網頁找到下載位置。根據你的操作系統類型選擇合適的版本。

因為我的系統是macOS,所以網站直接給我推薦的就是macOS系統版本。但如果你用的是Windows或Linux,請切換到相應的標籤頁上面。

不管你用的是哪個操作系統,請注意右側的兩個按鈕,分別對應Python 2.X和3.X版本。有人一定很納悶,既然有新的版本,我憑什麼用舊的?

不是這樣的。到2020年之前,Python的兩個版本會一直並存。Python的開發者確實希望大家升級切換到3.X版本。可惜目前3.X版本兼容的擴展包數量比2.X版本要少,尤其是涉及到數據科學類的軟體包,就尤其明顯。所以如果你是初學者,我建議你下載2.X(目前是2.7)版本,這樣在以後的使用中,可能遇到的問題會少一些。等你運用熟練了,再遷移到3.X版本不遲。相信我,到那時你會很快適應新版本的。

下載後,執行安裝文件就行了。

根據你的電腦運行速度不同,安裝的時間長短不等。耐心點兒,只需要等這一次嘛。

安裝完畢之後,請你安裝一個「現代化」瀏覽器。如果你用的是macOS,那麼系統自帶的Safari就挺好。其他的選擇包括Firefox和Google Chrome。

請安裝上述瀏覽器之一,然後將其設置為系統默認的瀏覽器。

好了,下面請進入命令行模式。

在macOS和Linux下,你需要開啟一個終端(terminal)。

如果是Windows,請打開「開始」-「附件」-「命令提示符」。

鍵入以下命令:

mkdir democd demo

好了,你現在有一個專用的目錄,叫做demo了。請到macOS的Finder或者Windows的「我的電腦」裡面,找到這個目錄並且打開它。

回到終端下面,macOS或者Linux用戶請鍵入以下命令:

pip install wordcloud

macOS會提示你先安裝XCode命令行工具,你按照默認設置一步步進行就可以了。但是請注意,務必在WiFi環境下安裝。如果你用的是4G流量,那你可要破費一筆了。

如果你用的是Windows,那麼為了使用這個詞雲包,就稍微麻煩一些,你需要到 這裡 下載 wordcloud?1.3.1?cp27?cp27m?win32.whl 這個文件。下載後將它拖拽到你的demo目錄里。

在命令行下,先執行:

pip install wheel

然後,再執行:

pip install wordcloud?1.3.1?cp27?cp27m?win32.whl

好了,我們需要的全部Python運行環境終於裝好了。

請務必按照上述步驟執行,確保每一步都已經順利完成。否則一旦遺漏,後面運行程序會報錯。

數據

詞雲分析的對象,是文本。

理論上講,文本可以是各種語言的。英文、中文、法文、阿拉伯文……

為了簡便,我們這裡以英文文本為例。你可以隨意到網上找一篇英文文章作為分析對象。我特別喜歡英劇」Yes, minister」,所以到維基百科上找到了這部劇的介紹詞條。

我把其中的正文文字部分拷貝了下來,存儲為一個文本文件,叫做yes-minister.txt。

把這個文件挪動到我們的工作目錄demo里。

好了,文本數據已經準備好了。開始進入編程的魔幻世界吧!

代碼

在命令行下,執行:

jupyter notebook

瀏覽器會自動開啟,並且顯示如下界面。

這就是咱們剛才的勞動成果——安裝好的運行環境了。我們還沒有編寫程序,目錄下只有一個剛才生成的文本文件。

打開這個文件,瀏覽一下內容。

回到Jupyter筆記本的主頁面。我們點擊New按鈕,新建一個筆記本(Notebook)。在Notebooks裡面,請選擇Python 2選項。

系統會提示我們輸入Notebook的名稱。程序代碼文件的名稱,你可以隨便起。但是我建議你起一個有意義的名字,將來好方便查找。由於我們要嘗試詞雲,就叫它wordcloud好了。

然後就出現了一個空白的筆記本,供我們使用了。我們在網頁里唯一的代碼文本框里,輸入以下3條語句。請務必逐字根據示例代碼輸入,空格數量都不可以有差別。尤其注意第三行,用4個空格,或者1個Tab開始。輸入後,按Shift+Enter鍵,就可以執行了。

filename = "yes-minister.txt"with open(filename) as f: mytext = f.read()

沒有任何結果啊。

對,因為我們這裡沒有任何輸出動作,程序只是打開了你的yes-minister.txt文本文件,把裡面的內容都讀了出來,存儲到了一個叫做mytext的變數裡面。

然後我們嘗試顯示mytext的內容。輸入以下語句之後,還是得按Shift+Enter鍵,系統才會實際執行該語句。

mytext

之後的步驟里,也千萬不要忘了這一確認執行動作。

顯示的結果如下圖所示。

嗯,看來mytext變數里存儲的文本就是我們從網上摘來的文字。到目前為止,一切正常。

然後我們呼喚(import)詞雲包,利用mytext中存儲的文本內容來製造詞雲。

from wordcloud import WordCloudwordcloud = WordCloud().generate(mytext)

這時程序可能會報警。別擔心。警告(warning)不影響程序的正常運行。

此時詞雲分析已經完成了。你沒看錯,製作詞雲的核心步驟只需要這2行語句,而且第一條還只是從擴展包里找外援。但是程序並不會給我們顯示任何東西。

說好了的詞雲呢?折騰了這麼半天,卻啥也沒有,你蒙人嗎?!

別激動。輸入下面4行語句後,就是見證奇蹟發生的時刻了。

%pylab inlineimport matplotlib.pyplot as pltplt.imshow(wordcloud, interpolation=bilinear)plt.axis("off")

運行結果如圖所示:

不用那麼興奮嘛。

你可以在詞雲圖片上單機滑鼠右鍵,用「圖片另存為」功能導出。

通過這張詞雲圖,我們可以看到不同單詞和片語出現的頻率高低差別。高頻詞的字體明顯更大,而且顏色也很醒目。值得說明的是,最顯眼的單詞Hacker並不是指黑客,而是指這部劇的主角之一——哈克首相。

包含程序完整代碼的ipynb文件,我也分享了出來,你可以從 這裡 下載。

希望你在嘗試過程中一切順利。對自己生成的詞雲圖滿意嗎?如果你不滿意,也不要緊,可以挖掘wordcloud軟體包的其他高級功能。嘗試一下,看自己能不能做出這樣的詞雲圖來?

討論

學完了本方法後,你做出了一張什麼樣的詞雲圖?除了本文介紹的方法以外,你還知道哪些便捷地製作詞雲或其他信息圖的方式?歡迎留言,分享給大家。我們共同交流討論。

如果你對我的文章感興趣,歡迎點贊,並且微信關注和置頂我的公眾號「玉樹芝蘭」(nkwangshuyi)。

如果本文可能對你身邊的親友有幫助,也歡迎你把本文通過微博或朋友圈分享給他們。讓他們一起參與到我們的討論中來。


推薦閱讀:

文本分析上nltk和snownlp有什麼區別,哪個更適合,有什麼好的學習資源?
輿情監控技術如何應對各類水軍刷屏?
windows下如何查看超大文本文件(5G )
學習文本挖掘,如何入門?

TAG:Python | 文本挖掘 | 数据可视化 |