標籤:

十分鐘搞定pandas

本文是對pandas官方網站上《10 Minutes to pandas》的一個簡單的翻譯,原文在這裡。這篇文章是對pandas的一個簡單的介紹,詳細的介紹請參考:Cookbook 。習慣上,我們會按下面格式引入所需要的包:

一、 創建對象

可以通過 Data Structure Intro Setion 來查看有關該節內容的詳細信息。

1、可以通過傳遞一個list對象來創建一個Series,pandas會默認創建整型索引:

2、通過傳遞一個numpy array,時間索引以及列標籤來創建一個DataFrame:

3、通過傳遞一個能夠被轉換成類似序列結構的字典對象來創建一個DataFrame:

4、查看不同列的數據類型:

5、如果你使用的是IPython,使用Tab自動補全功能會自動識別所有的屬性以及自定義的列,下圖中是所有能夠被自動識別的屬性的一個子集:

二、 查看數據

詳情請參閱:Basics Section

1、 查看frame中頭部和尾部的行:

2、 顯示索引、列和底層的numpy數據:

3、 describe()函數對於數據的快速統計匯總:

4、 對數據的轉置:

5、 按軸進行排序

6、 按值進行排序

三、 選擇

雖然標準的Python/Numpy的選擇和設置表達式都能夠直接派上用場,但是作為工程使用的代碼,我們推薦使用經過優化的pandas數據訪問方式:.at, .iat, .loc, .iloc 和 .ix詳情請參閱Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。

l 獲取

1、 選擇一個單獨的列,這將會返回一個Series,等同於df.A:

2、 通過[]進行選擇,這將會對行進行切片

l 通過標籤選擇

1、 使用標籤來獲取一個交叉的區域

2、 通過標籤來在多個軸上進行選擇

3、 標籤切片

4、 對於返回的對象進行維度縮減

5、 獲取一個標量

6、 快速訪問一個標量(與上一個方法等價)

l 通過位置選擇

1、 通過傳遞數值進行位置選擇(選擇的是行)

2、 通過數值進行切片,與numpy/python中的情況類似

3、 通過指定一個位置的列表,與numpy/python中的情況類似

4、 對行進行切片

5、 對列進行切片

6、 獲取特定的值

l 布爾索引

1、 使用一個單獨列的值來選擇數據:

2、 使用where操作來選擇數據:

3、 使用isin()方法來過濾:

l 設置

1、 設置一個新的列:

2、 通過標籤設置新的值:

3、 通過位置設置新的值:

4、 通過一個numpy數組設置一組新值:

上述操作結果如下:

5、 通過where操作來設置新的值:

四、 缺失值處理

在pandas中,使用np.nan來代替缺失值,這些值將默認不會包含在計算中,詳情請參閱:Missing Data Section。

1、 reindex()方法可以對指定軸上的索引進行改變/增加/刪除操作,這將返回原始數據的一個拷貝:、

2、 去掉包含缺失值的行:

3、 對缺失值進行填充:

4、 對數據進行布爾填充:

五、 相關操作

詳情請參與 Basic Section On Binary Ops

l 統計(相關操作通常情況下不包括缺失值)

1、 執行描述性統計:

2、 在其他軸上進行相同的操作:

3、 對於擁有不同維度,需要對齊的對象進行操作。Pandas會自動的沿著指定的維度進行廣播:

l Apply

1、 對數據應用函數:

l 直方圖

具體請參照:Histogramming and Discretization

l 字元串方法

Series對象在其str屬性中配備了一組字元串處理方法,可以很容易的應用到數組中的每個元素,如下段代碼所示。更多詳情請參考:Vectorized String Methods.

六、 合併

Pandas提供了大量的方法能夠輕鬆的對Series,DataFrame和Panel對象進行各種符合各種邏輯關係的合併操作。具體請參閱:Merging section

l Concat

l Join 類似於SQL類型的合併,具體請參閱:Database style joining

l Append 將一行連接到一個DataFrame上,具體請參閱Appending:

七、 分組

對於」group by」操作,我們通常是指以下一個或多個操作步驟:

l (Splitting)按照一些規則將數據分為不同的組;

l (Applying)對於每組數據分別執行一個函數;

l (Combining)將結果組合到一個數據結構中;

詳情請參閱:Grouping section

1、 分組並對每個分組執行sum函數:

2、 通過多個列進行分組形成一個層次索引,然後執行函數:

八、 Reshaping

詳情請參閱 Hierarchical Indexing 和 Reshaping。

l Stack

l 數據透視表,詳情請參閱:Pivot Tables.

可以從這個數據中輕鬆的生成數據透視表:

九、 時間序列

Pandas在對頻率轉換進行重新採樣時擁有簡單、強大且高效的功能(如將按秒採樣的數據轉換為按5分鐘為單位進行採樣的數據)。這種操作在金融領域非常常見。具體參考:Time Series section。

1、 時區表示:

2、 時區轉換:

3、 時間跨度轉換:

4、 時期和時間戳之間的轉換使得可以使用一些方便的算術函數。

十、 Categorical

從0.15版本開始,pandas可以在DataFrame中支持Categorical類型的數據,詳細 介紹參看:categorical introduction和API documentation。

1、 將原始的grade轉換為Categorical數據類型:

2、 將Categorical類型數據重命名為更有意義的名稱:

3、 對類別進行重新排序,增加缺失的類別:

4、 排序是按照Categorical的順序進行的而不是按照字典順序進行:

5、 對Categorical列進行排序時存在空的類別:

十一、 畫圖

具體文檔參看:Plotting docs

對於DataFrame來說,plot是一種將所有列及其標籤進行繪製的簡便方法:

十二、 導入和保存數據

l CSV,參考:Writing to a csv file

1、 寫入csv文件:

2、 從csv文件中讀取:

l HDF5,參考:HDFStores

1、 寫入HDF5存儲:

2、 從HDF5存儲中讀取:

l Excel,參考:MS Excel

1、 寫入excel文件:

2、 從excel文件中讀取:

作者:liaohaiyin

出處:ChaoSimple的專欄

最近很多人私信問我問題,平常知乎評論看到不多,如果沒有及時回復,大家也可以加小編微信:tszhihu,進知乎大數據分析挖掘交流群,可以跟各位老師互相交流。謝謝。


推薦閱讀:

日語中平假名與片假名互相轉換的程序
如何學python-第十二課 邏輯運算符-成員運算符
PyQt5系列教程(8):標準輸入對話框
Python實現3D建模工具

TAG:Python |