用Python開始的數據分析——分組groupby(1)

Dear all,

嘿 ~ 好久不見,感覺快要有半年沒有更新了,看著偶爾冒出來的關注,還是有點不好意思的(……內心狂喜……)。對,我又、又轉行了! 所以不能繼續寫 Django 了, 但是和Python 就此結下的孽緣還沒有結束。

新的內容,新的坑,以後就請多多指教咯!

本篇內容:基於numpy、pandas 庫,對 groupby 在數據分析中的基礎應用場景,進行演示。

基礎知識: 對 numpy、pandas 庫的有初步的接觸

工具: Notebook

適用:初級

一、groupby 能做什麼?

分組!

分組後,組內運算!

想按照 「男女」 快速分組,然後分別計算男女平均身高這類的問題,簡直就是小case!

按照"每年、每月、每周" 做報表統計,沒問題!

支持自定義分組,自定義函數,隨便你怎麼玩!

二、單類分組

A.groupby("性別")

首先,我們有一個變數A,數據類型是DataFrame

想要按照【性別】進行分組

得到的結果是一個Groupby對象,還沒有進行任何的運算。

describe()

描述組內數據的基本統計量

A.groupby("性別").describe().unstack()

* 只有數字類型的列數據才會計算統計

* 示例裡面數字類型的數據有兩列 【班級】和【身高】

但是,我們並不需要統計班級的均值等信息,只需要【身高】,所以做一下小的改動:

A.groupby("性別")["身高"].describe().unstack()

unstack()

索引重排

上面的例子裡面用到了一個小的技巧,讓運算結果更便於對比查看,感興趣的同學可以自行去除unstack,比較一下顯示的效果

三、多類分組

A.groupby( ["班級","性別"])

單獨用groupby,我們得到的還是一個 Groupby 對象。

mean()

組內均值計算

DataFrame的很多函數可以直接運用到Groupby對象上。

上圖截自 pandas 官網 document,這裡就不一一細說。

我們還可以一次運用多個函數計算

A.groupby( ["班級","性別"]).agg([np.sum, np.mean, np.std]) # 一次計算了三個

agg()

分組多個運算

四、時間分組

時間序列可以直接作為index,或者有一列是時間序列,差別不是很大。

這裡僅僅演示,某一列為時間序列。

為A 新增一列【生日】,由於分隔符 「/」 的問題,我們查看列屬性,【生日】的屬性並不是日期類型

我們想做的是:

1、按照【生日】的【年份】進行分組,看看有多少人是同齡?

A["生日"] = pd.to_datetime(A["生日"],format ="%Y/%m/%d") # 轉化為時間格式A.groupby(A["生日"].apply(lambda x:x.year)).count() # 按照【生日】的【年份】分組

進一步,我們想選拔:

2、同一年作為一個小組,小組內生日靠前的那一位作為小隊長:

A.sort_values("生日", inplace=True) # 按時間排序A.groupby(A["生日"].apply(lambda x:x.year),as_index=False).first()

as_index=False

保持原來的數據索引結果不變

first()

保留第一個數據

Tail(n=1)

保留最後n個數據

再進一步:

3、想要找到哪個月只有一個人過生日

A.groupby(A["生日"].apply(lambda x:x.month),as_index=False) # 到這裡是按月分組A.groupby(A["生日"].apply(lambda x:x.month),as_index=False).filter(lambda x: len(x)==1)

filter()

對分組進行過濾,保留滿足()條件的分組

以上就是 groupby 最經常用到的功能了。

用 first(),tail()截取每組前後幾個數據

用 apply()對每組進行(自定義)函數運算

用 filter()選取滿足特定條件的分組

今天的內容就到這裡,希望對你有用:)


推薦閱讀:

Python內存資料庫/引擎
python模擬登陸的時候,別人用的是js生成的驗證碼(純字元)如何獲得生成的動態頁面?
Python實現GIF圖倒放

TAG:Python | 數據分析 |