https://segmentfault.com/a/1190000012394176

介绍

每隔一段时间我都会去学习、回顾一下python中的新函数、新操作。这对于你后面的工作是有一定好处的。
本文重点介绍了pandas中groupby、Grouper和agg函数的使用。这2个函数作用类似，都是对数据集中的一类属性进行聚合操作，比如统计一个用户在每个月内的全部花销，统计某个属性的最大、最小、累和、平均等数值。

其中，agg是pandas 0.20新引入的功能

groupby && Grouper

首先，我们从网上把数据下载下来，后面的操作都是基于这份数据的：

import pandas as pd

df = pd.read_excel("https://github.com/chris1610/pbpython/blob/master/data/sample-salesv3.xlsx?raw=True")

df["date"] = pd.to_datetime(df['date'])

df.head()

（图片来自于jupyter notebook，强烈推荐使用它作为python的交互工具）

下面，我们统计'ext price'这个属性在每个月的累和(sum)值，resample 只有在index为date类型的时候才能用：

df.set_index('date').resample('M')['ext price'].sum()

date

2014-01-31    185361.66

2014-02-28    146211.62

2014-03-31    203921.38

2014-04-30    174574.11

2014-05-31    165418.55

2014-06-30    174089.33

2014-07-31    191662.11

2014-08-31    153778.59

2014-09-30    168443.17

2014-10-31    171495.32

2014-11-30    119961.22

2014-12-31    163867.26

Freq: M, Name: ext price, dtype: float64

进一步的，我们想知道每个用户每个月的sum值，那么就需要一个groupby了：

df.set_index('date').groupby('name')['ext price'].resample("M").sum()

name                             date

Barton LLC                       2014-01-31     6177.57

                                 2014-02-28    12218.03

                                 2014-03-31     3513.53

                                 2014-04-30    11474.20

                                 2014-05-31    10220.17

                                 2014-06-30    10463.73

                                 2014-07-31     6750.48

                                 2014-08-31    17541.46

                                 2014-09-30    14053.61

                                 2014-10-31     9351.68

                                 2014-11-30     4901.14

                                 2014-12-31     2772.90

Cronin, Oberbrunner and Spencer  2014-01-31     1141.75

                                 2014-02-28    13976.26

                                 2014-03-31    11691.62

                                 2014-04-30     3685.44

                                 2014-05-31     6760.11

                                 2014-06-30     5379.67

                                 2014-07-31     6020.30

                                 2014-08-31     5399.58

                                 2014-09-30    12693.74

                                 2014-10-31     9324.37

                                 2014-11-30     6021.11

                                 2014-12-31     7640.60

Frami, Hills and Schmidt         2014-01-31     5112.34

                                 2014-02-28     4124.53

                                 2014-03-31    10397.44

                                 2014-04-30     5036.18

                                 2014-05-31     4097.87

                                 2014-06-30    13192.19

                                                 ...

Trantow-Barrows                  2014-07-31    11987.34

                                 2014-08-31    17251.65

                                 2014-09-30     6992.48

                                 2014-10-31    10064.27

                                 2014-11-30     6550.10

                                 2014-12-31    10124.23

White-Trantow                    2014-01-31    13703.77

                                 2014-02-28    11783.98

                                 2014-03-31     8583.05

                                 2014-04-30    19009.20

                                 2014-05-31     5877.29

                                 2014-06-30    14791.32

                                 2014-07-31    10242.62

                                 2014-08-31    12287.21

                                 2014-09-30     5315.16

                                 2014-10-31    19896.85

                                 2014-11-30     9544.61

                                 2014-12-31     4806.93

Will LLC                         2014-01-31    20953.87

                                 2014-02-28    13613.06

                                 2014-03-31     9838.93

                                 2014-04-30     6094.94

                                 2014-05-31    11856.95

                                 2014-06-30     2419.52

                                 2014-07-31    11017.54

                                 2014-08-31     1439.82

                                 2014-09-30     4345.99

                                 2014-10-31     7085.33

                                 2014-11-30     3210.44

                                 2014-12-31    12561.21

Name: ext price, Length: 240, dtype: float64

结果肯定是对的，但是不够完美。我们可以使用Grouper写得更加简洁：

# df.set_index('date').groupby('name')['ext price'].resample("M").sum()

df.groupby(['name', pd.Grouper(key='date', freq='M')])['ext price'].sum()

结果和上面

巴特西

python处理数据的风骚操作[pandas 之 groupby&agg]

介绍

groupby && Grouper

最新文章

热门文章