# 一文掌握Pandas量化进阶

# 这节课学习Pandas更深的内容。

# 导入库：

import numpy as np

import pandas as pd

# 制作DataFrame

np.random.seed(10)

period = pd.date_range('2017-1-1', periods=10000, freq='D')

df = pd.DataFrame(np.random.randn(10000, 4),

                  columns=['Data1', 'Data2', 'Data3', 'Data4'],

                  index = period)

print(df.head())

#                Data1     Data2     Data3     Data4

# 2017-01-01  1.331587  0.715279 -1.545400 -0.008384

# 2017-01-02  0.621336 -0.720086  0.265512  0.108549

# 2017-01-03  0.004291 -0.174600  0.433026  1.203037

# 2017-01-04 -0.965066  1.028274  0.228630  0.445138

# 2017-01-05 -1.136602  0.135137  1.484537 -1.079805

# 1> Group操作

# ① 一重分组

df['G1'] = np.random.choice(['A','B','C','D'],10000) # 新加一列用作分组。

grouped = df.groupby('G1')

print(grouped.size()) # 查看分组情况。

# G1

# A    2484

# B    2491

# C    2502

# D    2523

# dtype: int64

grouped.sum() # 分组求和

grouped.max() # 寻找分组最大的

grouped.mean() # 分组求平均

grouped.describe() # 分组统计量

np.transpose(grouped.describe()) # 转置

print(grouped.get_group('A').head()) # 挑出分组为A的DataFrame。

# ②双重分组

# 再建立一个分组

df['G2'] = np.random.choice(['S','Y'],10000)

grouped = df.groupby(['G1','G2']) # 哪个分组在前面就先按哪个分组分类。

# 聚合运算。按G1、G2分组后，分别求Data1和Data2的平均值和最大值。

print(grouped.agg({'Data1':np.mean, 'Data2':np.max})) 

# 2> 合并操作

# 建立DataFrame

df1 = pd.DataFrame(['1','2','3','4'],

                   index=['a','b','c','g'],

                   columns=['A'])

df2 = pd.DataFrame(['5','6','7','8'],

                   index=['a','b','e','f'],

                   columns=['B'])

# ① 用concat合并DataFrame

df = pd.concat((df1,df2),axis=1,ignore_index=False) # 横向合并

print(df)

#      A    B

# a    1    5

# b    2    6

# c    3  NaN

# g    4  NaN

# e  NaN    7

# f  NaN    8

# 自动按索引合并，为空不会报错。

# ② DataFrame内置合并方法

df = pd.DataFrame({'A': df1['A'], 'B': df2['B']}) 

# ③ Join操作（有条件的合并）

df1.join(df2,how='left') # 按df1的索引合并，left是默认值，还可以写right，inner，outer。

# ④ Merge操作

df1 = pd.DataFrame(['1','2','3','4'],

                   index=['a','b','c','d'],

                   columns=['A',])

df2 = pd.DataFrame(['5','6','7','8'],

                   index=['a','b','c','d'],

                   columns=['B',])

c = pd.Series(['10','11','12','13'],

              index=['a','b','c','d'])

# df1和df2都新增一列。

df1['C'] = c

df2['C'] = c

# 合并

print(pd.merge(df1,df2,on='C')) # 该函数默认将一样的列合并。on的默认值在这里就是C.

#    A   C  B

# 0  1  10  5

# 1  2  11  6

# 2  3  12  7

# 3  4  13  8

# 索引会重置。

# 注意，慎用这里的on参数.当C内的数据有重复时，用on参数达不到预想的合并效果。

# 转而用下面的方法合并。（根据索引合并）

print(pd.merge(df1,

         df2,

         left_index=True,

         right_index=True,

         suffixes=['_df1','_df2']))

#    A C_df1  B C_df2

# a  1    10  5    10

# b  2    11  6    11

# c  3    12  7    12

# d  4    13  8    13

# 其中还有how参数，inner和outer。当df1和df2不同长度时，读者可以自己尝试下效果。

# 3> 层次化索引

np.random.seed(10)

df = pd.Series(np.random.randn(5),

               index=[['a', 'a', 'b','b', 'b'],

                      [1,2,1,2,3]])

print(df)

# a  1    1.331587

#    2    0.715279

# b  1   -1.545400

#    2   -0.008384

#    3    0.621336

# a,b为level 0，123为level 1。

# dtype: float64

# 用unstack()重新排列

df.unstack()

df.unstack().T # 转置

df.unstack().stack() # 逆运算

print(df.sum(level=0)) # 按level0聚合

# a    2.046865

# b   -0.932448

# dtype: float64

print(df.sum(level=1)) # 按level1聚合

# 1   -0.213814

# 2    0.706895

# 3    0.621336

# dtype: float64