像用excel一样用pandas

1 说明

预计需要15min阅读此教材；
本教材仅讲述如何查看excel数据，筛选，排序，查找替换数据，不涉及excel中复杂的图形绘制及样式修改。

2 假设

假设，已经存在一个test.xlsx文件，仅包含一个sheet，文件内容如下。

col1	col2
foo1	bar1
foo2	bar2

3 读取

3.1 读取excel

读取一个excel并赋值给df

import pandas as pd

df = pd.read_excel('foo.xlsx')

查看行列数

#法一

df.shape

# (2,2)

# m,n其中m为行数，n为列数

# 法二

df.info()

# <class 'pandas.core.frame.DataFrame'>

# RangeIndex: 2 entries, 0 to 1

# Data columns (total 2 columns):

# col1 fa    2 non-null object

# col2 fa    2 non-null object

# dtypes: object(2)

# memory usage: 112.0+ bytes

查看列名

df.columns

# Index(['col1', 'col2'], dtype='object')

说明:如果没有定义表头columns展示仅是索引名1,2,3

获取单元格值

如果了解单元格的行列值可以使用iloc方法获取单元格值。

df.iloc[m, n]

其中m为行数，n为列数，二者均从0开始索引。

查看行

可以使用标签，切片，标签矩阵等等获取行数。

# 查看单行

df.iloc[1] or df.loc['index']

# 查看多行

df.iloc[[1,2,3,4,8,9]]

# 查看前7行

df.iloc[:7]

# 或者

df.loc[:7]

python中切片是不算终止一个元素的，df.iloc取前n个元素是使用':n'，而loc方法是计算终止元素的，取前n元素方法就变为df.loc[:n-1]

查看列

# 查看单列

df['col1']或者df.col1,，其中col1为列名。推荐使用df.col1

# 查看多列，过滤时传入一个列数组

df[['col1','col2']]

# 查看前7列，由于不清楚前7列名，使用[]选择较为困难，pandas提供iloc方法，支持切片选择。

# :意味着选择所有行，0:7意味着选择从1行到第7行

df.iloc[[: , 0:7]]

如果excel表格有列名且没有空格，pandas会默认为df增加一个同列名的字段

全表查看

pandas没有全表查看api，如果要全表查看需要自行编写代码：

# 由于DataFrame是采用列式存储，这里第一层循环使用列，第二层循环使用行。

for i in df.columns:

    for j in df.index:

        if df.loc[j, i] == 'bar2':

            print('column name:',i,',row idx:',j)

4 表格操作

4.1 新增

插入新列

插入新列仅需添加一个新的值,并赋值一个Series对象即可。

df['newcolumn']= pd.Series([1,2])

插入新行

方法一：使用loc。

# 注意在插入时列必须匹配，不能有缺省列。

chipo.loc[chipo.shape[0]]={'col1':value}

方法二：使用append

newdf = pd.DataFrame({'col3':value})

# 插入一条记录

df = df.append(newdf, ignore_index=True)

4.2 修改

修改单元格的值

如果你知道修改单元格的行和列可以使用iloc方法：

# 行和列从0开始索引

df.iloc[m, n] = targetV

4.3 删除

DataFrame提供drop方法支持批量删除行和列。

drop(labels, axis=0, level=None, inplace=False, errors='raise')

# --axis为0时表示删除行，axis为1时表示删除列

参数解释，

# 删除第一和第三行

df.drop(label=[1,3])

# 删除名为item的列

df.drop(label=['item'], axis=1)

# 等价

df.drop(label='item', axis=1)

pandas仅支持按标签删除行列，不支持按行列值删除，这点与选择不同

5 过滤和排序

5.1 过滤

添加过滤条件，

df[df.col1=='Chicken Bowl']

如果在一个列中要选择多个值，Series对象有isin方法可以实现该功能

df[df.col1.isin('Chicken Bowl','huawei')]

多条件过滤

如果需要添加多个过滤条件可以使用，

df[(df.col1=='Chicken Bowl') & (df.col2==30)]

该方法返回值类型为DataFrame。

5.2 排序

DataFrame和Series都有sort_values方法，可按照某列数据做排序。排序方法返回的值依然为DataFrame。

df.sort_values(['column'])

//sort_values支持传入数组，所以可以指定多个排序字段

# or 使用Series方法

df.col1.sort_values()

设定排序顺序

//按降序排序

df.sort_values(['col1','col2'],ascending=False)

按列值排序

df.sort_index(axis=1, ascending=False)

单列排序会影响所有记录重新排序，而不是影响单独列。

6 保存文件

至此，你已学会如何读取文件，查看数据并操作excel值，现在需要将结果写回excel。DataFrame提供to系列方法实现写回。

df.to_excel('test.xlsx', sheet_name='Sheet1')

注意读取时使用pandas静态方法，写回则使用DataFrame的方法

巴特西