Pandas有一些不频繁使用容易忘记的小技巧

1、将不同Dataframe写在一个Excel的不同Sheet,或添加到已有Excel的不同Sheet(同名Sheet会覆盖)

from pandas import ExcelWriter

#在单个文件中不同df写入对应不同的的工作表
with ExcelWriter('path_to_file.xlsx') as writer:
df1.to_excel(writer, sheet_name='Sheet1')
df2.to_excel(writer, sheet_name='Sheet2') #附加到已有的Excel文件
with ExcelWriter('path_to_file.xlsx', mode='a') as writer:
df.to_excel(writer, sheet_name='Sheet3')

2、建立索引,修改索引,重建索引,删除索引,索引---->列,列---->索引

  • 建立索引  列---->索引
import pandas as pd

#DataFrame.set_index(keys, drop=True, append=False, inplace=False, verify_integrity=False)
  #key:标签或者数组(Series, Index,np.ndarray),复合索引则把标签或数组放在list中
  #drop:删除作为新索引的列
  #append :将列附加到现有的索引
  #inplace :是否修改Dataframe df = pd.DataFrame({'month': [1, 4, 7, 10],
'year': [2012, 2014, 2013, 2014],
'sale': [55, 40, 84, 31]})
#列转索引
df.set_index('month') #多列转复合索引
df.set_index(['year', 'month']) #设置列与另一索引为复合索引
df.set_index([pd.Index([1, 2, 3, 4]), 'year']) #使用Series建立索引
s = pd.Series([1, 2, 3, 4])
df.set_index([s, s**2])
  • 重建/删除索引    索引---->列
#原索引转列,重建递增索引
df.reset_index() #删除原索引、重建默认递增索引
df.reset_index(drop=True) #行多索引子索引转列多索引的某一层级的列,默认为最高级,若插入其他等级,col_fill为指定最高级索引,若不存在,则创建
df.reset_index(level='class', col_level=1, col_fill='genus')
  • 修改索引
import pandas as pd
import numpy as np #DataFrame.reindex(labels = None,index = None,columns = None,axis = None,method = None,copy = True,level = None,
            fill_value = nan,limit = None,tolerance = None)
#reindex相当于对DataFrame的架构(index或者column)筛选或者补充,即如果原df存在相应的
##索引或列,就保留,没有则为NAN,函数有一系列填充NAN的方法(不止固定填充某值,非操作原始数据NAN) index = ['Firefox', 'Chrome', 'Safari', 'IE10', 'Konqueror']
df = pd.DataFrame({
'http_status': [200,200,404,404,301],
'response_time': [0.04, 0.02, 0.07, 0.08, 1.0]},
index=index) #重新索引行
new_index= ['Safari', 'Iceweasel', 'Comodo Dragon', 'IE10','Chrome']
df.reindex(new_index, fill_value='missing') #重新索引列
df.reindex(columns=['http_status', 'user_agent']) #展示对索引中产生的NAN的填充功能
date_index = pd.date_range('1/1/2010', periods=6, freq='D')
df2 = pd.DataFrame({"prices": [100, 101, np.nan, 100, 89, 88]},index=date_index)
date_index2 = pd.date_range('12/29/2009', periods=10, freq='D')
df2.reindex(date_index2)
#第一个有效值以填充之前的NaN值
df2.reindex(date_index2, method='bfill') #.reindex_like
#等价于.reindex(index=other.index, columns=other.columns,...)

3、读取有BOM头的文档(Windows有的软件会在首行添加看不见的BOM头,导致文件处理出错)

import pandas as pd

df=pd.read_csv("test.csv",sep="\t",encoding="utf-8-sig",engine="python")

#即编码改成有BOM头的即可

4、在Pandas读取csv的时候报 field larger than field limit (131072) 这样的错误

  •   从报错上来说,这是说字段大小超过限制了,但是一般来说,我们的字段通常是不会超过限制的,如果超过了,就应该反思数据结构是不是适合csv的格式了,所以除了这个,很有可能是解析的方式出了问题,我遇到过一个例子,通过改变Quote行为解决的
import pandas as pd

df = pd.read_csv('test.csv',sep='\t',encoding='utf-8-sig',quoting=3)

#quoting:控制引用字符引用行为,QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3).
  •   但是如果csv的字段就是那么的大,可以使用下述DirtyCode进行拓展限制的处理
import pandas as pd

maxInt =pd.io.parsers.sys.maxsize
while True:
try:
pd.io.parsers.csv.field_size_limit(maxInt)
break
except OverflowError:
#这里主要是因为Python的Int的大小是远大于C的,当不满足的时候,除以2
maxInt = maxInt>>1

5、未完待续... ...

最新文章

  1. Excel表格解析
  2. [No000057]一个人默默背单词,小心被传染哦
  3. Tree
  4. css常用中文字体的英文名称写法
  5. 《Linux内核设计的艺术》学习笔记(二)INT 0x13中断
  6. python编写接口
  7. Hibernate 与 Spring 的整合
  8. functional javascript
  9. openstack instance snapshort
  10. Ubuntu 修改时间
  11. 在WinForm中使用委托来在其他线程中改变控件的显示
  12. 【HDOJ】1716 排列2
  13. phantomjs初入门
  14. Android apk应用程序签名
  15. [Err] 1172 - Result consisted of more than one row
  16. Java 疑问自问自答
  17. 【Docker】(3)---linux部署Docker、Docker常用命令
  18. 2018-计算机系机试(第二批)-E-绝对值排序
  19. wamp解决ajax跨域问题
  20. vue中修改了数据但视图无法更新的情况

热门文章

  1. [译]在IB中实现自动布局
  2. 一次lenovo a390t刷机体验
  3. git工程迁移(修改提交服务器地址)方法
  4. linux中sed中用s 替换中遇到的问题
  5. HTML5 Canvas 绘制新西兰国旗
  6. C端端口扫描工具,发现www服务
  7. java查看工具jstack-windows
  8. 四种常见的POST提交数据方式
  9. 用Squid和DNSPod打造自己的CDN详细教程
  10. java和C#实例化类初始化顺序