dates = pd.date_range('20130101', periods=6)  # rows index --6

df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))  # columns index --4

df['A'][dates[3]]  # df[columns][rows] use index get item

df.sort_values(by='开发计划开始时间')  # by后面是column列名，这是根据列里面是值进行排序。

df.tail(2)  # 获取后面两条数据

df.head(2)  # 获取前面两条数据

如下是两种取值方式，df[-1:]得到的是dataframe类型，用loc得到的是series类型，取的都是同样的数据，但是格式不同。

third_row = df[3:4]

type(third_row)

Out[117]: pandas.core.frame.DataFrame

third_row

Out[120]:

                  a         b         c

2013-01-04  0.31441 -0.379357 -0.508348

np_float_obj = third_row['a'][0]  # 同下

third_row.iloc[0][0]  # 这样就是拿到了real值，int，str，float等等之类的，可以用python直接操作

third_loc_row = df.loc[dates[3]]

type(third_loc_row)

Out[119]: pandas.core.series.Series

third_loc_row

Out[121]:

a    0.314410

b   -0.379357

c   -0.508348

Name: 2013-01-04 00:00:00, dtype: float64

np_float_obj = third_loc_row[0]  # series类型支持索引直接取值，就跟list取值一样，拿到real值，用python操作。

pandas 二级列头转成一级列头
first_col_title = df.iloc[0]  # 提取第一行列头
repeat_second_title = df.set_axis(first_col_title, axis=1, inplace=False)  # 把第二行列头直接复制给第一行列头，第一行的原有列头就被删除了
reset_col_title_df = repeat_second_title.drop(index=0)  # 再把重复的第一行跟第二行列头，任意删除一行即可，这里删除的第一行

在dataframe里面直接用坐标取值方法：df.iloc[0][0]

df.loc['20130104':'20130105', ['A', 'B']]  # 根据具体列名和行名来切片

df.iloc[3:5, 0:2]  # 根据坐标来切片，同上得到一样的切片数据结果

df.iloc[[1, 2, 4], [0, 2]]  # 行，列坐标分别取值

df.iloc[1:3, :]  # ，前后分别是row，column坐标值

df.iloc[:, 1:3]  # 同上

df.iloc[1,1]=df.iat[1,1]=df.iloc[1][1]  # 这三种方法，得到的type以及value都是一样的。

df[df > 0]  # 满足条件的值会显示出来，不满足条件的就是NaN补位

list(Series)  # 可以把series转换成list类型

如下是赋值方法：

df.at[dates[0], 'A'] = 0

df.loc[0, 'A'] = 'hello'

df.iat[0, 1] = 2020

df.iloc[0, 0] = 2021

字符串方法：

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])

s[s.str.contains("g", na=True)]  # contains过滤出来有‘g’的元素，如果遇到NaN给它赋值为True，过滤的时候保留，contains的参数可以是正则表达式

df = pd.DataFrame(np.random.randn(10, 4))

pieces = [df_merge[:3], df_merge[3:4], df_merge[8:]]

pd.concat(pieces)  # 这里是把上面pieces的list里面的3个dataframe串联到一个dataframe里面

df.append(pieces)  # 这里用到了append方法，df.append(pieces, ignore_index=True)，就是把两个具有相同列的dataframe合并成一个dataframe，跟concat是一样的结果。

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})

right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})

pd.merge(left, right, on='key')  # 把两个dataframe合并，根据key列来合并到一个dataframe里面

df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])

s = df.iloc[3]

h_2 = df.head(2)

df.append(s, ignore_index=True)

df.append(h_2, ignore_index=True)  # append可以追加Series也可以追加dataframe两种格式

df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar',

   ....:                          'foo', 'bar', 'foo', 'foo'],

   ....:                    'B': ['one', 'one', 'two', 'three',

   ....:                          'two', 'two', 'one', 'three'],

   ....:                    'C': np.random.randn(8),

   ....:                    'D': np.random.randn(8)})

df.groupby('A').sum()  # 根据A列分组，然后把分组的结果求和

df.groupby(['A', 'B']).sum()  # 也可以根据多列分组，分别求和

df.columns  # 获取的是一个类似这样的["name", "age"]，表头列表，可以用索引取值，拿到每个表头字符串

df.iterrows()  # 获取的是一个生成器，需要用next取值，或者循环取值，拿到每一列的数据，包括列的索引值，每列数据放在tuple里面

whole_df[whole_df['PCSID'].isin(

        left_no_matched_whole_data

    )

    ] # 拿到一列数据，去跟其他数据格式比对，匹配的结果，就拿到所有列的完整的dataFrame。 

# df[(df["B"].map(lambda x: x >= "0.96_01")) & (

    #             df["A"].isin(["a1", ]) == False)] # 利用lambda函数来写自定义函数

pandas-dataframe-ffill功能可以填充合并单元格，前提是，没有这个参数-keep_default_na=False，就用这个参数它默认的值True即可.

如下，从dataframe里面，拿到name列，这列里面都是字符串，该列的每一个值都包含A-Za-z0-9元素，有11个满足此正则条件的元素。

df[df["name"].str.contains(r"[A-Za-z0-9]{11}")]
df = df[df["name"].str.startswith("J")==True]  # 这里把name列里面所有J开头的元素，提取出来。同理endswith也适用，False就是取反向值

df["name"] = df["name"].str.replace("he", "she")  # 这里是把name列值里面的指定字符串替换成你想要替换的字符串

dataFrame数据类型转换：df["a"].astype("string")  # "object"|"float"|"int"|"bool", if the column got NaN|NaT|NAN .etc then turn type will failed

dataFrame追加一行数据：append---df.append({"a":"hello", "b":"world"}, ignore_index=True)  # df.index==["a", "b",]

Pandas替换空值｜缺失值，用fillna；df = df.fillan("")|df = df.fillna(0)

以上是把空值替换成空字符串或者0，此时是需要返回值的，因为它是在源数据基础上copy一份数据，进行替换。

df.fillan("", inplace=True)  # 这是在源数据上进行替换，返回值就是None。

Pandas，把多个dataframe，连接成一个：根据指定列合并，外连接，把相同不相同的数据都保留拼接到一起，缺失的用空值代替。

from functools import reduce

df_li = [df1,df2,df3]

merge_df = reduce(lambda right, left:pandas.merge(right, left, how="outer", on="column_name"), df_li)

# 指定列顺序
from pandas.api.types import CategoricalDtype
cat_size_order = CategoricalDtype( ['XS', 'S', 'M', 'L', 'XL'], ordered=True )
df['size'] = df['size'].astype(cat_size_order)