Pandas处理缺失的数据

有两种丢失数据：

import numpy as np

import pandas

from pandas import DataFrame

None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。

# 查看None的数据类型

type(None)

NoneType

np.nan是浮点类型，能参与到计算中。但计算的结果总是NaN。

# 查看np.nan的数据类型

type(np.nan)

float

创建DataFrame

df = DataFrame(data=np.random.randint(0,100,size=(10,8)))

df

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

# 将某些数组元素赋值为nan

df.iloc[1,4] = None

df.iloc[3,6] = None

df.iloc[7,7] = None

df.iloc[3,1] = None

df.iloc[5,5] = np.nan

df

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

判断函数

df.isnull()   # 为空,显示True

df.notnull()  # 不为空,显示True

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df.isnull()

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df.isnull().any(axis=1)  # any表示or,axis=1表示行,即一行中存在True,即为True

0    False

1     True

2    False

3     True

4    False

5     True

6    False

7     True

8    False

9    False

dtype: bool

df.notnull().all(axis=1) # all表示and,axis=1表示行,即一行中全为True,才为True

0     True

1    False

2     True

3    False

4     True

5    False

6     True

7    False

8     True

9     True

dtype: bool

df.loc[~df.isnull().any(axis=1)] # ~表示取反

往往这样搭配:

df.dropna() 可以选择过滤的是行还是列（默认为行）:axis中0表示行，1表示的列

df.dropna(axis=0)

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

填充函数 Series/DataFrame

df

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

# bfill表示后, ffill表示前

# axis表示方向: 0:上下, 1:左右

df_test = df.fillna(method='bfill',axis=1).fillna(method='ffill',axis=1)

df_test

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

# 测试df_test中的哪些列中还有空值

df_test.isnull().any(axis=0)

0    False

1    False

2    False

3    False

4    False

5    False

6    False

7    False

dtype: bool

巴特西