处理丢失数据

有两种丢失数据：

• None
• np.nan(NaN)

import numpy as np

type(None)

NoneType

type(np.nan)

float

1. None

None是Python自带的，其类型为python object。因此，None不能参与到任何计算中。

object类型的运算要比int类型的运算慢得多

计算不同数据类型求和时间

%timeit np.arange(1e5,dtype=xxx).sum()

1E7

10000000.0

%timeit np.arange(1E6, dtype= int).sum()

4.85 ms ± 1.08 ms per loop (mean ± std. dev. of 7 runs, 100 loops each)

%timeit np.arange(1E6, dtype = float).sum()

7.33 ms ± 587 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

%timeit np.arange(1E6,dtype = object).sum()

118 ms ± 8.94 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

2. np.nan（NaN）

np.nan是浮点类型，能参与到计算中。但计算的结果总是NaN。

但可以使用np.nan*()函数来计算nan，此时视nan为0。

nd = np.array([10,20,30,np.nan,None])

#None 不能够参加到运算当中

nd.sum()

---------------------------------------------------------------------------

TypeError                                 Traceback (most recent call last)

<ipython-input-13-218f693fc17f> in <module>()

      1 nd = np.array([10,20,30,np.nan,None])

----> 2 nd.sum()

C:\anaconda\lib\site-packages\numpy\core\_methods.py in _sum(a, axis, dtype, out, keepdims)

     30

     31 def _sum(a, axis=None, dtype=None, out=None, keepdims=False):

---> 32     return umr_sum(a, axis, dtype, out, keepdims)

     33

     34 def _prod(a, axis=None, dtype=None, out=None, keepdims=False):

TypeError: unsupported operand type(s) for +: 'float' and 'NoneType'

nd = np.array([10,20,30,np.nan])

nd

array([10., 20., 30., nan])

nd.sum()

nan

np.mean(nd)

nan

np.nanmean(nd)

20.0

np.nansum(nd)

60.0

np.nan

nan

3. pandas中的None与NaN

1) pandas中None与np.nan都视作np.nan

创建DataFrame

import pandas as pd

from pandas import Series,DataFrame

df = DataFrame([10,20,57,None,np.nan], index = list('abcde'), columns = ["Python"])

df

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df.sum()

Python    87.0

dtype: float64

df = DataFrame([[10,20,57,None,np.nan],

                [22,33,56,16,None],

                [np.nan,1,2,3,4]], index = list("abc"), columns = ["Python","Java","物理","数学","H5"])

df

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df.sum(axis = 0)

Python     32.0

Java       54.0

物理        115.0

数学         19.0

H5          4.0

dtype: float64

使用DataFrame行索引与列索引修改DataFrame数据

df["Python"]["c"] = 12

C:\anaconda\lib\site-packages\ipykernel_launcher.py:1: SettingWithCopyWarning:

A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

  """Entry point for launching an IPython kernel.

df

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

2) pandas中None与np.nan的操作

df = DataFrame([[10,20,57,None,np.nan],

                [22,33,56,16,None],

                [np.nan,1,2,3,4]], index = list("abc"), columns = ["Python","Java","物理","数学","H5"])

df

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

#下面讲的是一个重点！！！！

• isnull()
• notnull()
• dropna(): 过滤丢失数据
• fillna(): 填充丢失数据

df

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

#DataFrame 的isnull这个函数返回值就是一个DataFrame

is_null = df.isnull()

is_null

#

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

#需求：查看哪一行有空值,举数据分析的例子的时候吗，会用这个方法

is_null = is_null.any(axis = 1)

is_null

a    True

b    True

c    True

dtype: bool

df2 = DataFrame([[10,20,57,90,28],[22,35,46,78,67],[21,34,23,77,66]],

                index = list("efg"),columns = ["Python","Java","物理","数学","H5"] )

#没空值的数据

df2

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3 = df.add(df2, fill_value = 0)

df3

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3_isnull = df3.isnull()

df3_isnull = df3_isnull.any(axis = 1)

df3_isnull

a     True

b     True

c     True

e    False

f    False

g    False

dtype: bool

df3[df3_isnull]

#过滤问题    过滤的是没有空值的，留下来的是带空值的！！！

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df[is_null]

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

(1)判断函数

• isnull()
• notnull()

df3

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3_notnull = df3.notnull().all(axis = 1)

df3_notnull

a    False

b    False

c    False

e     True

f     True

g     True

dtype: bool

df3[df3_notnull]

#过滤的是空值，留下来的是没有空值的情况

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

#还可以通过条件来进行过滤

df3

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

cond = (df3 >= 10).all(axis= 1)

cond

a    False

b    False

c    False

e     True

f     True

g     True

dtype: bool

df3[cond]

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

(2) 过滤函数

• dropna()

df3

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3.dropna()

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3["H5"] = None

df3

#pandas 自身的bug    但是数据还是nan

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3.dropna(axis = 1,how = "all")

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

可以选择过滤的是行还是列（默认为行）

也可以选择过滤的方式 how = 'all'

(3) 填充函数 Series/DataFrame

• fillna()

df3

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3.fillna(-1)

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

可以选择前向填充还是后向填充

df3

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3.fillna(method = "bfill")

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3.fillna(method = "ffill")

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

#f  forward  向前

df3.fillna(method='ffill', axis = 1)

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

df3.fillna(method = "bfill",axis = 1)

对于DataFrame来说，还要选择填充的轴axis。记住，对于DataFrame来说：

• axis=0：index/行
• axis=1：columns/列

============================================

练习7：

1. 简述None与NaN的区别

2. 假设张三李四参加模拟考试，但张三因为突然想明白人生放弃了英语考试，因此记为None，请据此创建一个DataFrame,命名为ddd3

3. 老师决定根据用数学的分数填充张三的英语成绩，如何实现？
   
   用李四的英语成绩填充张三的英语成绩？

============================================

最新文章

1. Android探索之HttpURLConnection网络请求
2. Java-马士兵动态代理模式
3. Java中遍历Map集合的四种方法
4. 20款高质量的 HTML5 网站模板【免费下载】
5. Android requires compiler compliance level 5.0 or 6.0. Found '1.7' instead
6. C# 将\u1234类型的字符转化成汉字
7. ASP.NET MVC 教程
8. Oracle 动态视图1 V$LOCK
9. 并发编程之--ConcurrentSkipListMap
10. ng-if与ng-show、ng-hide指令的区别和注意事项
11. AJAX提交到Handler.ashx一般处理程序返回json数据 (字符串拼接方式)
12. JavaScript基础回顾
13. 逢三退一(boolean数组的使用)
14. MySQL增量订阅&消费组件Canal POC
15. sqlserver之排序规则和ETL不支持sqlserverdatetime2的问题
16. css变化代码
17. [hdu5608]function
18. CF1142C U2
19. Java代码质量改进之：使用ThreadLocal维护线程内部变量
20. R语言 set.seed()函数

热门文章

1. Accord.NET重启4.0 开发
2. 深入理解 EF Core：EF Core 写入数据时发生了什么？
3. 3D 立体动态图 代码：
4. 手把手教你使用Python抓取QQ音乐数据（第一弹）
5. 为什么说String是线程安全的
6. 07.Easymock的实际应用
7. 【故障公告】阿里云 RDS 实例 CPU 100% 故障引发全站无法正常访问
8. Halcon斑点分析BlobAnalysis解析
9. 14 张思维导图构建 Python 核心知识体系
10. 【总结-前台发送后台接收表单】MVC提交表单的四种方式