一.理论介绍 虚拟变量(dummy variable)也叫哑变量,是一种将多分类变量转换为二分变量的一种形式. 如果多分类变量有k个类别,则可以转化为k-1个二分变量. 需要有一个参照的类别. 在非线性关系的模型中,特别重要. 在模型分析时,虚拟变量都是同进同出,要么都在模型中,要么都不在模型中,不能只保留一个. 二.函数介绍 pandas 中可以利用 get_dummies() 函数进行哑变量编码. 使用语法: pd.get_dummies(data, # 输入的数据框 prefix=None

目的 1.查找NaN值(定位到哪一列.在列的哪个索引位置) 2.填充NaN值(向上填充.向下填充.线性填充等) 3.过滤NaN值 构建简单的Dataframe数据结构环境 import pandas as pd import numpy as np #在df中nan和None都会被自动填充为NaN df=pd.DataFrame({'a':[np.nan,1,2,3],'b':[None,5,6,7],'c':[8,9,10,11]}) print(df) '''结果 a b c 0 NaN N

6.标签特征二元化 处理分类变量还有另一种方法,不需要通过OneHotEncoder,我们可以用LabelBinarizer. 这是一个阈值与分类变量组合的方法. In [1]: from sklearn import datasets as d iris = d.load_iris() target = iris.target How to do it... 导入LabelBinarizer()创建一个对象: In [2]: from sklearn.preprocessing import

改写原因:在这个模块中的 get_benchmark_returns() 方法回去谷歌财经下载对应SPY(类似于上证指数)的数据,但是Google上下载的数据在最后写入Io操作的时候会报一个恶心的编码的错误,很烦人,时好时坏的那种,就是图下这种报错. 改写方式: 1.首先去雅虎财经下载SPY.csv文件,然后把这个文件放到你对应的目录下 2.具体代码如下 # # Copyright 2013 Quantopian, Inc. # # Licensed under the Apache Licen

内容目录 1. 什么是缺失值 2. 丢弃缺失值 3. 填充缺失值 4. 替换缺失值 5. 使用其他对象填充 数据准备 import pandas as pd import numpy as np index = pd.Index(data=["Tom", "Bob", "Mary", "James", "Andy", "Alice"], name="name") da

一.pandas简介安装 pandas是一个强大的python数据分析的工具包 pandsa是基于NumPy构建的 1.pandas的主要功能 1.具备对其功能的数据结构DataFrame.Series 2.集成时间序列功能 3.提供丰富的数学运算和操作 4.灵活处理缺失数据 2.安装方法 pip install pandas 3.引用方法 import pandas as pd 二.Series对象 1.pandas的Series对象是一个带索引数据构成的一维数组,可以用一个数组创建Serie

import numpy as py import pandas as pd Series对象 data= pd.Series([0.25,0.5,0.75,1.0])   默认索引是数字 data=pd.Series([0.25,0.5,0.75,1.0],index=['a','b','c','d'])   用字符串定义索引,也可以用不连续的索引 data['b'] data['a':'c']  支持切片操作 pd.Series(data,index=index) data可以是列表或num

缺失数据(missing data)大部分数据分析应用中非常常见.pd设计目标之一就是让缺失数据的处理任务尽量轻松. pd 使用浮点值NaN(Not a Number) 表示浮点和非浮点数组中的缺失数据.是一个被检测出来的标识 import pandas as pd import numpy as np string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado']) string_data string_data.isn

本章介绍pandas的重要功能,只记录一些重点内容 1.重新索引 pandas对象的一个重要方法是reindex,其作用是创建一个适应用新索引的新对象 #重新索引 obj = pd.Series([4.5, 7.2, -5.3, 3.6], index = ['d', 'b', 'a', 'c']) obj #调用该Series的reindex将会根据新索引进行重排.如果某个索引值当前不存在,就引入缺失值 obj2 = obj.reindex(['a', 'b', 'c', 'd', 'e'])

1. 问题需求 某种行为最常发生时段.最少发生时段与X天前是否一致 需求变形:判断上下行数据是否一致 2. 预备知识 2.1 Series.ne(Series) 判断两个Series是否相等 import pandas as pd import numpy as np a = pd.Series([1, 1, 1, np.nan], index=['a', 'b', 'c', 'd']) b = pd.Series([1, np.nan, 1, np.nan], index=['a', 'b',

当任何匹配特定值的数据(NaN/缺失值,尽管可以选择任何值)被省略时,稀疏对象被“压缩”. 一个特殊的SparseIndex对象跟踪数据被“稀疏”的地方. 这将在一个例子中更有意义. 所有的标准Pandas数据结构都应用了to_sparse方法 - import pandas as pd import numpy as np ts = pd.Series(np.random.randn(10)) ts[2:-2] = np.nan sts = ts.to_sparse() print (sts)

''' [课程2.] 数值计算和统计基础 常用数学.统计方法 ''' # 基本参数:axis.skipna import numpy as np import pandas as pd df = pd.DataFrame({,,,np.nan,], ,,np.nan,,], ,,,'j','k']}, index = ['a','b','c','d','e']) print(df) print(df['key1'].dtype,df['key2'].dtype,df['key3'].dtype)

Series的简单运算 import numpy as np import pandas as pd s1=pd.Series([1,2,3],index=['A','B','C']) print(s1) 结果: A 1 B 2 C 3 dtype: int64 s2=pd.Series([4,5,6,7],index=['B','C','D','E']) print(s2) 结果: B 4 C 5 D 6 E 7 dtype: int64 print(s1+s2)#对应的index相加,NaN

数据预处理 如何对数据进行预处理,提高数据质量,是数据分析中重要的问题. 1.数据合并 堆叠合并数据,堆叠就是简单地把两个表拼在一起,也被称为轴向链接,绑定或连接.依照轴的方向,数据堆叠可分为横向堆叠和纵向堆叠. 1.横向堆叠,即将两个表在x轴向拼接在一起.可以使用concat函数完成.        pandas.concat(obj,axis=0,join="outer",join_axes=None,ignore_index=False,keys=None,levels=None

新建表 data1 = { "name": ["Tom", "Bob", "Mary", "James"], "age": [18, 30, 35, 18], "city": ["Bei Jing ", "Shang Hai ", "Guang Zhou", "Shen Zhen"] }

官方文档 1. 安装Pandas windos下cmd:pip install pandas 导入pandas包:import pandas as pd 2. Series对象 带索引的一维数组 创建: s = pd.Series([12,-4,7,9]) print (s) 0 12 1 -4 2 7 3 9 dtype: int64 s = pd.Series([12,-4,7,9], index = ['a', 'b', 'c', 'd']) print (s) a 12 b -4 c 7

上一个章节中我们主要是介绍了pandas两种数据类型的具体属性,这个章节主要介绍操作Series和DataFrame中的数据的基本手段. 一.基本功能 1.重新索引 pandas对象的一个重要方法是reindex,其作用是创建一个新对象,它的数据符合新的索引: import pandas as pd obj = pd.Series([4.5, 7.2, -5.3, 3.6], index=['d', 'b', 'a', 'c']) print(obj) d 4.5 b 7.2 a -5.3 c

当任何匹配特定值的数据(NaN/缺失值,尽管可以选择任何值)被省略时,稀疏对象被“压缩”. 一个特殊的SparseIndex对象跟踪数据被“稀疏”的地方. 这将在一个例子中更有意义. 所有的标准Pandas数据结构都应用了to_sparse方法 - import pandas as pd import numpy as np ts = pd.Series(np.random.randn(10)) ts[2:-2] = np.nan sts = ts.to_sparse() print (sts)

Abstract During the course fo doing data analysis and modeling, a significant amount of time is spend on data preparation: loading, cleaning, transforming, and rearrangin. 在整个数据分析建模过程中, 大量的时间(80%)的时间是用在了数据的预处理中, 如数据清洗, 加载, 标准化, 重塑等. Such tasks are of

import numpy as np import pandas as pd This section will walk you(引导你) through the fundamental(基本的) mechanics(方法) of interacting(交互) with the data contained in a Series or DataFrame. -> (引导你去了解基本的数据交互, 通过Series, DataFrame). In the chapters to come, w

本文包含一些 Pandas 的基本操作,旨在快速上手 Pandas 的基本操作. 读者最好有 NumPy 的基础,如果你还不熟悉 NumPy,建议您阅读NumPy基本操作快速熟悉. Pandas 数据结构 Pandas 有两个核心的数据结构:Series 和 DataFrame. Series Series 是一维的类数组对象,包含一个值序列以及对应的索引. obj = pd.Series([6, 66, 666, 6666]) obj 0 6 1 66 2 666 3 6666 dtype: