前言:近段时间学习R语言用到最多的数据格式就是data.frame,现对data.frame常用操作进行总结,其中函数大部分来自dplyr包,该包由Hadley Wickham所作,主要用于数据的清洗和整理. 一.创建 data.frame创建较为容易,调用data.frame函数即可.本文创建一个关于学生成绩的数据框,接下来大部分操作都对该数据框进行,其中学生成绩随机产生 > library(dplyr) #导入dplyr包 > options(digits = 0) #保留整数 >

Sort:dd <- data.frame(b = factor(c("Hi","Med","Hi","Low"), levels = c("Low","Med","Hi"), ordered = TRUE), x = c("A","D","A","C"), y = c(8,3,9,

################################################### 问题:给某一列赋值.分组.分类.因子化   18.4.24 如何把 data.frame 中的某一列,赋值.即分组分类,, 解决方案: 先 复制 要赋值的这一列, iris1<- iris;  range(iris1$Sepal.Length)    #[1] 4.3  7.9 得到数据范围,为下面分段 方法一: 常规赋值,,可适用于被赋值列为 numeric.character 均可.为 n

向量.因子.时间序列x[i]:  矩阵.数据框x[i, j] x[i, ] x[, j]:  数组就是根据维度多打几个逗号而已x[i, j, k, -]:  列表要用双重中括号x[[i]].  特殊的使用:在中括号中用逻辑表达式提取元素或给特定元素赋值

quantmod 包默认是访问 yahoo finance 的数据,其中包括上证和深证的股票数据,还有港股数据. 上证代码是 ss,深证代码是 sz,港股代码是 hk 例如苏宁云商 setSymbolLookup(SNYS=list(name='002024.sz',src='yahoo')) getSymbols("SNYS") chartSeries(SNYS) 获取上证指数 getSymbols("^SSEC") chartSeries(SSEC, up.co

参考书籍:<利用Python进行数据分析> DataFrame简介: DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值.字符串.布尔值等).DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共用同一个索引).跟其他类似的数据结构相比(如R的data.frame),DataFrame中面向行和面向列的操作基本上是平衡的.其实,DataFrame中的数据是以一个或多个二维块存放的(而不是列表.字典或别的一维数据结构). 导入py

DataFrame是一个表格型的数据结构,含有一组有序的列,每列可以是不同的值类型(数值.字符串.布尔值等),DataFrame就行索引也有列索引,可以被看做由Series组成的字典(共用同一个索引).跟其他类似的数据结构相比,DataFrame中面向行和面向列的操作基本上是平衡的. 构建DataFrame的方法有很多,最常用的一种是直接传入一个由等长列表或Numpy数组组成的字典. 结果DataFrame会自动加上索引,且全部列会被有序排列. In [10]: import pandas as

线性.逻辑回归.input_fn()建立简单两个特征列数据,用特证列API建立特征列.特征列传入LinearClassifier建立逻辑回归分类器,fit().evaluate()函数,get_variable_names()得到所有模型变量名称.可以使用自定义优化函数,tf.train.FtrlOptimizer(),可以任意改动传到LinearClassifier. 随机森林.包含多个决策树分类器及回归算法.处理不平衡分类资料集,极大平衡误差.Kaggle数据科学竞赛,延伸版XGBoost.

Series与DataFrame对比学习 文章为本人原创,未经同意请勿转载,http://www.cnblogs.com/smallcrystal/ Series:构建的方法,一组数组(列表或元组),利用Series(),自动生成索引.或Series(字典),值只有一列,无列索引,只有行索引 属性: .index..values   .name   .index.name   .values.name >> data={'state':['ohio','ohio','ohio','nev','

在家为国家做贡献太无聊,不如跟我一起学点 Python 人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):Pandas (二)数据结构 Series 引言 DataFrame 是由多种类型的列构成的二维标签数据结构. 简单理解是类似于 Excel . SQL 表的结构. DataFrame 是最常用的 Pandas 对象,与 Series 一样,Da

目录 二:pandas数据结构介绍   下面继续讲解pandas的第二个工具DataFrame. 二:pandas数据结构介绍 2.DataFarme   DataFarme表示的是矩阵的数据表,包含已排序的列集合,是一个二维数据工具.每一列可以是不同的数据类型值.它既有行索引又有列索引,可以看作是一组共享相同索引的Series对象.DataFarme的数组方法有很多,比如用index.name获取某列的值,用values获取行的值.这里先介绍一些常用的知识.   (1)构建DataFrame

链接:http://china.nba.com/playerindex/ 所需获取JSON数据页面链接:http://china.nba.com/static/data/league/playerlist.json 数据来源:NBA中国官网 库: requests 用于解析页面文本数据 pandas   用于处理数据 时间: 2017/2/17 (因为为现役球员,故需注明时间节点) 开工: 得到了数据,这下就好办了 先上简单粗暴够用的代码 import requests import panda

pandas是一个用于进行python科学计算的常用库,包含高级的数据结构和精巧的工具,使得在Python中处理数据非常快速和简单.pandas建造在NumPy之上,它使得以NumPy为中心的应用很容易使用. pandas为数据提供了一些解决方案: 支持自动或明确的数据对齐的带有标签轴的数据结构.这可以防止由数据不对齐引起的常见错误,并可以处理不同来源的不同索引数据. 整合的时间序列功能. 以相同的数据结构来处理时间序列和非时间序列. 支持传递元数据(坐标轴标签)的算术运算和缩减. 灵活处理丢失

链接:http://china.nba.com/playerindex/ 所需获取JSON数据页面链接:http://china.nba.com/static/data/league/playerlist.json 数据来源:NBA中国官网 库: requests 用于解析页面文本数据 pandas   用于处理数据 时间: 2017/2/17 (因为为现役球员,故需注明时间节点) 开工: 得到了数据,这下就好办了 先上简单粗暴够用的代码 import requests 2 import pan

计算时间差,时间加减运算代码 最近在学习数据预处理,碰到日期型数据不会处理,上网查了下: Q:如何方便的计算两个时间的差,如两个时间相差几天,几小时等A:使用datetime模块可以很方便的解决这个问题,举例如下: import datetime d1 = datetime.datetime(2009, 3, 23) d2 = datetime.datetime(2009, 10, 7) dayCount = (d1 - d2).days python计算两个时间之间的秒数 import dat

Spark Core面试篇01 随着Spark技术在企业中应用越来越广泛,Spark成为大数据开发必须掌握的技能.前期分享了很多关于Spark的学习视频和文章,为了进一步巩固和掌握Spark,在原有spark专刊基础上,新增<Spark面试2000题>专刊,题集包含基础概念.原理.编码开发.性能调优.运维.源代码以及Spark周边生态系统等.部分题集来源于互联网,由梅峰谷志愿者收集和整理,部分题集由梅峰谷志愿者结合生产实际碰到的问题设计出来,希望能给大家带来帮助. 一.简答题 1.Spark

1.海量日志数据,提取出某日访问百度次数最多的那个IP. 解决方案:首先是将这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中.注意到IP是32位的,最多有个2^32个IP.同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率.然后再在这1000个最大的IP中,找出那个频率最大的IP,即为所求. 2.搜索引擎会通过日志文件把用户每次检索使用的所有

pd.qcut, pd.cut, df.groupby()等在分组和聚合方面的应用 量化交易里, 需要进行大量的分组和统计, 以方便自己处优势的位置/机会. 比如对股价进行趋势分析, 波动性分析, 量化之后, 进行归类统计, 再进行胜算概率的统计. 依据D8和T8的区间, 能够组合出来16种情形, 每一种case都是人们搭建起来的一幅美丽的场景. 研究和观察每一幅场景出现以后, 随后的几天里的表现, 那是非常令人期待的事情. TD图的统计展示, 还没有做完, 先留下部分结果: 代码: def s

pandas中也常常用到的join 和merge方法 merge pandas的merge方法提供了一种类似于SQL的内存链接操作,官网文档提到它的性能会比其他开源语言的数据操作(例如R)要高效. 和SQL语句的对比可以看这里 merge的参数 on:列名,join用来对齐的那一列的名字,用到这个参数的时候一定要保证左表和右表用来对齐的那一列都有相同的列名. left_on:左表对齐的列,可以是列名,也可以是和dataframe同样长度的arrays. right_on:右表对齐的列,可以是列名

转自https://zhuanlan.zhihu.com/p/26100976 目录: 5.1 pandas 的数据结构介绍5.1.1 Series5.1.2 DataFrame5.1.3索引对象5.2基本功能 5.2.1重新索引5.2.2丢弃指定轴上的项5.2.3索引.选取和过滤5.2.4算术运算和数据对齐5.2.4.1在算术方法中填充值5.2.4.2 DataFrame和Series之间的运算5.2.5函数应用和映射5.2.6排序和排名5.2.7带有重复的轴索引5.3汇总和计算描述性统计5.