1.按照周期来截取数据

从数据库加载下来的是以5min取一次mean()的列,因此24h应取了24*60/5=288次数据

首先把这8352个数据(最后一个以倒数第二个填充)改成288*30的形式

txt=open('my_data.csv','r')
txt1=open('new_data.csv','w')
temp=[]
for line in txt.readlines():
line=line.strip('\n')
temp.append(line) j=1
n=288
while n:
s=[]
for i in range(len(temp)):
if (i+1)%288 == j:
s.append(temp[i])
else:
pass
for k in s:
txt1.write(k)
txt1.write(',')
j=j+1
n=n-1
if j==288:
s=[]
txt1.write('\n')
for i in range(len(temp)):
if (i+1)%288 ==0:
s.append(temp[i])
else:
pass
for k in s:
txt1.write(k)
txt1.write(',')
else:
pass
txt1.write('\n') txt.close()
txt1.close()

2.缺失值和异常处理

https://blog.csdn.net/wangxingfan316/article/details/79363420

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.preprocessing import Imputer
import scipy.fftpack as fftpact def meaninstead(list):
#遍历数据进行处理
con_clou = len(list)
for i in range(0,cont_clou-1):
for j in range(0,29):
if(list[i][j]>1000):
list[i][j]=(list[i-1][j]+list[i+1][j])
elif(list[i][j]<=0):
list[i][j]=(list[i-1][j]+list[i+1][j])
return list dataset = pd.read_csv('new_data.csv')
list = np.array(dataset.values.tolist())
list = meaninstead(list)
list.to_csv('clean.csv')

3.降噪

https://www.douban.com/note/698037655/?type=like

傅里叶变换降噪失真度的计算

https://max.book118.com/html/2018/1126/8077042115001134.shtm

5.分箱

import numpy as np
import pandas as pd
dataset = pd.read_csv('june_total.csv')
list1= np.array(dataset.values.tolist())
temp = list1[1,0:]
string =str(pd.qcut(temp,3)[1])
s = string.strip("(").strip("]").split(",")
left = float(s[0])
right=float(s[1]) num=0
count=0
for i in temp:
if left<i and right>i:
num+=i
count+=1
else:
continue
print(num/count)

最新文章

  1. IE6 跟随滚动解决方法
  2. Java注释中TODO/FIXME/XXX的含义
  3. Spark源码学习1.1——DAGScheduler.scala
  4. 仿知乎Android端回答UI
  5. 虚拟机centos配置ip
  6. Sqli-labs less 48
  7. WP开发笔记——日期时间DateTime.Now函数
  8. logrotate日志轮转配置文档
  9. python----mysql链接汉字编码的问题
  10. BZOJ_1100_[POI2007]对称轴osi_KMP+计算几何
  11. 谈下git的基本操作
  12. BZOJ 1002 - 轮状病毒 - [基尔霍夫矩阵(待补)+高精度]
  13. DPDK无法分出连续大页面(contiguous hugepages)的几个解决方法
  14. 使用AndroidStudio编译NDK的方法及错误解决方式
  15. windows下使用docker(一)—— 安装
  16. 仓位 001 998 AUFNAHME不存在(L9009)
  17. Oracle中插入千万条测试数据
  18. VS2013 打开项目时提示This project is incompatible with the current edition Visual Studio.
  19. XCode6 ,iOS之PCH文件配置
  20. 爬虫入门【11】Pyspider框架入门—使用HTML和CSS选择器下载小说

热门文章

  1. 多线程调用有参数的方法---c# Thread 与 Task
  2. uwp,GridView、ListView取消选中效果
  3. [转帖]Apache、Tomcat与Catalina作为软件名字的含义与关系
  4. Hadoop配置环境变量Program~2的用法
  5. Django之Form与ModelForm组件
  6. react-router 5.0 的鉴权
  7. (一)Spring框架基础
  8. 在论坛中出现的比较难的sql问题:7(子查询 判断某个字段的值是否连续)
  9. VBA决策(十)
  10. IE6图片透明问题