正态分布: 若随机变量x服从有个数学期望为μ,方差为σ2 的正态分布,记为N(μ,σ) 其中期望值决定密度函数的位置,标准差决定分布的幅度,当υ=0,σ=0 时的正态分布是标准正态分布 判断方法有画图/k-s检验 画图: #导入模块 import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline #构造一组随机数据 s = pd.DataFrame(np.random.randn(

数据集地址:http://jse.amstat.org/datasets/normtemp.dat.txt 数据集描述:总共只有三列:体温.性别.心率 #代码 from scipy import stats as st import matplotlib.pyplot as plt import pandas as pd #防止乱码 mpl.rcParams['font.sans-serif'] = [u'SimHei'] mpl.rcParams['axes.unicode_minus'] =

python检验代理ip是否可用.代理ip检验 安装相关模块: pip install requests 验证代理IP是否可用脚本: import random import telnetlib import requests def test_ip(ip,port): try: telnetlib.Telnet(ip,port,timeout=2) print("ip "+ip+":"+port+" yes") except: print(&q

在对数据建模前,很多时候我们需要对数据做正态性检验,进而通过检验结果确定下一步的分析方案.下面介绍 Python 中常用的几种正态性检验方法: scipy.stats.kstest kstest 是一个很强大的检验模块,除了正态性检验,还能检验 scipy.stats 中的其他数据分布类型 kstest(rvs, cdf, args=(), N=20, alternative=’two_sided’, mode=’approx’, **kwds) 对于正态性检验,我们只需要手动设置三个参数即可:

一.何为pep8? PEP 8官方文档 -- Style Guide for Python Code PEP8中文翻译(转) 二.Pycharm中配置pep8 Pycharm本身是有pep8风格检测的,当你敲得代码中不符合规范时,会有下划波浪线提示.如何让代码修改为符合规范,去掉这些难看的波浪线呢?下面介绍步骤: 2.1安装autopep8 cmd窗口输入:pip install autopep8 2.2在Pycharm中安装autopep8配置 Tools→Extends Tools→点击加号

对象表示形式 每门面向对象的语言至少都有一种获取对象的字符串表示形式的标准方式.Python提供了两种方式 repr()便于开发者理解的方式返回对象的字符串表示形式 str()便于用户理解的方式返回对象的字符串表示形式 要实现__repr__,__str__特殊方法为repr(),str()提供支持 classmethod和staticmethod classmethod通常用来定义操作类,而不是操作实例的方法.改变了调用方法的方式,因此,类方法的第一个参数是类本身,而不是实例,classmet

import os while True: filename=input('Please enter the filename') if os.path.exists(filename): print('the file is exist') break else: all=[] while True: content=input('>') if content=='.': print('Exit') break else: all.append(content) fobj=open(filen

过拟合现象 一般来说,量化研究员在优化其交易策略参数时难免会面临这样一个问题:优化过后的策略在样本内表现一般来说均会超过其在样本外的表现,即参数过拟合.对于参数优化来说,由于优化时存在噪音,过拟合是不可避免的现象.然而为了追求策略的稳定性,我们应当尽可能地使过拟合风险最小化.     为了检测在一个策略的参数优化过程中的过拟合风险,David H. Bailey等人在2015年发表了一篇名为<THE PROBABILITY OF BACKTEST OVERFITTING>的文章,给出了一种估计

在拿到一份数据准备做挖掘建模之前,首先需要进行初步的数据探索性分析(你愿意花十分钟系统了解数据分析方法吗?),对数据探索性分析之后要先进行一系列的数据预处理步骤.因为拿到的原始数据存在不完整.不一致.有异常的数据,而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差,因此首先要数据清洗.数据清洗完成之后接着进行或者同时进行数据集成.转换.归一化等一系列处理,该过程就是数据预处理.一方面是提高数据的质量,另一方面可以让数据更好的适应特定的挖掘模型,在实际工作中该部分的内容可

[导读]在之前的<数据挖掘概念与技术 第2章>的文章中我们介绍了Q-Q图的概念,并且通过调用现成的python函数, 画出了Q-Q图, 验证了Q-Q图的两个主要作用,1. 检验一列数据是否符合正态分布 2. 检验两列数据是否符合同一分布.本篇文章将更加全面的为大家介绍QQ图的原理以及自己手写函数实现画图过程 本文的代码文件(jupyter)和数据文件可以在我们的公众号"数据臭皮匠" 中回复"QQ图"获取 Q-Q图是什么 QQ图是quantile-quan

 一. QQ图      分位数图示法(Quantile Quantile Plot,简称 Q-Q 图)       统计学里Q-Q图(Q代表分位数)是一个概率图,用图形的方式比较两个概率分布,把他们的两个分位数放在一起比较.首先选好分位数间隔.图上的点(x,y)反映出其中一个第二个分布(y坐标)的分位数和与之对应的第一分布(x坐标)的相同分位数.因此,这条线是一条以分位数间隔为参数的曲线.如果两个分布相似,则该Q-Q图趋近于落在y=x线上.如果两分布线性相关,则点在Q-Q图上趋近于落在一条直线

 一. QQ图      分位数图示法(Quantile Quantile Plot,简称 Q-Q 图)       统计学里Q-Q图(Q代表分位数)是一个概率图,用图形的方式比较两个概率分布,把他们的两个分位数放在一起比较.首先选好分位数间隔.图上的点(x,y)反映出其中一个第二个分布(y坐标)的分位数和与之对应的第一分布(x坐标)的相同分位数.因此,这条线是一条以分位数间隔为参数的曲线.如果两个分布相似,则该Q-Q图趋近于落在y=x线上.如果两分布线性相关,则点在Q-Q图上趋近于落在一条直线

欢迎关注博主主页,学习python视频资源,还有大量免费python经典文章 sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目可联系  QQ:231469242    目录: 1.Sh

​ t检验通常分为三种,分别是单样本t检验.双样本t检验和配对样本t检验.本文基于python的scipy.stats函数对每种t检验进行了介绍和实验. 一.t检验介绍 无论哪种t检验,都有以下的基本前提条件: 样本数据符合正态分布 各个样本之间是独立的 步骤: 提出原假设和备择假设 构造t统计量 计算t统计量 对于得到的p值进行分析,p大于0.05则接受原假设,反之接受备择假设 二. 单样本t检验 应用场景:对某个样本的均值进行检验,比较是否和总体的均值(自己定)是否存在差异. 原假设和备择假

Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法.其原假设H0:两个数据分布一致或者数据符合理论分布.D=max| f(x)- g(x)|,当实际观测值D>D(n,α)则拒绝H0,否则则接受H0假设. KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况,可以算是一种非参数检验方法.当然这样方便的代价就是当检验的数据分布符合特定的分布事,KS检验的灵敏度没有相应的检验来的高.在样本量比较小的时候,KS检验最为非参数检验

sklearn实战-乳腺癌细胞数据挖掘 https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目联系QQ:231469242   目录0.概念1.绘制单个正太分布2.比较多个正态分布2.1偏态和峰态3.应用4. z分数5.中心极限定理6.大数定理7.二项式

sklearn实战-乳腺癌细胞数据挖掘 https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目联系QQ:231469242 正态分布也称常态分布或常态分配,是连续随机变量概率分布的一种,是在数理统计的理论与实际应用中占有重要地位的一种理论分布.自然界人类

以下题目均非原创,只是汇总 python数据分析部分 1. 如何利用SciKit包训练一个简单的线性回归模型 利用linear_model.LinearRegression()函数 # Create linear regression object regr = linear_model.LinearRegression() # Train the model using the training sets regr.fit(data_X_train, data_y_train) 2. 例举几个

学习利用python进行数据分析的笔记&下星期二内部交流会要讲的内容,一并分享给大家.博主粗心大意,有什么不对的地方欢迎指正~还有许多尚待完善的地方,待我一边学习一边完善~ 前言:各种和数据分析相关python库的介绍(前言1~4摘抄自<利用python进行数据分析>) 1.Numpy: Numpy是python科学计算的基础包,它提供以下功能(不限于此): (1)快速高效的多维数组对象naarray (2)用于对数组执行元素级计算以及直接对数组执行数学运算的函数 (3)用于读写硬盘上

学习利用python进行数据分析的笔记儿&下星期二内部交流会要讲的内容,一并分享给大家.博主粗心大意,有什么不对的地方欢迎指正~还有许多尚待完善的地方,待我一边学习一边完善~ 前言:各种和数据分析相关python库的介绍(前言1~4摘抄自<利用python进行数据分析>) 1.Numpy: Numpy是python科学计算的基础包,它提供以下功能(不限于此): (1)快速高效的多维数组对象naarray (2)用于对数组执行元素级计算以及直接对数组执行数学运算的函数 (3)用于读写硬盘