过拟合现象 一般来说,量化研究员在优化其交易策略参数时难免会面临这样一个问题:优化过后的策略在样本内表现一般来说均会超过其在样本外的表现,即参数过拟合.对于参数优化来说,由于优化时存在噪音,过拟合是不可避免的现象.然而为了追求策略的稳定性,我们应当尽可能地使过拟合风险最小化.     为了检测在一个策略的参数优化过程中的过拟合风险,David H. Bailey等人在2015年发表了一篇名为<THE PROBABILITY OF BACKTEST OVERFITTING>的文章,给出了一种估计

MXNET Windows 编译安装(Python) 本文只记录Mxnet在windows下的编译安装,更多环境配置请移步官方文档:http://mxnet.readthedocs.io/en/latest/how_to/build.html 编译目标: libmxnet.dll 必要条件: 支持C++11,g++>=4.8 BLAS库, 比如 libblas, libblas, openblas intel mkl 可选条件: CUDA Toolkit >= v7.0 to run on n

scipy 中统计相关的 api:https://docs.scipy.org/doc/scipy/reference/stats.html https://zhuanlan.zhihu.com/p/24635014 https://blog.csdn.net/lanchunhui/article/details/52328380 1. t 检验:两个分布的差异 多维数据集的每一个属性列都可理解为一个特征的实例.两个分布的距离:每一个属性列代表的特征跟标签列之间的相关性. t 检验用 t 分布理

首先感谢这位博主整理的Andrew Ng的deeplearning.ai的相关作业:https://blog.csdn.net/u013733326/article/details/79827273 开一个我的github传送门,可以看到代码. https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/optimalNN 待分类的点集: 普通的梯度下降法GradientDescent(带minibatc

首先感谢这位博主整理的Andrew Ng的deeplearning.ai的相关作业:https://blog.csdn.net/u013733326/article/details/79827273 开一个我的github传送门,可以看到代码. https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/InitializeRegularize L2正则化 待分类的数据点集; 未使用L2正则化的模型迭代过

首先感谢这位博主整理的Andrew Ng的deeplearning.ai的相关作业:https://blog.csdn.net/u013733326/article/details/79827273 开一个我的github传送门,可以看到代码. https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/InitializeRegularize 以下是今天要分类的目标点集: 在初始化w权重矩阵为0的情况下

Python开发环境包含科学计算,需要安装NumPy, SciPy, Matplotlib.其中Matplotlib依赖于Python和NumPy.我们先安装NumPY和SciPy.  Matplotlib安装稍微复杂 1.首先确保你的apt-get可用.如果不可用 试着更新一下 sudo apt-get install 2.安装你的NumPy和SciPy. apt-get install python-numpy apt-get install python-scipy 3.安装你的Matpl

今下午想用Python跑RNN网络,结果代码在导入包numpy时并没有报错,但是在用里面的函数时报错,因小编也是新手,只学习了Python的基础语法,并没有使用过第三方包,安装了一下午还没弄好,本以为命令行不好用的,但是还真解决了问题, 一.安装Python 步骤:去Python官网下载对应自己电脑位数的MSI安装包,之后运行安装就行了,选择安装组件时,确保勾上了所有的组件.特别要注意选上pip和 Add python.exe to Path,然后多次点击Next即可完成安装. 检验是否安装成功

原文:http://blog.csdn.net/tao_627/article/details/44004541 按照这个成功安装! 机器学习是数据挖掘的一种实现形式,在学习<机器学习实战>过程中,需要python环境中安装好numpy和matplotlib库,特此将我在Ubuntu 14.04 64bit上的摸索过程总结如下: 书上的建议是: 在Debian/Ubuntu系统下安装Python, Numpy和Matplotlib的最佳方式是使用apt-get等软件包管理器. 避免源码包形式的

Python 并没有提供数组功能,虽然列表 (list) 可以完成基本的数组功能,但它并不是真正的数组,而且在数据量较大时,使用列表的速度就会慢的让人难受.为此,Numpy 提供了真正的数组功能,以及对数据快速处理的函数.Numpy 还是很多更高级的扩展库的依赖库,例如: Scipy,Matplotlib,Pandas等.此外,值得一提的是:Numpy 内置函数处理数据的速度是 C 语言级别的,因此编写程序时,应尽量使用内置函数,避免出现效率瓶颈的现象.一切计算源于数据,那么我们就来看一看Num

genfromtxt函数 今天学习时遇到了genfromtxt函数 world_alcohol = numpy.genfromtxt("world_alcohol.txt",delimiter=",",dtype = str) What is genfromtxt? genfromtxt函数创建数组表格数据 genfromtxt主要执行两个循环运算.第一个循环将文件的每一行转换成字符串序列.第二个循环将每个字符串序列转换为相应的数据类型. genfromtxt能够考

目的 本节我们将介绍如何搭建python的开发环境以及numpy的基本属性,这样可以检验我们的numpy是否安装正确了. python开发环境的搭建 工欲善其事必先利其器,我用得比较顺手的是IntelliJ IDEA的开发环境,这次我也用IDEA的python开发环境来进行开发. 我使用IntelliJ IDEA添加python插件方式进行开发,主要原因是因为我还用它来开发JAVA,因此只要在其中下载python插件就可以. 具体安装插件方式就不细讲了,只放一张截图,大家应该看得明白. 有的同学

假设检验的基本思想: 若对总体的某个假设是真实的,那么不利于或者不能支持这一假设的事件A在一次试验中是几乎不可能发生的.如果事件A真的发生了,则有理由怀疑这一假设的真实性,从而拒绝该假设. 实质分析: 假设检验实质上是对原假设是否正确进行检验,因此检验过程中要使原假设得到维护,使之不轻易被拒绝:否定原假设必须有充分的理由.同时,当原假设被接受时,也只能认为否定该假设的根据不充分,而不是认为它绝对正确. 1.检验指定的数列是否服从正态分布 借助假设检验的思想,利用K-S检验可以对数列的性质进行检验

梯度检验是一种对求导结果进行数值检验的方法,该方法可以验证求导代码是否正确. 1. 数学原理   考虑我们想要最小化以 θ 为自变量的目标函数 J(θ)(θ 可以为标量和可以为矢量,在 Numpy 的编程环境下,处理是一样的),迭代梯度更新公式为: 可以以sigmoid函数为例, 其导数形式为 我们可以实现梯度下降算法,那我们怎么知道g(z)梯度的准确性呢? 回忆导数的数学定义: 由此我们可得梯度校验的数值校验公式: 这便是梯度检验的原理.在实际应用中,我们常将ϵ设置为一个很小的常数,比如10-

随机初始化 在线性回归和逻辑回归中,使用梯度下降法之前,将θ设置为0向量,有时会习惯性的将神经网络中的权重全部初始化为0,然而这在神经网络中并不适用. 以简单的三层神经网络为例,将全部权重都设置为0,如下图所示: 假设仅有一个训练数据,使用梯度下降,在第一次迭代时: 可以看到,第一次迭代的结果是:隐藏层的权重和激活值全部相等,输入层的权重相当于所有输入项放缩了相同的倍数. 在第二次迭代时: 此时,隐藏层的激活值又一次全部相等.继续迭代也会得到相同的结果,即a(2)的所有激活值和权重都一样,这显然

numpy是一款基于python的功能强大的科学计算包.要安装numpy首先你得先安装python.python的安装非常简单,本人安装的是python3.4. 工具/原料 安装好的python程序 numpy安装文件 方法/步骤  先下载适合你电脑的numpy安装文件.本人是python3.4版本,32位windows系统,所以下载的是这个:numpy-1.11.2-cp34-none-win32.whl (md5, pgp) 下载地址: https://pypi.python.org/pyp

转自https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/2-1-np-attributes/ numpy 的属性: ndim:维度 shape:行数和列数 size:元素个数 使用numpy首先要导入模块 import numpy as np #为了方便使用numpy 采用np简写 列表转化为矩阵: array = np.array([[1,2,3],[2,3,4]]) #列表转化为矩阵 print(array) "&qu

转自:http://blog.csdn.net/xiaodongxiexie/article/details/54352889 在处理数据时遇到NAN值的几率还是比较大的,有的时候需要对数据值是否为nan值做判断,但是如下处理时会出现一个很诡异的结果: import numpy as np np.nan == np.nan #此时会输出为False 1 2 3 4 对np.nan进行help查看,输出如下: Help on float object: class float(object) |

1.使用python中的Numpy进行t检验 http://www.atyun.com/7476.html 2.scipy中的卡方检验 http://wiki.mbalib.com/wiki/%E5%8D%A1%E6%96%B9%E6%A3%80%E9%AA%8C 3.如何检测数据中的特异值? http://www.360doc.com/content/18/0207/12/50153987_728336611.shtml 4.python 数据分析之Scipy https://blog.csd

使用Python进行T检验 所需要用到的第三方库有scipy. 均可以通过pip直接安装. pip install scipy numpy 引入第三方库 from scipy import stats 注:ttest_1samp.ttest_ind和ttest_rel均进行双侧检验. \(H_0:\mu=\mu_0\) \(H_1:\mu=\mu_0\) 单样本T检验(ttest_1samp) 官方文档ttest_1samp 使用ttest_1samp()函数可以进行单样本T检验,比如检验一列数

linux python 安装 nose lapack atlas numpy scipy --http://lib.csdn.net/article/python/1262 作者:maple1149 The first step of machine larning . 环境配置: OS:ubuntu 10.04 Python :Python 2.6.5 1.安装nose 这个安装还比较顺利,基本没报错... 下载nose: https://nose.readthedocs.org/en/la