t-检验: t-检验,又称student‘s t-test,可以用于比较两组数据是否来自同一分布(可以用于比较两组数据的区分度),假设了数据的正态性,并反应两组数据的方差在统计上是否有显著差异. matlab中提供了两种相同形式的方法来解决这一假设检验问题,分别为ttest方法和ttest2方法,两者的参数.返回值类型均相同,不同之处在于ttest方法做的是 One-sample and paired-sample t-test,而ttest2则是 Two-sample t-test with

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:异常值处理一般分为以下几个步骤:异常值检测.异常值筛选.异常值处理. 其中异常值检测的方法主要有:箱型图.简单统计量(比如观察极值) 异常值处理方法主要有:删除法.插补法.替换法. 提到异常值不得不说一个词:鲁棒性.就是不受异常值影响,一般是鲁棒性高的数据,比较优质. 一.异常值检验 异常值大概包括缺失值.离群值.重复值,数据不一致.

在数据挖掘的过程中,数据预处理占到了整个过程的60% 脏数据:指一般不符合要求,以及不能直接进行相应分析的数据 脏数据包括:缺失值.异常值.不一致的值.重复数据及含有特殊符号(如#.¥.*)的数据 数据清洗:删除原始数据集中的无关数据.重复数据.平滑噪声数据.处理缺失值.异常值等 缺失值处理:删除记录.数据插补和不处理 主要用到VIM和mice包 install.packages(c("VIM","mice")) 1.处理缺失值的步骤 步骤: (1)识别缺失数据:

python风控评分卡建模和风控常识(博客主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share   结论 结论只属于教学数据,每个场景不一样,结论不一样,仅供参考 年龄45岁以上属于离群值,有欺诈嫌疑,建议不考虑放贷,可根据其他情况综合判定15

 机器学习_深度学习_入门经典(博主永久免费教学视频系列) https://study.163.com/course/courseMain.htm?courseId=1006390023&share=2&shareId=400000000398149 微信扫二维码,免费学习更多python资源 转载https://www.jianshu.com/p/bdcf0407979a 统计概率思维-描述统计分析 1# 为什么要学统计学? 人工智能的基础知识 投资领域的必备知识 时代的入口 2# 描述

python信用评分卡建模(附代码,博主录制) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 测试数据结果:用非B4数据 肉毒素-横力 申请金额 是市场价格 平均倍数 4.4 最高16.666 最低0.433 B4状态5.14倍 最高16.666 最低0.4

python机器学习-乳腺癌细胞挖掘(博主亲自录制视频) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share python信用评分卡建模(附代码,博主录制) https://study.163.com/course/introduction.htm?courseI

 机器学习_深度学习_入门经典(博主永久免费教学视频系列) https://study.163.com/course/courseMain.htm?courseId=1006390023&share=2&shareId=400000000398149 微信扫二维码,免费学习更多python资源 数据预处理的好坏,很大程度上决定了模型分析结果的好坏.(Garbage In Garbage Out!) 其中,异常值(outliers)检测是整个数据预处理过程中,十分重要的一环.方法也是多种多样

SAS信用评分之番外篇异常值的识别 今天想分享给大家的是我早期建模的时候一个识别异常值的办法,也许你在"信用风险评分卡研究"看过,但是代码只能识别一个变量,我将这个代码作了改良,但是我在这里必须声明一点,就是假设你身处的公司数据并不多的话,我不建议你使用这个代码,因为我是简单粗暴的将异常值直接剔除了. 就因为我的数据不多,所以我之前在做建模的时候使用的是先等量分组再最优分段的方式来使变量不用识别异常值,说道这里,我又需要跟大家提醒一下就是关于最优分段的代码,说有过拟合的现象.这里跟大家

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 笔者寄语:缺失值是数据清洗过程中非常重要的问题(其他方法可见:R语言︱异常值检验.离群点分析.异常值处理),笔者在进行mice包的多重插补过程中遇到相当多的问题. 大致的步骤简介如下: 缺失数据集--MCMC估计插补成几个数据集--每个数据集进行插补建模(glm.lm模型)--将这些模型整合到一起(pool)--评价插补模型优劣(模型系数的t统

    笔者寄语:一般情况下离群值不应该直接删除,应该进行筛选,然后进行专门的离群值分析.笔者在这进行一下思考,在聚类基础之上的一种离群点检验. 基于聚类的离群点检测的步骤如下:数据标准化--聚类--求每一类每一指标的均值点--每一类每一指标生成一个矩阵--计算欧式距离--画图判断. 1.数据聚类 利用RFM客户价值模型,进行SOM(自组织映射神经网络模型),可以参考笔者的博客.一般的聚类方式,比如K-mean均值是比较常用的聚类方法(可见笔者的其他博客--R语言︱异常值检验.离群点分析.异常值

   Linear Regression 此博文是 An Introduction to Statistical Learning with Applications in R 的系列读书笔记,作为本人的一份学习总结,也希望和朋友们进行交流学习. 该书是The Elements of Statistical Learning 的R语言简明版,包含了对算法的简明介绍以及其R实现,最让我感兴趣的是算法的R语言实现. [转载时请注明来源]:http://www.cnblogs.com/runner-l

线性回归诊断--R [转载时请注明来源]:http://www.cnblogs.com/runner-ljt/ Ljt   勿忘初心  无畏未来 作为一个初学者,水平有限,欢迎交流指正. R--线性回归诊断(一)  主要介绍了线性回归诊断的主要内容和基本方法. 本文作为R中线性回归诊断的进一步延伸,将主要介绍用car包中的相关函数就行线性回归诊断. > > head(bank) y x1 x2 x3 x4 1 1018.4 96259 2239.1 50760 1132.3 2 1258.9

OneClassSVM两个功能:异常值检测.解决极度不平衡数据 因为之前一直在做非平衡样本分类的问题,其中如果有一类比例严重失调,就可以直接用这个方式来做:OneClassSVM:OneClassSVM还有一个功能就是异常值检测. 其他我的相关博客: 1.机器学习︱非平衡数据处理方式与评估 2.RFM模型+SOM聚类︱离群值筛选问题 3.R语言︱异常值检验.离群点分析.异常值处理 台湾大学林智仁所设计和实现的库LibSVM(地址:http://www.csie.ntu.edu.tw/~cjlin

异常值检测 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到程序: 1. LX终端(LXTerminal): Linux命令行终端,打开后会进入Bash环境,可以使用Linux命令2. GVim:非常好用的编辑器,最简单的用法可以参考课程[Vim编辑器](http://www.shiyanlou.com/courses/2)3. R:在命令行输入‘R’进入交互式环

R中的线性回归函数比较简单,就是lm(),比较复杂的是对线性模型的诊断和调整.这里结合Statistical Learning和杜克大学的Data Analysis and Statistical Inference的章节以及<R语言实战>的OLS(Ordinary Least Square)回归模型章节来总结一下,诊断多元线性回归模型的操作分析步骤.   1.选择预测变量   因变量比较容易确定,多元回归模型中难在自变量的选择.自变量选择主要可分为向前选择(逐次加使RSS最小的自变量),向后

SPSS超详细操作:分层回归(hierarchical multiple regression) 1.问题与数据 最大携氧能力(maximal aerobic capacity, VO2max)是评价人体健康的关键指标,但因测量方法复杂,不易实现.某研究者拟通过一些方便.易得的指标建立受试者最大携氧能力的预测模型. 目前,该研究者已知受试者的年龄和性别与最大携氧能力有关,但这种关联强度并不足以进行回归模型的预测.因此,该研究者拟逐个增加体重(第3个变量)和心率(第4个变量)两个变量,并判断是否可

学过的统计知识忘光了,飞速恶补了一下能用到的,此篇多有错误今后看到再改= =||| 成对t检验(Paired ttest) 将两组测量值对应相减,再将所得差值看作服从正态分布的随机变量,然后再做关于差值的均值的假设检验. matlab:[h, p, ci, stats] = ttest(x, y, 'name', 'value'); ▷ OPTIONS: …'Alpha' :显著性水平(0, 1) …'Dim' :第一非单值维度(默认) …'Tail' :备择假设类型(‘both’(默认)|'r

1.参考 reference 1. tutorial主页:http://www.bcs.rochester.edu/people/raizada/fmri-matlab.htm. 2.speech_brain_images.mat数据:speech_brain_images.mat. 3.showing_brain_images_tutorial显示大脑图像代码:showing_brain_images_tutorial.m . 4.overlaying_Tmaps_tutorial.m叠加t检

这个问题花了一些时间.先看图 这个是t检验里面的公式,但是如何在matlab中找到该式子对应的值,我现在才知道. 就是这样:x=tinv(1-α/2,n-1)----t(n)分布的上侧α分位数       类似的还有MATLAB中解决F分布和t分布问题: x=finv(1-α,n1,n2)----F(n1,n2)分布的上侧α分位数 x=chi2inv(1-α,n)------卡方分布(n)的上侧α分位数 参考:http://blog.sciencenet.cn/blog-733746-59245