探索性数据分析(Exploratory Data Analysis)

本节课程先从统计分析四步骤中的第二步:EDA开始。

课程定义了若干个术语,如果学习过机器学习的同学,应该很容易类比理解:

  • population:上节课说过,整体数据集合被称作population
  • individual:其中每个个体,课程里称之为individual,注意不仅仅指个人,也可以泛指其他集合的其中一条数据
  • variable:变量,即描述个体的某个特点,类比机器学习中的特征
  • dataset:从population中圈定的一个子集

举个例子:

这是一个用药记录表,其中每一行是一个individual,每一列是一个variable

变量的类型

variable可以细分为两种:Categorical variables 分类变量(也叫Qualitative variables 定性变量)和 Quantitative variables 定量变量

前者一般就是指离散型变量,后者一般指连续型变量。

课程中还提到另一种变量(或叫特征)的分类方法:

  • Nominal variable:名义变量(也叫定类变量),是最不精确的度量方法,只能用来区分差别(difference)。例如生物类别:狗、猫、牛、马、人、细菌……就是典型的名义变量。其特点是:各个值之间没有优劣之分,是平等的,自然也无法相互比较和计算。
  • Ordinal variable:序数变量,其比Nominal variable精确一些,其可以对不同值进行排序。例如比赛的名次:冠军、亚军、季军、第四名……就是典型的有序变量。这类变量的特点是:各个值之间有顺序或者说优劣(如冠军最好,亚军次之,最后一名最差等),但是彼此之间的间隔既不固定也不相等(如跳水冠军123分、亚军96分、季军95分)。
  • Interval variable:区间变量,其比序数变量更精确一些,其相邻的值之间的差异是固定或者说相等的。例如温度计:100摄氏度和99摄氏度、99摄氏度和98摄氏度之间都相差1个摄氏度,可以看到这个差值是固定的,或者说相邻的两个值之间的差是相等的。但区间变量中的0不能表示“没有”这种变量或特征,比如0摄氏度,其并不代表没有温度了(因为0度是有意义的,此外还有零下20度、零下100度等)。【个人理解:就是interval variable的特征是可以取0值的,或者说0值是有效的值】
  • Ratio:比例/比率。是最精确的度量方法,其比区间变量更精确,与区间变量的差别也就是其中的0可以表示没有这种变量或特征。比如年龄:0岁就表示没有年龄;身高:0cm表示没有身高;体重:0kg表示没有体重;【个人理解:就是ratio的0值表示的是这一条individual在这个特征上是缺失的,即没有有效值,但ratio的0是否可以用于分析呢?这个需要继续往下学习了……】

注意上述四个度量方法之间,能够用高精度的方法度量的变量,也可以转为用低精度的方法来度量,比如年龄是ratio,其可以转为用ordinal variable来度量(比如婴儿期、幼儿期、青年、中年、老年等);但反之不行,比如冠军和亚军之间无法用interval variable或ratio来度量。

interval variable 和 ratio之间可能比较难区分,多看一些例子可能会好一些:

  1. 考试分数是哪种?答案是interval variable,因为0分是可以存在的,考试可以考0分,而不能说成0分表示根本没参加考试;
  2. 老师在课堂上留给学生讨论的分钟数是哪种?答案是ratio,因为0表示老师根本没留时间给学生讨论,而一般不能说成“老师留了0分钟给学生讨论”;

有sense了吗?interval variable的0表示事情发生了其结果是0(或可以发生结果是0的事情);而ratio的0表示事情根本没发生(或根本不存在)。

单个变量的分析

从这里开始,课程阐述了EDA在做什么——可以理解为观察变量自身的特点、变量之间的关系、变量与结果之间的关系。

所以先从单个变量开始,即只看一个变量自身的特点分析。

单个变量的图示方法

单个分类变量(Categorical variables)一般可以用饼状图(pie chart)表示:

饼状图一般适合表示变量的每种取值与全局的关系。

也可以用柱状图(bar chart)来表示:

 

柱状图一般适合表示变量的每种取值之间的对比(柱状图Y轴的值可以从值value改为百分比percent)。

单个定量变量(Quantitative variables)一般用直方图(histogram):

茎叶图(stemplot):

或箱线图(boxplot)表示。

下一篇就从直方图开始详细介绍对于单个连续性变量的EDA分析,包括各种术语、概念的方法论。

最新文章

  1. Generics and Collection (2)
  2. iOS开发小技巧--纯代码自定义cell
  3. percona-toolkit 之 【pt-summary】、【pt-mysql-summary】、【pt-config-diff】、【pt-variable-advisor】说明
  4. Coder-Strike 2014 - Finals (online edition, Div. 2) B. Start Up
  5. 503 Service Temporarily Unavailable
  6. BNUOJ 1037 精神控制
  7. 【TYVJ】1338 QQ农场(最大流+最大权闭合图)
  8. 笔记本安装Win2012R2 心得(包含无线网卡+有线网卡驱动解决方法)
  9. c++ swap 函数
  10. bzoj1150
  11. C#fixed关键字
  12. Revenge of Fibonacc
  13. Python学习笔记——基础篇1【第三周】——set集合
  14. vagrant系列教程(一):vagrant的安装与初识(转)
  15. es6变量声明和解构赋值
  16. Cent OS 7 安装海峰、极点五笔输入法
  17. [USACO07NOV]牛栏Cow Hurdles
  18. ESP32 DAC
  19. ChromDevTools
  20. 033 Java Spark的编程

热门文章

  1. wireshark自动化之tshark命令行
  2. SQL 日期格式化与格式转化
  3. 【JAVA】java编译错误:编码UTF8/GBK的不可映射字符
  4. html的q标签、blockquote标签
  5. rpmdeps - 生成 RPM 软件包依赖关系
  6. 三、SQL Server 对JSON的支持
  7. 【LeetCode】抽样 sampling(共4题)
  8. java一个对象使用内存
  9. Python3.5-20190529-自动登录百度
  10. 前端每日实战:49# 视频演示如何用纯 CSS 创作一支诱人的冰棍