EDA cheat sheet
%config InlineBackend.figure_format = 'svg'
在jupyter notebook中使用这个命令绘制更清晰的图像,注意百分号后不能有空格。
1. Univariate visualization
单变量分析每次查看一个特征。当我们独立地分析一个特征时,我们通常最感兴趣的是它的值的分布。
1.1 数量特征
数量特征取有序的数值。这些值可以是离散的,像整数,或者是连续的,像实数,通常表达计数或者度量的含义。
使用 Histograms and density plots
# method in pandas
df['feature'].hist()
df['feature'].plot(kind='density')
# pandas的绘图函数中可以通过传入 subplot=True & layout=(m,n)来自定义绘制的多个子图的布局
# method in seaborn
sns.displot(df[feature])
# seaborn中的displot会同时绘制直方图和密度图
使用 Box plot and Violin plot
关于 Box plot 的很好的图视化解释参考 箱形图。Box plot中的离群值需要特别关注。
# method in pandas,不知道是缺少相关参数的问题还是什么,没有画出离群点,seaborn中有画
df['feature'].plot(kind = 'box')
df['feature'].plot.box()
# method in seaborn
sns.boxplot(data=df['feature'])
sns.violinplot(data=df['feature'])
1.2 类别特征和二元特征
类别特征取固定数目的值。二元特征是类别特征只有两种取值时的一个特例情况。如果在类别特征上的值可以是无序的也可以是由顺序的。
使用频率表
df['feature'].value_counts()
# 默认结果中的 entry 按照最大频率到最小频率排列
使用 Bar plot
Bar plot 是频率表的图形化展示。
# method in pandas
df['feature'].value_counts().plot.bar()
# method in seaborn
sns.countplot(x='feature', data=df) # 至少传两个参数
seaborn中的barplot() 利用矩阵条的高度反映数值变量的集中趋势,这个barplot并不是我们在此处想要使用的barplot。一定要记住,seaborn中的barplot展示的是某种变量分布的平均值 ,当需要精确观察每类数值变量(数值变量在类别变量上做groupby)的分布趋势,boxplot与violinplot往往是更好的选择。
Tips: 将多幅图对比绘制的方法
figure, axes = plt.subplots(nrows=m, ncols=n,figsize=(m*x_length,n*y_length))
sns.plot(..., ax=axes[0])
df.plot(..., ax=axes[1])
figure.show()
总结:
- 直方图表示数值变量的分布情况,而条形图表示类别变量的频率的分布情况。
- 直方图的x轴是连续的,条形图的x轴是离散的;二者的y轴都是连续的。
2. Multivariate visualization
多变量图表允许我们去看两个或多个变量(注意:可以通过技巧在二维平面上绘制三个变量之间的某些关系) 之间的关系。
2.1 数量 vs 数量
使用 Correlation matrix and heatmap
# method : {‘pearson’, ‘kendall’, ‘spearman’}
corr_matrix = df[num_features].corr()
sns.heatmap(corr_matrix)
使用 Scatter plot
# method in matplotlib
plt.scatter(df['num_x'], df['num_y'])
# method in pandas
df.plot.scatter(x='num_x', y= 'num_y')
# method in seaborn
sns.jointplot(x='num_x', y='num_y', data = df, kind='scatter')
# this is the smoothed version of bivariate distribution
sns.jointplot('num_x', 'num_y', data=df, kink='kde')
使用 Scatterplot matrix
# method in pandas
pd.scatter_matrix(df['num_features'])
# method in seaborn
sns.pairplot(df['num_features'])
2.2 数量 vs 类别
前面我们提到过可以在二维平面展示三个变量之间的关系,这种技巧就是利用pandas或者seaborn的语义映射能力,将第三个变量(只能是类别)用不同颜色区分开来。下面是一个例子:
sns.scatter('num_x', 'num_y', data=df, hue='cate_third_var')
使用 Box plot and Violin plot
一般是观察一个数值变量在不同类别下的分布情况
sns.boxplot(x='..._feat', y='..._feat', orient='v')
# orient 默认为'v',这时传给x类别特征,传给y数值特征;当x,y的特征类型反着传时,必须把 orient设置为'h'才能正确绘图。orient可以看作时数值特征轴的方向。
# sns.violinplot()类似
使用 sns.catplot()
当我们想要一次在两个类别变量维度来分析一个数值变量时,在seaborn中有一个非常适合的函数叫做catplot()。
sns.catplot(x='cate_feature1', y='num_feature', col='cate_feature2', data=df, kind='box', col_wrap=n, height=m, aspect=.8)
上面的代码将会画m*n个子图,每个子图中是一个sns.boxplot(x='cate_feature1', y='num_feature', data=df), 但是每个子图中的数据df是cate_feature2
取某个类别时的子集。
2.3 类别 vs 类别
使用 sns.countplot() plus "hue semantic"
原理是通过条形图来描述类别的分布,并且通过颜色语义映射的方法来加入第二个类别变量。注意,这种方法研究的主要对象仍然是第一个类别变量,语义映射只是把第二个类别变量对其的影响表示出来,语义映射的变量相当于辅助变量。
sns.countplot(x='cate_feature1', hue='cate_feature2', data=df)
使用 Contingency table
除了使用图形的方式来分析类别变量,还有一个来自统计学的传统工具:列联表(contingency table)也叫做交叉表(cross tabulation)。它将多个类别变量的频率分布用一张表格来表示。特别的是,它允许我们通过沿着一行或是沿着一列来查看一个变量在其他变量某些条件下的分布。
pd.crosstab(df['cate_feautre1'], df['cate_feature2'])
3. Whole dataset
3.1 Naive approach
最简单的方法就是使用前面介绍的分析一个,两个或者是三个变量的方法逐个地探索完整个数据集。也可以使用sns.pairplot()或者pd.scatter_matrix()一次完成。
3.2 Dimensional reduction
使用 t-SNE
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler
# step1 对数值变量做归一化处理
# step2 对两类变量用LabelEncoder()
tsne = TSNE(random_state=17)
tsne_repr = tsne.fit_transform(X_scaled)
plt.scatter(tsne_repr[:,0], tsne_repr[:,1], alpha =.5)
最新文章
- HTML之iframe
- git diff提示filemode发生改变(old mode 100644、new mode 10075)
- PDF 补丁丁 0.4.2.1218 测试版发布:新增拆分文档功能
- beego中orm关联查询使用解析
- image hover
- struts2属性Struts2中属性接收参数中文问题和简单数据验证
- [BZOJ 1042] [HAOI2008] 硬币购物 【DP + 容斥】
- junit4测试 Spring MVC注解方式
- 【干货】.NET开发通用组件发布(二) 邮件发送组件
- 【ASP.NET Web API教程】2 创建各种Web API
- 消息函数一般是私有的,因为不需要程序员显示的调用,但子类如果需要改写这个方法,则改成保护方法Protected
- scrapy爬虫框架
- 让MessageBox对话框总在最前面
- 0_Simple__asyncAPI
- 【iOS】Swift GCD-上
- BlueMix - IBM的Paas云计算平台
- Fiddler模拟自动响应数据
- sflow介绍与安装过程
- mybatis 一对多的注入 指的是连表查询时候 将不同的查询结果以列表存储对象形式 注入进去 多对一指的是 查询多条结果但都是一样的 只需注入一条
- SFM(structure from motion)学习记录(一)
热门文章
- Charles学习(三)之使用Map local代理本地静态资源以及配置网页代理在Mac模拟器调试iOS客户端
- 代码调试console对象的花式玩法
- Java 计算两点间的全部路径(二)
- oracle存储过程临时表
- IT经理工作职责
- JVM常用指标查询
- deep_learning_Function_matpotlib_scatter()函数
- 隔离技术线程池(ThreadPool)和信号量(semaphore)
- Hive Serde(四)
- facenet pyhton3.5 训练 train_softmax.py 时报错AttributeError: 'dict' object has no attribute 'iteritems'