秦曾昌人工智能课程---6、Decision Tree Learning
2024-10-07 19:58:39
秦曾昌人工智能课程---6、Decision Tree Learning
一、总结
一句话总结:
怎样去构建决策树:比如一维:***|00|***|000|***,|为分割线,每个分割点都是一种情况,选一个分割点,然后再选下一个分割点,即可构成二叉树
决策树是机器学习中最简单的算法
1、机器学习的决策树算法中怎么构建决策树?
熵越小信息越有序:把不相干的点划分开,比如***00|***000***,|为分割线
一维表现:***|00|***|000|***,|为分割线,每个分割点都是一种情况,选一个分割点,然后再选下一个分割点,即可构成二叉树
2、多维向量如何化为决策树(比如outlook几种,temperature几种,humidity几种,wind几种)?
条件做分支:如果以outlook为根,如果outlook是sunny怎样,比如判断湿度,如果outlook是rain怎么样,比如判断温度
叶子节点做结果:以叶子节点来做结果,比如yes啊,no啊,表示是否会去做某事
3、如何比较两个信息量的大小,比如(H(x1)=你妈妈打电话让你穿秋裤;H(x2)=你辅导员打电话告诉你得了什么奖学金) ?
概率相关:H(x)=1/P(x):可能和事情发生的概率相关:H(x2)的概率要低
4、信息量的特点是什么,比如(H(x1)=你妈妈打电话让你穿秋裤;H(x2)=你辅导员打电话告诉你得了什么奖学金) ?
1、概率相关:H(x)=1/P(x):可能和事情发生的概率相关:H(x2)的概率要低
2、大于等于0:H(x1)>=0:比如你妈妈给你打了一个电话,你最多觉得这件事没有信息,但是你的信息没有反馈回去给你妈妈
3、相加性:H(x1,x2)=H(x1)+H(x2)
5、两件事情的信息量和每件事情信息量之间的关系是什么(H(x1)=你妈妈打电话让你穿秋裤;H(x2)=你辅导员打电话告诉你得了什么奖学金)?
相加性:H(x1,x2)=H(x1)+H(x2)
6、满足信息量三个条件的函数可以是什么?
|||-begin
1、概率相关:H(x)=1/P(x):可能和事情发生的概率相关:H(x2)的概率要低
2、大于等于0:H(x1)>=0:比如你妈妈给你打了一个电话,你最多觉得这件事没有信息,但是你的信息没有反馈回去给你妈妈
3、相加性:H(x1,x2)=H(x1)+H(x2)
|||-end
log(1/p(x)):H(x)=log(1/p(x))=-log(p(x)),log以2为底
7、信息熵是什么,怎么表示?
信息量的数学期望:Entrapy(x)=Ex[H(x)]=Ex[-log(p(x))],Ex表示数学期望,H(x)表示信息量函数
作用:描述物体的混合程度:信息熵为0表示只有一种物体,比如叉叉和圈圈的混合中
8、二维空间中,比如两种点(两种信息)怎么分割开?
横纵都可分:不仅可以横向分割,还可以纵向分割
9、低熵体是什么状态?
高度有序的状态
10、为什么数学中我们常用2做log的底数?
方便计算机存储和表示:因为我们想知道在计算机中用多少个01可以把这个结果表示出来
11、“分子运动的期望就是温度”,这句话怎么理解?
热就是分子的运动,热就是温度:热就是分子的运动,分子有的运动的快,有的运动的慢,所以分子运动的期望就是温度
12、信息熵和信息量的关系是什么?
信息熵小表示信息量大:熵越小,越有序,信息量越大
信息熵是信息量的期望:信息量越大,熵越多,但是熵就越无序(熵越多越无序)
13、信息熵和信息量在机器学习中的应用?
希望熵小,希望信息有序:我们希望熵小,这样信息量有序,我们在机器学习中越方便建立模型
14、决策树的本质是什么?
把不相关的因素给它分割开
决策树的每个叶子(每种情况)相当于你划分的一小块块
15、划分决策树的三种方式?
Entropy
Gini
Misclassification error
16、决策树越来越大,我们什么时候该停止?
停早-学不到数据的性能:如果停的比较早,代表决策树没有很好的学到这些数据的性能
停晚-过度拟合:如果停的特别往后,又会出现树比较大,过度拟合的问题
17、决策树算法使用的数据特征有哪些?
离散数据:比如没有顺序yes,no,比如有顺序的young,old
连续数据:比如一个人的年龄
18、信息增益是什么?
信息熵的变化:信息熵越小,信息增益越大
19、Gini系数与信息熵在对于不同的分叉的判断是怎样?
Gini系数越小表示信息越有序,统一
信息熵越小(信息增益越大)表示信息越有序,统一
20、决策树算法相当于在特征空间中进行什么样的操作?
垂直线性分割
二、内容在总结中
最新文章
- 使用httpclient 调用selenium webdriver
- extjs动态改变样式
- Android progressbar 详解
- 转:Android 设置屏幕不待机
- poj 1087 A Plug for UNIX
- 运行 Docker 容器时的安全风险:别丢了你的套接字
- SemaphoreFullException when checking user role via ASP.NET membership
- some knowledge t
- latex 插图排版
- Java类的继承与方法调用的一个小问题
- Api 文档管理系统 RAP2 环境搭建
- SpringMVC异常处理注解@ExceptionHandler@ControllerAdvice@ResponseStatus
- 1.安装Python3和PyCharm
- MySQL主主复制以及使用keepalived保证高可用
- linux根目录下的文件夹及文件
- [转]使用DW正则表达式批量替换实例介绍
- 浏览器的自动翻译会影响 JS 逻辑
- 线段树&;&;线段树的创建线段树的查询&;&;单节点更新&;&;区间更新
- Spartan-6 - How to connect *CMP* pins?
- 关于<;!DOCTYPE html>;
热门文章
- java 多上传 CommonsMultipartFile[] files
- 吉首大学校赛 I 滑稽树上滑稽果 (Lucas + 莫队)
- AcWing 143. 最大异或对 01字典树打卡
- LInux多线程编程----线程属性pthread_attr_t
- fatal error C1189: #error : ";No Target Architecture"; 解决办法一
- (转)区别TextBlock和Label
- 2019河北省大学生程序设计竞赛(重现赛) L题-smart robot(深度优先搜索)
- ES6_Demo,模拟后台json数据展示
- zip压缩详细分析
- C# Winform DotNetBar控件之StyleManager