【dlbook】机器学习基础
2024-10-06 21:32:53
【机器学习基础】
模型的 vc dimension 如何衡量？
如何根据网络结构衡量模型容量？有效容量和模型容量之间的关系？
统计学习理论中边界不用于深度学习之中，原因？
1、边界通常比较松，
2、深度网络的容量估计非常困难，主要原因是受优化算法的能力限制！
深度学习中正则化：偏向于范数较小的权重！原因？
validation集必要的原因！超参数的存在。
超参数的必要性：
1、很难优化（情况少见）
2、是控制模型容量的参数，不能放入train set优化，否则结论一定是模型越复杂越好。
验证集存在的意义在于挑选超参数。
偏差和方差：
最小化的是均方误差，也就是偏差 + 方差，在欠拟合阶段，偏差比较高，在过拟合截断，方差比较高。
监督学习：
大部分基于估计概率分布 p(y|X)，
例如，对于线性回归来说，p(y|X; theta) = N(y: theta . x, I)
支持向量机：重要创新 核技巧。
深度学习的挑战：
1、维数灾难：随着X维数的增长，在一些高维区域中没有点。
2、先验：复杂任务先验不一定平滑，可能引入不平滑的先验来解决统计问题。
3、流形学习：
最新文章
- Xamarin.Android之简单的抽屉布局
- ebs R12.2启动报错"failed to start a managed process after the maximum retry limit"
- Starling项目启动时报错This application is not correctly embedded (wrong wmode value)
- Oracle中获取当前时间半小时前的时间
- windows phone上下文菜单ContextMenu的使用示例
- 小波变换和motion信号处理（三）(转)
- java并发 使用ScheduledExecutor的温室控制器--thinking in java 21.7.5
- openssl 安装
- UVA 1613 K-Graph Oddity
- 容器与Docker简介（四）Docker容器，镜像与 Registries——微软微服务电子书翻译系列
- mongodb设置用户名和密码
- Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）
- JavaScript 异步编程的前世今生（下）
- OS + macOS Mojave 10.14.4 / sushi / ssh-keygen / ssh-copy-id
- NodeJS笔记（四） NPM 指令--- npm start
- 不同版本的IDE ，对应的选项 有变化
- A1011. World Cup Betting
- 编程语言,执行python程序,变量(命名规范)
- SQL-47 如何获取emp_v和employees有相同的数据？
- 【netcore基础】MVC API全局异常捕捉中间件ExceptionHandlerMiddleWare