机器学习真的可以起作用吗?(3)(以二维PLA为例)
2024-10-11 03:42:52
前两篇文章已经完成了大部分的工作,这篇文章主要是讲VC bound和 VC dimension这两个概念。
(一)前文的一点补充
根据前面的讨论,我们似乎只需要用来替代来源的M就可以了,但是实际公式却不是这样的,我们需要数学上处理几个小细节。具体的处理方法不讲,只提供大体思路。
可以看出,真实情况下,公式中多了3个参数。
这三个参数是怎么来的?
(1)我们无法计算Eout,所以我们另外采样N个数据,用它来计算E'in,代替Eout,这对于固定的一个h是可行的。
(2)现在我们就变成了取2N个点了
(3)使用Hoffding定理
(4)最终结论称之为VC bound
注意:整个证明过程中没有具体到PLA算法,也即这个过程对所有的机器学习算法都适用。
(二)VC Dimension
定义breakpoint –1 为VC dimension。表示为dvc
可以证明对于PLA算法:dvc(H)=d+1 (d为w的维度)。
其物理意义是是自由度。这一点非常重要,让我们可以直观地认识一个hypothesis set的dvc 。
(三)VC bound的两种解释。
(1)Penalty for Model Complexity
根据上述的关系,可以得出如下结论:
这里的一个重要结论是:一般情况下,最好的选择一般不会出现在Ein最小的地方。
(2)Sample Complexity。
dvc可以提供给我们关于D大小的信息。
可以看出,当δ,ε,dvc确定的时候,我们就基本可以确定样本量N的大小。
为什么理论上N≈10000dvc,实际上通常使用10dvc呢?因为我们得到的这个理论值非常宽松!为什么这么宽松呢?四条理由。
最新文章
- C++11实现生产者消费者问题
- Java 基础【09】 日期类型
- 常用SQL语句(工作)
- 教你把UltraEdit如何注册激活教程及UltraEdit 22.0.0.48 官方中文版下载
- .scss写法及如何转化为.css
- Regex.Match 方法
- 通过使用精简客户端,且不需要安装的客户端,配合PLSQL连接oracle数据库
- 编写SASS的一些技巧
- 【转】禁止seekbar的拖动事件
- css3购物网站商品文字提示实例
- Javascript之Dom学习
- NVCC编译器
- 《Linux命令行与shell脚本编程大全》 第四章
- vue2 vue-rout
- Linux运维笔记-日常操作命令总结(2)
- 洛谷P3588 [POI2015]PUS
- jQuery上传文件
- HDU 4453 Looploop (伸展树splay tree)
- 举例理解Hibernate的三种状态
- 【OS X系统】Xcode中搭建Python环境。
热门文章
- python 利用smtp发送邮件,html格式
- 239. Sliding Window Maximum
- Buffer数据结构和new IO的Memory-mapped files
- windows和linux共享文件
- selenium--大家庭介绍
- command-t插件使用说明
- trackr: An AngularJS app with a Java 8 backend – Part III
- Android的计量单位px,in,mm,pt,dp,dip,sp
- ASP.NET MVC Html.BeginForm用法1
- 定义 androidlistview 滚动条位置