机器学习笔记：支持向量机(svm)

2024-09-29 02:13:30

支持向量机(svm)英文为Support Vector Machines

第一次接触支持向量机是2017年在一个在线解密游戏“哈密顿行动”中的一个关卡的二分类问题，用到了台湾教授写的svm库libsvm ‘C#’版。支持向量机在深度学习之前统治了机器学习近10年，机器学习有个没有免费的午餐定理,意思是说没有一个算法在任何情况下都是最好的。

支持向量机的优势

泛化性能比较好, 不容易过拟合
可以在较少的数据下取得好的性能
存在全局最优解
存在高效实现的训练算法
可以使用kernel trick处理非线性的问题
理论非常完美

缺点

当数据量特别大时，训练比较慢

SVM: 好的分割线具有最大间隔

svm是一个线性分类器，wx+b=0 wx+b=-1 wx+b=1，线性不可分的情况下使用松弛变量

k类扩展SVM到支持多个类别的方法：

1对其他分类：需要k个支持向量机，
1对1分类：需要1+2+3+...+k=k*(k-1)/2个svm

Hinge Loss(合页损失函数)

将特征映射到更高的维度

最新文章

热门文章