Gram 矩阵性质及应用

2024-08-31 20:17:35

v1,v2,…,vn 是内积空间的一组向量，Gram 矩阵定义为： Gij=⟨vi,vj⟩，显然其是对称矩阵。
其实对于一个XN⋅d（N 个样本，d 个属性）的样本矩阵而言，X⋅X′ 即为 Gram 矩阵；

1. 基本性质

半正定（positive semidefinite）

2. 应用

如果 v1,v2,…,vn 分别是随机向量，则 Gram 矩阵是协方差矩阵；

3. 在 ML 中的应用

对于感知机模型（perceptron）的对偶形式：

输入：线性可分的数据集 T={(x1,y1),(x2,y2),…,(xN,yN)}，其中 xi∈Rn,yi∈{−1,+1} ，学习率为 η，
输出：α,b，感知机模型为 f(x)=sgn(∑j=1Nαjyjxj⋅x+b)，显然 α 是长度为 N 的向量；
算法：
- (1) α←0,b←0
- (2) 在训练集中选取数据 (xi,yi)
- (3) 如果 yi(∑j=1Nαjyjxj⋅x+b)≤0，
  - αi←αi+η
  - b←+ηyi
- (4) 转至(2), 直至没有误分类数据；

最新文章

热门文章