1 LMS 学习规则_解方程组

1.1 LMS学习规则举例

X¹=[0 0 1]^T，t¹=0；X²=[1 0 1]^T，t²=0；X³=[0 1 1]^T，t³=0；X¹=[1 1 1]^T，t¹=1。

设权值分别为ω₁，ω₂，ω₃。

将输入和权值组合得方程组：

ω₁_*0+ω₂_*0+ω_{3_*1=0}；

ω₁_*1+ω₂_*0+ω_{3_*1=0}；

ω₁_*0+ω₂_*1+ω_{3_*1=0}；

ω₁_*1+ω₂_*1+ω_{3_*1=0}。

可将该线性方程组写成矩阵的形式：

[0 0 1;1 0 1;0 1 1;1 1 1] _* [ω₁ ω₂ ω₃]^T=[0 0 0 1]^T。

则[ω₁ ω₂ ω₃]^T=pinv([0 0 1;1 0 1;0 1 1;1 1 1])_{*[0 0 0 1]^T}=_{[0.5 0.5 -0.25]}T_。

在实际运算中，经常通过迭代的方式求解W权值，迭代方式通常采用梯度下降法：

给定代价函数 E(ω) = 0.5*e²(n)

式中，e(n) = t(n) - X^T(n)*ω(n) ，e(n)表示误差，t(n)表示期望（目标）值，X^T(n)*ω(n)表示实际值。

上式两边对ω求偏导数 ∂E/∂ω = e(n)*∂e(n)/∂ωωωω∂