$\bf{X} \bf{X}^T$和$ \bf{X}^T \bf{X}$的非零特征值和特征向量之间的关系

设$\lambda_i$为$\bf{X} \bf{X}^T$的特征值，对应的特征向量为$\mathbf{\alpha}_i$，则

\[\bf{X} \bf{X}^T \mathbf{\alpha}_i=\lambda_i\mathbf{\alpha}_i
\tag{1}
\]

$(1)$式两边同时左乘$\bf{X}^T$，有

\[\bf{X}^T \bf{X} \bf{X}^T \mathbf{\alpha}_i=\bf{X}^T \lambda_i\mathbf{\alpha}_i
\]

即

\[(\bf{X}^T \bf{X}) (\bf{X}^T \mathbf{\alpha}_i)=\lambda_i(\bf{X}^T \mathbf{\alpha}_i)
\tag{2}
\]

$(2)$式意味着$\lambda_i$是矩阵$\bf{X}^T \bf{X}$的特征值，其对应的一个特征向量为$\bf{X}^T \mathbf{\alpha}_i$。

注意到

\[\text{rank} (\bf{X} \bf{X}^T)=\text{rank} (\bf{X}^T\bf{X})=\text{rank} (\bf{X})=\text{rank}(\bf{X})
\tag{3}
\]

$(2)$式和$(3)$式说明，$\bf{X} \bf{X}^T$和$\bf{X}^T\bf{X}$的非零特征根是一样的，非零特征根对应的特征向量具有如下关系：

若$\mathbf{\alpha}_i$是$\bf{X} \bf{X}^T$的一个特征向量，那么$\bf{X}^T \mathbf{\alpha}_i$为$\bf{X}^T\bf{X}$的一个特征向量，二者分别对应同一个非零特征值
若$\mathbf{\beta}_i$是$\bf{X}^T\bf{X}$的一个特征向量，那么$\bf{X} \mathbf{\beta}_i$为$\bf{X}\bf{X}^T$的一个特征向量，二者分别对应同一个非零特征值（证法类似，此处略去）

这一结论的具体应用如下：

假如样本矩阵$\bf{X}$有100个观测，1000个变量，其维度$n\times p=100 \times 1000$，现在要计算$\bf{X}^T\bf{X}$的特征向量。注意到，一方面$\bf{X}^T\bf{X}$的维度为$1000 \times 1000$，维度很大，直接输进软件里求解的话会耗费大量时间；另一方面，$\bf{X}\bf{X}^T$的维度为$100 \times 100$，维度适中，直接输进软件里求解的话较快。因此，可以先求得$\bf{X}\bf{X}^T$的非零特征根对应的特征向量，然后分别再左乘矩阵$\bf{X}^T$即可解决问题。

巴特西

$\bf{X} \bf{X}^T$和$ \bf{X}^T \bf{X}$的非零特征值和特征向量之间的关系

最新文章

热门文章