协方差矩阵的定义

设一个随机向量为\(\mathbf{x} \in \mathbb{R}^\mathrm{N}\)，其均值为\(\bar{\mathbf{x}}\)，则令\(\mathbf{y} = \mathbf{x} – \bar{\mathbf{x}}\)，则随机向量\(\mathbf{x}\)的协方差定义为：

\[\Sigma_{\mathbf{x}} = \begin{bmatrix}
\sigma(x_1,x_1) & \dotsb & \sigma(x_1,x_N) \\
\vdots & \ddots & \vdots \\
\sigma(x_N,x_1) & \dotsb & \sigma(x_N,x_N)
\end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}}
\]

由于\(\sigma(x_i,x_j) = \mathrm{E}((x_i – \bar{x_i})(x_i – \bar{x_i})) = \mathrm{E}(y_i – y_j) = \sigma(y_i,y_j)\)，所以\(\Sigma_{\mathbf{x}} = \Sigma_{\mathbf{y}}\)，即：

\[\Sigma_{\mathbf{y}} = \begin{bmatrix}
\sigma(y_1,y_1) & \dotsb & \sigma(y_1,y_N) \\
\vdots & \ddots & \vdots \\
\sigma(y_N,y_1) & \dotsb & \sigma(y_N,y_N)
\end{bmatrix} \in \mathbb{R}^{\mathrm{N} \times \mathrm{N}}
\]

另外，协方差矩阵还可以写成如下的形式：

\[\Sigma_{\mathbf{x}} = \mathrm{E}((\mathbf{x-\bar{\mathbf{x}}})(\mathbf{x-\bar{\mathbf{x}}})^{\mathrm{T}})
= \mathrm{E}(\mathbf{y}\mathbf{y}^{\mathrm{T}})
\]

此式与上述两式是等价的。各位看官可以自行证明。

协方差矩阵的意义及解释

协方差矩阵的意义及解释可见如下博客，这些博客已经写得非常好了，在此，老夫我就不再重复了。
https://zhuanlan.zhihu.com/p/37609917

版权声明：本文为MerakXuan原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/MerakXuan/p/12246894.html