概率论基础

发表于 更新于 分类于 ， ， ， 阅读次数： 本文字数： 391 阅读时长 ≈ 1 分钟

参考PCA数学原理，小结PCA求解过程中相关的概率论基础

方差和协方差

方差参考方差 标准差，用于衡量一组数据的离散程度，值越大，表示数据分布越广

协方差用于判断两组数据之间的相关程度，直观上看，协方差是两个变量总体误差的期望

协方差矩阵

设为维随机变量，称矩阵

$$
C = (c_{ij}){n\times n}
=\begin{pmatrix}
c{11} & c_{12} & \cdots & c_{1n}\
c_{21} & c_{22} & \cdots & c_{2n}\
\vdots & \vdots & \vdots & \vdots\
c_{n1} & c_{n2} & \cdots & c_{nn}
\end{pmatrix}
$$

为维随机变量的协方差矩阵（covariance matrix），记为，其中

为的分量和的协方差

以二维随机变量(X_{1}, X_{2})为例，协方差为

所以协方差矩阵是实对称矩阵（元素为实数，矩阵转置等于本身）

协方差矩阵的对角元素表示变量的方差，非对角元素表示变量和的协方差

相关阅读