线性代数基础

发表于 2019-06-03 更新于 2025-12-08 分类于数学/math 阅读次数：本文字数： 2.1k 阅读时长 ≈ 8 分钟

小结PCA求解过程中相关的线性代数基础（部分几何内容+概率论内容）

内积
投影
向量的线性相关/线性无关
向量空间的基
线性变换和线性映射
矩阵降维
特征值和特征向量
正交向量组和正交矩阵
实对称矩阵

内积

向量的内积既可以由向量坐标的代数运算得出，也可以通过引入两个向量的长度和角度的几何概念来计算得到

在欧几里得几何中，两个笛卡尔坐标向量的点积常称为内积

代数运算

给定个实向量，称实数

为向量与的内积

几何运算

给定元实向量，称

为向量的长度（范数或模）。长度为的向量称为单位向量，对任一非零向量，向量为单位向量，这一过程称为将向量单位化（或规范化/标准化）

设为元实非零向量，记

称为向量和的夹角

设二维空间有两个向量和，则内积定义如下：

该定义只对二维和三维空间有效

投影

设两个非零向量和的夹角为，则将叫做向量在向量方向上的投影，也称为标投影（scalar projection），是一个标量

引入的单位矢量，称为在上的矢投影（vector projection），是一个向量

投影和内积关系

设向量为，则和的内积等于向所在直线投影的长度

向量的线性相关/线性无关

设向量组，如果存在一组不全为零的数，满足

则称向量组 线性相关；当且仅当时上式才成立，则称向量组 线性无关

几何解释：在二维平面上，线性相关指向量在同一直线上，线性无关指向量不再同一直线上

向量空间的基

设是一个向量空间，是中的一组向量，如果满足

线性无关
中的任一向量都可由线性表示

则称是中的一组基，数称为的维数，记作，并称是维向量空间

正交基

称基中的向量为基向量，如果基向量两两正交（向量内积为0），则称基为正交基，如果正交基的基向量的模长都是单位长度，则称正交基为标准正交基

正交基中各基向量线性无关

基变换与坐标变换

设和为向量空间的基，有

称阶矩阵是由基到基的过渡矩阵，称上式为基变换公式

矩阵是可逆矩阵

设是向量空间，和分别为的基，且

分别是向量在和的坐标，则有

$或$

其中是由基到基的过渡矩阵，称上式为坐标变换公式

线性变换和线性映射

线性变换（linear transformation）指线性空间到其自身的线性映射，也就是坐标变换

线性映射（linear mapping）指从一个向量空间到另一个向量空间的映射且保持加法和数量乘法运算

矩阵降维

假设有个维向量组成的向量空间，想要将其映射到由个维向量组成的向量空间，则计算如下：

其中表示长度为的行向量，表示长度为的列向量

向量空间的矩阵乘法属于线性映射

如果小于，可以称线性映射为到的投影

特征值和特征向量

设是阶方阵，若存在数和维非零向量，使得

则称数为方阵的特征值；非零向量称为的对应于特征值的特征向量

性质

定理一：设是阶矩阵，则与有相同的特征值

定理二：设为阶方阵的个特征值，则

其中是的主对角线元素之和，称为方阵的迹，记作

定理三：不同特征值对应的特征向量线性无关，也就是两两正交

求解

求解方阵的特征值与特征向量:

计算的特征多项式：，其根就是的个不同的特征值
对每个特征值，解方程组，其基础解系就是的对应于特征值的线性无关的特征向量，其非零解就是的对应于特征值的全部特征向量

特征值和投影关系

矩阵乘法相当于矩阵在向量上的投影，表示投影大小（以为基）

特征值越大表示数据分布越广，离散程度大，所以其方差越大

正交向量组和正交矩阵

什么是正交向量?

设是两个元实向量，若，则称和正交（或垂直），记为

向量和正交的充分必要条件是

什么是正交向量组?

若不含零向量的向量组中任意两个向量都正交，则称此向量组为正交向量组

由单位向量构成的正交向量组叫做正交单位向量组（规范正交向量组或标准正交向量组）

什么是正交矩阵？

设为阶矩阵，如果，则称为正交矩阵

为正交矩阵的充分必要条件是的列（或行）向量组是单位正交向量组

正交向量组和基的关系

大小为的正交向量组两两正交，比线性无关，可以视为维空间的正交基

所以正交单位向量组可以视为标准正交基

实对称矩阵

定理一：设为阶实对称矩阵，是的重特征值，则的属于特征值恰有个线性无关的特征向量，即

定理二：设为阶实对称矩阵，则存在阶正交矩阵，使得

其中为的特征值

正交矩阵由特征值对应的特征向量正交化且单位化后组成，的第列对应特征值

内积