矩阵基础

发表于 2019-05-10 更新于 2025-12-16 分类于技术教程，知识管理，基础教程，概念辨析阅读次数：本文字数： 2.3k 阅读时长 ≈ 8 分钟

小结矩阵求解过程中的基础知识

标量、向量和矩阵
矩阵乘法/积
转置、共扼、共扼转置
矩阵的迹
向量化和矩阵化

标量、向量和矩阵

标量（scalar）是一个数值，仅包含大小（magnitude or size）信息
向量（或称为矢量，vector）是一列数值，同时包含大小（magnitude）和方向（direction）信息
矩阵（matrix）是一个数值数组

向量是矩阵的特殊情况（仅有一行或者仅有一列），所以对于矩阵的操作也能应用于向量

矩阵乘法/积

矩阵分别和标量/向量和矩阵的乘积

1.1 令是一个矩阵，且是一个标量。乘积是一个矩阵，定义为$[\alpha A]{ij}=\alpha a{ij}m\times n $矩阵$ A=[a_{ij}] $与$ r\times 1 $向量$ x=[x_{1},…,x_{n}]^T $的乘积$ Ax $只有当$ n=r $时才存在，它是一个$ m\times 1 $向量，定义为$ $
[Ax]{i}=\sum{j=1}^{n}a_{ij}x_{j}, \ i=1,…,m
$矩阵与矩阵的乘积只有当时才存在，它是一个矩阵，定义为$
[AB]{ij}=\sum{k=1}^{n}a_{ik}b_{bj}, \ i=1,…,m; \ j=1,…,s
$$
矩阵相同位置元素相乘 - Hadamard积
矩阵与矩阵的Hadamard积记作$AB $，它仍然是一个$ m\times n $矩阵，其元素定义为两个矩阵对应元素的乘积$ $
(AB){ij}=a{ij}b_{ij}
$$
Kronecker积
3.1 矩阵和矩阵的右Kronecker积记作，是一个矩阵，定义为
$$
A\bigotimes B=[a_{1}B,…,a_{n}B]=[a_{ij}B]{i=1,j=1}^{m,n}=\begin{bmatrix}
a{11}B & a_{12}B & \dots & a_{1n}B\
a_{21}B & a_{22}B & \dots & a_{2n}B\
\vdots & \vdots & \vdots & \vdots\
a_{m1}B & a_{m2}B & \dots & a_{mn}B
\end{bmatrix}
$$
3.2 矩阵和矩阵的 (左)Kronecker积 记作，是一个矩阵，定义为
$$
A\bigotimes B=[a_{1}B,…,a_{n}B]=[a_{ij}B]{i=1,j=1}^{m,n}=\begin{bmatrix}
Ab{11} & Ab_{12} & \dots & Ab_{1q}\
Ab_{21} & Ab_{22} & \dots & Ab_{2q}\
\vdots & \vdots & \vdots & \vdots\
Ab_{m1} & Ab_{m2} & \dots & Ab_{pq}
\end{bmatrix}
$$
3.3 Kronecker积也称为直积（direct product）或者张量积（tensor product）通常使用右Keonecker积的形式进行书写

转置、共扼、共扼转置

转置指矩阵的行列对应互换；共轭负数是指实数部分相同而虚数部分互为相反数的两个复数

若是一个矩阵，则

的转置记作，是一个矩阵，其元素定义为$[A^T]{ij}=a{ji}$
的复数共轭 $A^{} $仍然是一个$ m\times n $矩阵，其元素定义为$ [A^{}]{ij}=a^{*}{ij}$
的（复）共轭转置记作，它是一个矩阵，定义为

$$
A^{H}=\begin{bmatrix}
a^{}_{11} & a^{}{21} & \dots & a^{*}{m1}\
a^{}_{12} & a^{}{22} & \dots & a^{*}{m2}\
\vdots & \vdots & \vdots & \vdots\
a^{}_{1n} & a^{}{2n} & \dots & a^{*}{mn}
\end{bmatrix}
$$

共轭转置又称为Hermitian伴随、Hermitian转置或Hermitian共轭

对称矩阵：满足的正方实矩阵

Hermitian矩阵（复共轭对称矩阵）：满足的正方复矩阵

共扼转置和转置的关系

$$
A^H=(A^)^T=(A^T)^
$$

矩阵的迹

参考：《矩阵分析与应用》第一章 1.6.4 矩阵的迹

矩阵的对角元素之和称为的迹（trace），记作，即有

注意：非正方矩阵无迹的定义

关于迹的等式

若和均为矩阵，则
若和均为矩阵，并且和为常数，则。特别地，若，则
矩阵的转置，复数共轭和复共轭转置的迹分别为 $tr(A^{T})=tr(A)，tr(A^{})=[tr(A)]^{}, tr(A^{H})=[tr(A)]^{H}$
若，则
若是一个矩阵，则 $（零矩阵）$
和
迹等于特征值之和，即
分块矩阵的迹满足

其中
对于任何正整数，有

根据迹的等式4进行推理，令和，有

迹和Hadamard积

另为矩阵，并且为求和向量，，其中，则

$$
tr(A^{T}(B*C))=tr((A^{T}B^{T})C) \
1^{T}A^{T}(BC)1=tr(B^{T}DC)
$$

证明如下，设

所以

对于公式二而言，其矩阵大小变化如下：

所以只要满足结果为，公式二可以变形如下：

假设大小为

向量化和矩阵化

向量化

列向量化：矩阵的向量化（vectorization）vec(A)是一个线性变换，它将矩阵的元素按列堆栈（column stacking），排列成一个向量

行向量化：按行堆栈（stack the rows）

注意：默认矩阵向量化指的是列向量化

行向量化和列向量化的关系：

存在一个置换矩阵，可以将一个矩阵的向量化变换为其转置矩阵的向量化，称为交换矩阵（communication matrix），记作，定义为

同样存在一个将转置矩阵的向量化变换为原矩阵的向量化的交换矩阵，记作，定义为

矩阵化

一个向量转换为一个矩阵的运算称为矩阵化（matrixing, maxicization），用符号表示，定义为

同样的，符号记作行向量的矩阵化