矩阵与线性方程组

记号：

• A的转置：$A^T/A'$(在不至于混淆的情况下采用第二种记法)
• A的复数共轭: $A^*$
• A的复共轭转置: $A^H$,又叫Hermitian 转置。在A的元素是实数时，$A^H=A^T$
• 取子阵: $A(i_1:i_2,j_1:j_2)$

性质

• $(AB)'=B'A'$
• $(AB)^{-1}=B^{-1}A^{-1}$
• $(A')^{-1}=(A^{-1})'$

定义

• 矩阵A称为幂等矩阵，若$A^2=A$
• 矩阵A称为对合矩阵，若$A^2=I$
• 矩阵的内积$<A,B>=A^HB$

集合的运算

• 并集$X=A\cup B=\{x\in X:x\in A \lor x\in B\}$
• 交集$X=A\cap B=\{x\in X:x\in A \land x\in B\}$
• 和集$Z=A+B=\{z=x+y\in Z:x\in A,y\in B\}$
• 集合差$X=A-B=\{x\in X:x\in A,x\notin B\}$,也作$A\setminus B$
• 子集A在集合X中的补集$A^c=X-A$
• 笛卡尔积$A\times B=\{(x,y):x\in X,y\in Y\}$

注：集合中的冒号与竖线是一样的，是另一种记法。

对于一个正整数，实数的所有有序n元组$[x_1,x_2,\cdots,x_n]$的集合记为$R^n$,它的每一个元素称为向量($n\times 1$向量)。特别地，若n=1，则R的元素称为标量。设V为n维向量的集合，如果集合V非空，且集合V对向量加法和数乘两种运算封闭，则称集合V为向量空间。
实内积空间是满足内积公理的实向量空间。
如果对实n阶向量空间$R^n$定义向量之间的内积为典范内积(canonical inner product)
$<x,y>=\sum_{i=1}^nx_iy_i$
则称$R^n$为n阶欧氏空间(Euclidean),也记作$E^n$，若两向量内积为0，称这两个向量正交。记作$x\perp y$

范数

内积公理：满足正定性、可加性、齐次性、对称性的数叫内积。
范数公理：满足正定性、齐次性、三角不等式的数叫范数。

向量范数:
$l_2$范数：也称Euclidean范数，Frobenius范数。
$||x||=<x,x>^{1/2}$
$l_p$范数：(Holder范数)
$||x||_p=(\sum |x_i|^p)^{1/p}$
可以证明
无穷($l_\infty$)范数。
$||x||_\infty=\lim_{p\to\infty}||x||_p=\max({|x_1|,\cdots,|x_n|})$
$proof.$
对n个正数$a_1,a_2,\cdots,a_n,$
$\max(a_1^n,a_2^n,\cdots,a_n^n)\le a_1^n+a_2^n+\cdots+a_n^n\le n\max(a_1^n,a_2^n,\cdots,a_n^n)$$\max(a_1,a_2,\cdots,a_n)\le (a_1^n+a_2^n+\cdots+a_n^n)^\frac{1}{n}\le \sqrt[n]n\max(a_1,a_2,\cdots,a_n)$注意到$\lim_{n \to \infty}\sqrt[n]n=1$,由夹逼准则
$\lim_{n\to\infty}(a_1^n+a_2^n+\cdots+a_n^n)^\frac{1}{n}=\max(a_1,a_2,a_n)$
范数$||x||$称为酉不变的，若$||Ux||=||x||$对所有向量$x\in C^m$和所有酉矩阵（实数为正交矩阵）$U\in C^{m\times m}$恒成立。
Euclidean范数$||\cdot||_2$是酉不变的。

向量之间的距离：$d=||x-y||$
特别地，对于n维欧氏空间，向量范数取
$||x||_2=\sqrt{a_1^2+\cdots+a_n^2}$
常数向量w和v的外积记作$wv^H$,定义为矩阵的乘法。

Pythagorean定理：若$x\perp y,||x+y||^2=||x||^2+||y||^2$
Cauchy-Schwartz不等式：$|<x,y>|\le||x||||y||$
平行四边形法则：$||x+y||^2+||x-y||^2=2||x||^2+x||y||^2$
定义：若$n\to\infty,||x_n-x||\to 0,$则称$x_n$收敛于x。
命题：若$x_n\to x,y_n\to y,$则$<x_n,y_n>\to<x,y>$

矩阵范数具有以下性质：
正定性，齐次性，三角不等式，两个矩阵乘积的范数小于或等于两个矩阵范数的乘积$||AB||\le||A||||B||$
典型的矩阵范数：

• F范数（Frobenius,fro):$||A||_F=(\sum\sum|a_{ij}^2)^{1/2}$
  $||A||_F=||vec(A)||_2$
• $l_p$范数
  $||A||_p=\max_{x\neq 0}\frac{||Ax||_p}{||x||_p}$“最大线性放大率”
• 行和范数：$||A||_{row}$,矩阵元素取绝对值后，行和的最大值；列和范数同理。
• 谱范数(spectrum norm)
  $||A||_{spec}=\sigma_{max}$
  其中$\sigma_{max}$是矩阵A的最大奇异值。也称算子范数。
  注意，向量x的p范数相当于该向量的长度。矩阵A作用于长度为||x||的向量x时，得到的线性变换的结果为向量Ax，其长度为||Ax||，线性变换的矩阵可视为一个线性放大器算子。比率||Ax||/||x||提供了线性变换Ax相对于x的放大倍数，而矩阵A的p范数是由A产生的最大放大倍数。
  =
  矩阵内积：$<A,B>=A^HB$

矩阵范数满足平行四边形法则，Cauchy-Schwartz不等式，Pathagoras定理。

综上所述：在实内积空间里，范数有以下性质：

• $||\mathbf 0||=0;||x||\gt0,\forall x\neq 0$
• $||cx||=|c|\cdot||x||$
• 极化恒等式：
  $<x,y>=\frac{1}{4}(||x+y||^2-||x-y||^2)$
• 平行四边形法则：
  $||x+y||^2+||x-y||^2=2||x||^2+2||y||^2$
• Cauchy-Schwartz不等式
  $|<x,y>|\le ||x||||y||$等号成立当且仅当$y=cx$
• 三角不等式：
  $||x+y||\le||x||+||y||$

映射T的值域：$Im(T)$
将矩阵与向量的乘法$A_{m\times n}x_{n\times 1}$视为将$R^n$的向量x变为$R^m$的某个向量的线性映射$T:x\mapsto Ax$.

向量的内积是一种线性映射，T:$V\times V\mapsto C=<x,y>$,由内积公理易知其满足线性变换的两个条件。

向量空间（线性空间）

同构：两个实内积空间同构，若存在一个一一线性映射$T:E\mapsto F$能保持向量的内积不变，即$<Tx,Ty>=<x,y>$对所有向量$x,y\in E$成立。这个映射T称为向量空间的同构映射。

一般把$R^n$叫做（向量）空间，把里面的对加法和数乘封闭的子集称为子空间。（不严谨叙述）

向量$x_1,\cdots,x_n$的所有线性组合的集合称为由$x_1,\cdots,x_n$张成的子空间（/闭包closure），记作
$L=span\{x_1,\cdots,x_n\}$
生成子空间W的线性无关的向量$\{u_1,\cdots,u_n\}$称为子空间W的基，基的个数称为子空间W的维度，即
$d=\dim(span\{u_1,\cdots,u_n\}$

Gram-Schmidt正交化
定义投影向量$P_y(x)=y(y'y)^{-1}y'x$，可以将x向量投影到y上来
$a_1,a_2,\cdots,a_n$是向量空间W的一组基，将这组基标准正交化

1. $b_1=a_1$
   $b_2=a_2-P_{b_1}(a_2)$
   $b_k=a_k-P_{b_1}(a_k)-P_{b_2}(a_k)-\cdots-P_{b_{k-1}}(a_k)$
   产生正交基
2. 将这组正交基标准化即得。
   标准正交化matlab$B=orth(A)$

矩阵的标量函数

前面介绍的矩阵范数是矩阵的标量函数，下面介绍另外几个：矩阵的二次型，迹，行列式，秩

二次型$y(x)=x'Ax$

一般将A变为对称阵。
一个对称阵A称为
正定矩阵，若$x'Ax\gt 0,\forall x\neq 0$
半正定矩阵，若$x'Ax\ge 0,\forall x\neq 0$(也称非负定)

正矩阵：A的所有元素为正，简记为$A\gt 0$
非负矩阵：A的所有元素非负,简记为$A\ge 0$,
注意也有文件中用上面两个简记号表示正定矩阵和半正定矩阵。

迹$tr(A)=\sum a_{ii}$

性质

• $tr(A\pm B)=tr(A)\pm tr(B)$
• $tr(cA)=ctr(A)$ (前两个称为线性性)
• $tr(A')=tr(A)$
• 迹是相似不变量，若$A_{m\times n},B_{n\times m}$,则$tr(AB)=tr(BA)$
• 若矩阵A、B均为m阶方阵，且B非奇异，则：$tr(BAB^{-1})=tr(B^{-1}AB)=tr(A)$
• 若A是一个$m\times n$矩阵，则$tr(A'A)=0\iff A=O$
• $x'Ax=tr(Axx'),y'x=tr(xy')$
• $tr(A'A)=tr(AA')$
• $tr(A)=\sum \lambda_i$,迹等于特征值之和
• $tr(A^k)=\sum \lambda_i^k$，k次幂的迹等于A的特征值的k次矩之和。

迹的不等式

• $tr(A'A)=tr(AA')\ge 0$
• A,B均为$m\times n$矩阵
  $tr(A'B)^2\le tr(A'A)tr(B'B)$
  $tr(A'B)^2\le tr(A'AB'B)$
  $tr(A'B)^2\le tr(AA'BB')$
• Schur不等式：$tr(A^2)\le tr(A'A)$
• $tr[(A+B)(A+B)']\le2[tr(AA')+tr(BB')]$
• A、B均为m阶对称阵，$tr(AB)\le\frac{1}{2}tr(A^2+B^2)$
• $m\times n$实矩阵的F范数可以定义为：$||A||_F=\sqrt{tr(A'A)}=\sqrt{tr(AA')}$

行列式$\det(A),|A|$

相等关系

• $\det(A)=\det(A')$
• $\det(AB)=\det(A)\det(B)$
• $\det(cA)=c^n\det(A)$
• $\det(A^{-1})=\det^{-1}(A)$

不等关系

• Cauchy-Schwartz不等式$|\det(A'B)|^2\le\det(A'A)\det(B'B)$
• 正定矩阵A的行列式大于0，$\det(A)\gt 0$
• 半正定矩阵的行列式大于等于0，$\det(A)\ge 0$

秩rank,rk

根据系数矩阵秩的大小，矩阵方程$A_{m\times n}x_{n\times 1}=b_{m\times 1}$,可分为以下三种类型。（n个未知数m个方程）

• 适定(well-determined)方程,若$m=n=rank(A)$,即A为满秩方阵。方程个数等于未知数个数，还等于独立方程个数。即该方程组有唯一解。（不完备）
• 欠定(underdetermined)方程,若$m\lt n$,即方程个数小于未知数个数。欠定方程可能是相容的，也可能是不相容的，如果相容则有无穷多组解。
• 超定(overdetermined)方程，若$m\gt n$,即方程个数大于未知数个数。超定方程多数情况下无解，在特殊情况下有解。

是否有解不能看未知数个数和方程个数，要比较系数阵和增广矩阵的秩。

每个未知数可以被视为一个自由度，每个方程可以被视为一个限制了一个自由度的约束。行满秩，则每个方程都是独立方程，列满秩，则每个未知数都被涉及到（不存在自由未知数）,如参数平差中限定列满秩（保证参数能求出），还要求超定（有多于观测）。

矩阵的秩等于其列空间的维数，等于其行空间的维数。

参考资料

1. 矩阵分析与应用，张贤达
2. Invertible matrix,wiki
3. underdetermined system,overdetermined system,wiki
4. generlized inverse,wiki