线性代数相关内容的学习总结.
第一章 基本是已经学过的内容，过了一遍后面的 key idea
1.1 Vecotrs and Linear Combinations 介绍了向量（vector）与向量的基本计算：
v + w = ( v 1 + w 1 , v 2 + w 2 ) c v = ( c v 1 , c v 2 ) v+w=(v_1+w_1,v_2+w_2) \\cv=(cv_1,cv_2) v + w = ( v 1 + w 1 , v 2 + w 2 ) c v = ( c v 1 , c v 2 )
介绍了线性组合（linear combination），形如：
c u + d v + e w cu+dv+ew c u + d v + e w
介绍了几个向量的全部线性组合可以组成直线、平面、空间
1.2 Lengths and Dot Products 介绍了点乘（dot product\inner product），形如：
v w = v 1 w 1 + v 2 w 2 . . . + v i w i vw=v_1w_1+v_2w_2...+v_iw_i v w = v 1 w 1 + v 2 w 2 ... + v i w i
介绍了向量长度的概念，以及 unit vector（当向量长度为一时），其中向量长度的公式为：
∣ ∣ v ∣ ∣ = v v \begin{equation} ||v||=\sqrt{vv} \end{equation} ∣∣ v ∣∣ = vv
给了两个公式：
c o s θ = v w ∣ ∣ v ∣ ∣ ∗ ∣ ∣ w ∣ ∣ cosθ=\frac{vw}{||v||*||w||} cos θ = ∣∣ v ∣∣ ∗ ∣∣ w ∣∣ v w
schwarz inequality
∣ v w ∣ < = ∣ ∣ v ∣ ∣ ∗ ∣ ∣ w ∣ ∣ |vw|<=||v||*||w|| ∣ v w ∣ <= ∣∣ v ∣∣ ∗ ∣∣ w ∣∣
triangle inequality
∣ ∣ v + w ∣ ∣ < = ∣ ∣ v ∣ ∣ + ∣ ∣ w ∣ ∣ ||v+w||<=||v||+||w|| ∣∣ v + w ∣∣ <= ∣∣ v ∣∣ + ∣∣ w ∣∣
1.3 Matrices 引入了矩阵 说明 Ax=b 中的 b 是 A 各列的线性组合 涉及了一些后面的概念，如逆矩阵 independent dependent
第二章 2.1 Vectors and Linear Equations 引入了行图像（row picture）列图像（column picture）以更好地描述线性组合
2.2|2.3 Elimination 介绍了消元法（elimination）与回代（back substitution） 引入了 upper triangular matrix 单位矩阵（identity matrix）I elimination matrix E(在左）增广矩阵（argumented matrix） 主元（pivot）不可为 0
2.4 Rules for Matrix Operations 介绍了四种矩阵乘法的计算方法 1 看成点乘 AB=C C 的 i 行 j 列的元素由 A 的 i 行与 B 的 i 列的点乘得到 2 $$AB=[Ab_i...Ab_p]$$ 3 A 的 i 行乘以 B 矩阵得到 C 的 i 行 拓展：AB 的行是 B 的行的线性组合:
[ a b c ] [ 1 2 3 4 5 6 ] = [ a 3 b 5 c ] + [ 2 a 4 b 6 c ] = a [ 1 2 ] + b [ 3 4 ] + c [ 5 6 ] [a\;b\;c]\begin{bmatrix}1&2\\3&4\\5&6\end{bmatrix}= [a\;3b\;5c]+[2a\;4b\;6c]=a[1\;2]+b[3\;4]+c[5\;6] [ a b c ] 1 3 5 2 4 6 = [ a 3 b 5 c ] + [ 2 a 4 b 6 c ] = a [ 1 2 ] + b [ 3 4 ] + c [ 5 6 ]
4$$AB=\begin{bmatrix}a & b\c & d\end{bmatrix} \begin{bmatrix} E & F\G & H\end{bmatrix}+ \begin{bmatrix} a \ c\end{bmatrix} \begin{bmatrix} E & F\end{bmatrix}+ \begin{bmatrix}b \ d\end{bmatrix} \begin{bmatrix} G & H\end{bmatrix}= \begin{bmatrix} aE+bG & aF+bH\ cE+dG & cF+dH\end{bmatrix}$$ 给出了一些矩阵乘法的运算规则 1 $$ AB\ne BA(一般情况）$$ 2$$ A(B+C)=AB+AC$$ 3$$ (A+B)C=AC+BC$$ 4$$ A(BC)=(AB)C$$ 5$$ ApA q=A{p+q};(A p)q=A $$
A I = I A AI=IA A I = I A
block multiplication
[ A 11 A 12 A 21 A 22 ] [ B 11 B 21 ] = [ A 11 B 11 + A 12 B 21 A 21 B 11 + A 22 B 21 ] \begin{bmatrix}A_{11} & A_{12}\\A_{21} & A_{22}\end{bmatrix} \begin{bmatrix}B_{11}\\B_{21}\end{bmatrix}= \begin{bmatrix}A_{11}B_{11}+A_{12}B_{21}\\A_{21}B_{11}+A_{22}B_{21}\end{bmatrix} [ A 11 A 21 A 12 A 22 ] [ B 11 B 21 ] = [ A 11 B 11 + A 12 B 21 A 21 B 11 + A 22 B 21 ]
block elimination（不理解）
2.5 Inverse Matrices 介绍了逆矩阵（inverse matrix）满足：
A − 1 A = I A A − 1 = I A^{-1}A=I\\AA^{-1}=I A − 1 A = I A A − 1 = I
介绍了几个判断有无逆矩阵的依据
1 A（n 行）是可逆的（invertible）当且仅当 A 有 n 个主元（pivots） 2 如果 Ax=0 有非零解，那 A 没有逆矩阵 3 2X2 矩阵[ a b c d ] \begin{bmatrix}a & b\\c & d\end{bmatrix} [ a c b d ] a d − b c ≠ 0 ad-bc\ne0 a d − b c = 0
AB 的逆矩阵( B − 1 A − 1 ) (B^{-1}A^{-1}) ( B − 1 A − 1 )
Guass-Jordan method
[ A I ] t o [ I A − 1 ] [A\ \ I] to [I\ \ A^{-1}] [ A I ] t o [ I A − 1 ]
diaganally dominant matrics 为对角线上的元素大于该行剩下元素之和的矩阵 它一定可逆
方阵若没有逆矩阵则称为奇异的（singular）
2.6 Elimination = Factorization:A=LU 可将 A 因式分解为$$A=LU$$ 其中 L 为 elimination matrix E 的逆矩阵，U 是 upper triangular matrix，A 也可分解为：$$A=LDU$$ 此时 U 对角线上的元素都为 1
实际应用中会把 L 和 U 存储起来，故求解 Ax=b，先求 Lc=b 后求 Ux=c，这样可简化运算
the cost of elimination
2.7 Transposes and Permutations 转置（transpose）矩阵就是将矩阵的行变为列，即：
[ 1 2 3 0 0 4 ] → [ 1 0 2 0 3 4 ] \begin{bmatrix} 1&2&3\\0&0&4\end{bmatrix} \rightarrow \begin{bmatrix} 1&0\\2&0\\3&4\end{bmatrix} [ 1 0 2 0 3 4 ] → 1 2 3 0 0 4
记作A T A^T A T
( A + B ) T = A T + B T (A+B)^T=A^T+B^T ( A + B ) T = A T + B T
( A B ) T = B T A T 多个时以此类推 (AB)^T=B^TA^T\\多个时以此类推 ( A B ) T = B T A T 多个时以此类推
( A − 1 ) T = ( A T ) − 1 (A^{-1})^T=(A^T)^{-1} ( A − 1 ) T = ( A T ) − 1
A T A^T A T
S T = S S^T=S S T = S
可按如下方法创造 symmetric matrices：
A T A = S A A T = S p r o o f : ( A T A ) T = A T ( A T ) T = A T A A^TA=S\;AA^T=S\\ proof:(A^TA)^T=A^T(A^T)^T=A^TA A T A = S A A T = S p roo f : ( A T A ) T = A T ( A T ) T = A T A
两个方式创造的 S 一般不一样 S 的逆矩阵也是 symmetric matrices S 可进行因式分解：
S = L D U ( 没有行变换） 此时 U = L T S=LDU(没有行变换）\\此时U=L^T S = L D U ( 没有行变换） 此时 U = L T
permutation matrices P 为每行每列都有 1 的矩阵 P 可由 I 的行以任意顺序组合而成 P − 1 P^{-1} P − 1 P A = L U PA=LU P A = LU A = L P U A=LPU A = L P U
x T y x^Ty x T y
A 矩阵满足：
( A x ) T y = x T A T y (Ax)^Ty=x^TA^Ty ( A x ) T y = x T A T y
即 Ax 与 y 的 inner product 等价于 x 于A T y A^Ty A T y
第三章 3.1 Space of vector R n R^n R n
M 所有 2X2 矩阵组成的向量空间 M 的三个子空间： U（upper triangular matrices） D（diagonal matrices）[ a 0 0 b ] \begin{bmatrix}a&0\\0&b\end{bmatrix} [ a 0 0 b ] c I \\cI c I
F 所有函数组成的空间，F 的维数是无限（infinite—dimensional） F 有个较小的子空间 P，P n P_n P n a 0 + a 1 x … … a n x n a_0+a_1x……a_nx^n a 0 + a 1 x …… a n x n
子空间（subspace）满足：
v + w c w 均在子空间中 v+w\;cw均在子空间中 v + w c w 均在子空间中
故一个包含 v、w 的子空间必须包括 v、w 的所有线性组合 子空间必定包括 0 向量
列空间 C（A）为 A 所有列的线性组合组成的空间 故 Ax=b 有解当且仅当 b 在 C（A）中 当 A 是m × n m\times n m × n R m R^m R m
S：一些向量的集合 SS：S 中的向量的所有线性组合，故 SS 必是某个向量空间的子空间 SS the span of S
3.2 The Nullspace of A:Solving Ax=0 and Rx=0 nullspace N(A)包含 Ax=0 的所有解，它是R n R^n R n
reduced row echelon form R 满足： 主元都为 1 主元列仅有一个元素
A 的各列 independent 当且仅当 Ax=0 仅有一解 m × n m\times n m × n
3.3 The Complete Solution to Ax = b augmented matrix[ A b ] [A\;b] [ A b ] A x p = b Ax_p=b A x p = b A x n = 0 , A x p = b Ax_n=0,Ax_p=b A x n = 0 , A x p = b
x = x p + x n x=x_p+x_n x = x p + x n
full colunm rank(r=n)的矩阵 A 具有以下性质：
1 每列都为主元列 2 没有自由变量和特解 3 N（A）仅有0 ⃗ \vec 0 0
当 Ax=b 有多解时称它 uderdetermined
full row rank(r=m)的矩阵 A 具有以下性质：
1 所有行都有主元，rres（A）没有 0 行 2 Ax=b 对所有 b 有解 3 column space 为R m R^m R m
linear equation 的 4 种可能性：
r m n Ax=b solution r=m r=n square and invertible 1 = < short and wide ∞ \infty ∞ < = tall and thin 0 or 1 < < not full rank 0 or ∞ \infty ∞
3.4 Independent basis dimension 当 Ax=0 仅有 0 解，A 的各列 linearly independent，与之相对的是 dependent
不能说矩阵 independent，可以说向量 independent
若一个向量集的向量的所有线性组合充满了一个空间，就说这个向量集 span 了这个空间
row space ：矩阵的各行形成的空间，实际是C ( A T ) C(A^T) C ( A T )
向量空间的一个 basis 满足： 1.basis 中的向量 independent 2.他们 span 了这个向量空间
将空间中的向量用该空间的 basis 的线性组合表示有且只有一种表示法
A 的主元列是它的列空间的 basis 一个向量空间的 basis 中向量的个数就是它的 dimension
matrices space function space
3.5 Dimension of the Four Subspace symbol dimension row sapce C ( A T ) C(A^T) C ( A T ) r column sapce C ( A ) C(A) C ( A ) r nullspace N ( A ) N(A) N ( A ) n-r left nullspace N ( A T ) N(A^T) N ( A T ) m-r
第四章 4.1 Orthogonality of Four subspaces Orthogonal vectors 满足：
v T w = 0 ∣ ∣ v ∣ ∣ 2 + ∣ ∣ w ∣ ∣ 2 = ∣ ∣ v + w ∣ ∣ 2 v^Tw=0\\ ||v||^2+||w||^2=||v+w||^2 v T w = 0 ∣∣ v ∣ ∣ 2 + ∣∣ w ∣ ∣ 2 = ∣∣ v + w ∣ ∣ 2
orthogonal subspaces 满足：
两个平面中的任意两个向量 v 、 w 满足 v T w = 0 两个平面中的任意两个向量v、w满足v^Tw=0 两个平面中的任意两个向量 v 、 w 满足 v T w = 0
N ( A ) N(A) N ( A ) C ( A T ) C(A^T) C ( A T ) N ( A T ) N(A^T) N ( A T ) C ( A ) C(A) C ( A ) C ( A ) C(A) C ( A ) A T A^T A T
orthogonal complement 满足：
对平面 V 、 W ，所有垂直于 W 的向量均在 V 中 , 及 V 为 W ⊥ 对平面V、W，所有垂直于W的向量均在V中,及V为W_{\perp} 对平面 V 、 W ，所有垂直于 W 的向量均在 V 中 , 及 V 为 W ⊥
上述的 orthogonal subspaces 均为 orthogonal complement
注意： 1.同时在 orthogonal subspaces 的平面个向量必为 0 向量 2.在R 3 R^3 R 3
4.2 Projection projection p vector b onto vector a p 为 a 上离 b 最近的点 error e = b − p e=b-p e = b − p
直线的 projection matrix P 满足:
p = P b p=Pb p = P b P = a a T a T a ( p r o o f : a ( b − a x ^ ) = 0 , p = a x ^ ⇒ x ^ = a T b a T a ) P=\frac{aa^T}{a^Ta}(proof:a(b-a\hat{x})=0,p=a\hat{x}\Rightarrow \hat{x}=\frac{a^Tb}{a^Ta}) P = a T a a a T ( p roo f : a ( b − a x ^ ) = 0 , p = a x ^ ⇒ x ^ = a T a a T b ) P 2 = P P^2=P P 2 = P ( I − P ) b = b − p = e (I-P)b=b-p=e ( I − P ) b = b − p = e
subspace 的 projection p 满足：
p = x 1 ^ a 1 + . . . + x n ^ a n = A x ^ p=\hat{x_1}a_1+...+\hat{x_n}a_n=A\hat{x} p = x 1 ^ a 1 + ... + x n ^ a n = A x ^
求x ^ ( n × 1 ) \hat{x}(n\times1) x ^ ( n × 1 )
A T ( b − A x ^ ) = 0 o r A T A x ^ = A T b A^T(b-A\hat{x})=0\;or\;A^TA\hat{x}=A^Tb A T ( b − A x ^ ) = 0 or A T A x ^ = A T b
解释：e e e A T A^T A T
求p ( m × 1 ) p(m\times1) p ( m × 1 )
p = A x ^ = A ( A T A ) − 1 A T b p=A\hat{x}=A(A^TA)^{-1}A^Tb p = A x ^ = A ( A T A ) − 1 A T b
求 P:
P = A ( A T A ) − 1 A T P=A(A^TA)^{-1}A^T P = A ( A T A ) − 1 A T
A 的各列 linearly independent 时，A 是 sysmetric、invertible、squre 其中 A invertible 当且仅当 A 的各列 linearly independent
###4.3 Least Squares Approximations
当 Ax=b 无解时 least squares solution x ^ \hat{x} x ^ E = ∣ ∣ A x − b ∣ ∣ 2 E=||Ax-b||^2 E = ∣∣ A x − b ∣ ∣ 2 A T A x ^ = A T b A^TA\hat{x}=A^Tb A T A x ^ = A T b x ^ \hat{x} x ^
4.4 Orthonormal bases and Gram-Schmidt vector q 1 . . . q n q_1...q_n q 1 ... q n
q i T q j = { 0 ( i ≠ j ) 1 ( i = j ) q_i^Tq_j=\left\{\begin{array}{ll} 0(i\ne j)\\ 1(i=j) \end{array}\right. q i T q j = { 0 ( i = j ) 1 ( i = j )
Q ( o r t h o g o n a l m a t r i x ) Q(orthogonal\;matrix) Q ( or t h o g o na l ma t r i x )
Q T Q = I ( i n v e r s e = t r a n s p o s e ) Q^TQ=I(inverse=transpose) Q T Q = I ( in v erse = t r an s p ose ) ∣ ∣ Q x ∣ ∣ = ( Q x ) T Q x = x ||Qx||=\sqrt{(Qx)^TQx}=x ∣∣ Q x ∣∣ = ( Q x ) T Q x = x ( Q x ) T ( Q y ) = x T Q T Q y = x T y (Qx)^T(Qy)=x^TQ^TQy=x^Ty ( Q x ) T ( Q y ) = x T Q T Q y = x T y
least squres solution for Qx=b: x ^ = Q T b P = Q Q T \hat{x}=Q^Tb\\ P=QQ^T x ^ = Q T b P = Q Q T
Gram-Schimdt Process: purpose:找到正交基 example: for span{a,b,c} F i r s t , A = a s e c o n d , B = A − p ( A ) t h i r d , C = B − p ( A , B ) f o r t h , v 1 = A ∣ ∣ A ∣ ∣ . . . . First,A=a\\ second,B=A-p(A)\\ third,C=B-p(A,B)\\ forth,v_1=\frac{A}{||A||}.... F i rs t , A = a seco n d , B = A − p ( A ) t hi r d , C = B − p ( A , B ) f or t h , v 1 = ∣∣ A ∣∣ A .... v 1 , v 2 , v 3 v_1,v_2,v_3 v 1 , v 2 , v 3
QR 分解： A = Q R R = Q T A p r o o f : A = [ q 1 q 2 q 3 ] [ q 1 T a q 1 T b q 1 T c q 2 T b q 2 T c q 3 T c ] A=QR\\ R=Q^TA\\ proof:A=\begin{bmatrix}& &\\q_1& q_2 &q_3\\& &\end{bmatrix} \begin{bmatrix} q_1^Ta&q_1^Tb&q_1^Tc\\ & q_2^Tb &q_2^Tc\\ & &q_3^Tc\end{bmatrix} A = QR R = Q T A p roo f : A = q 1 q 2 q 3 q 1 T a q 1 T b q 2 T b q 1 T c q 2 T c q 3 T c x ^ = R − 1 Q T b \hat{x}=R^{-1}Q^Tb x ^ = R − 1 Q T b
第五章 5.1 The Properities of Determinant 10 properities:
d e t I = 1 detI=1 d e t I = 1 矩阵发生一次行变换时 determinat 的符号改变一次 determinant 是每行的一个 linear function，故对一行进行加减或者乘以某个实数，determinant 也发生了同样的变换 A 有两行相同时d e t A = 0 detA=0 d e t A = 0 A 的一行减去其他行的线性组合时，d e t A detA d e t A 有一行为 0 时，d e t A = 0 detA=0 d e t A = 0 triangular matrix 的 determinant 为对角线元素的乘积 singular matrix 的 determinamt 为 0，可逆时不为 0 d e t A B = d e t A × d e t B detAB=detA\times detB d e t A B = d e t A × d e tB d e t A T = d e t A detA^{T}=detA d e t A T = d e t A 5.2 Permutations and Cofactors 求 determnant 的三种方法： 一、主元乘积 二、big formula：
∑ ( d e t P ) a 1 a a 2 b . . . a n w \sum (detP)a_{1a}a_{2b}...a_{nw} ∑ ( d e tP ) a 1 a a 2 b ... a n w
p r o o f ( 2 × 2 ) : 使用性质 3 d e t [ a b c d ] = d e t [ a 0 c d ] + d e t [ 0 b c d ] proof(2\times2):使用性质3\;det\begin{bmatrix}a&b\\c&d\end{bmatrix}= det\begin{bmatrix}a&0\\c&d\end{bmatrix}+ det\begin{bmatrix}0&b\\c&d\end{bmatrix} p roo f ( 2 × 2 ) : 使用性质 3 d e t [ a c b d ] = d e t [ a c 0 d ] + d e t [ 0 c b d ]
三、cofator formula:
d e t A = a i 1 C i 1 + a i 2 C i 2 + . . . + a i n C i n C i j = ( − 1 ) i + j d e t M i j detA=a_{i1}C_{i1}+a_{i2}C_{i2}+...+a_{in}C_{in}\\ C_{ij}=(-1)^{i+j}detM_{ij} d e t A = a i 1 C i 1 + a i 2 C i 2 + ... + a in C in C ij = ( − 1 ) i + j d e t M ij
5.3 Gramer's Rule,Inverses and Volumes Gramer's Rule: 求解 A x = b 时，当 d e t A ≠ 0 时 x 1 = d e t B 1 d e t A , x 2 = d e t B 2 d e t A . . . x n = d e t B n d e t A 其中 x n 是解 x 的第 n 个元素， B j 是将 A 的第 j 行替换后形成的矩阵 求解Ax=b时，当detA\ne 0时\\ x_1=\frac{detB_1}{detA},x_2=\frac{detB_2}{detA}... x_n=\frac{detB_n}{detA}\\ 其中x_n是解x的第n个元素，B_j是将A的第j行替换后形成的矩阵 求解 A x = b 时，当 d e t A = 0 时 x 1 = d e t A d e t B 1 , x 2 = d e t A d e t B 2 ... x n = d e t A d e t B n 其中 x n 是解 x 的第 n 个元素， B j 是将 A 的第 j 行替换后形成的矩阵 p r o o f : A x = b ⇒ A I j = B j ⇒ d e t A x j ( c o f a c t o r ) = d e t B j proof:Ax=b\Rightarrow AI_j=B_j\Rightarrow detAx_j(cofactor)=detB_j p roo f : A x = b ⇒ A I j = B j ⇒ d e t A x j ( co f a c t or ) = d e t B j
求A − 1 A^{-1} A − 1 ( A − 1 ) i j = C j i d e t A a n d A − 1 = C T d e t A (A^{-1})_{ij}=\frac{C_{ji}}{detA}\;and\; A^{-1}=\frac{C^T}{detA} ( A − 1 ) ij = d e t A C ji an d A − 1 = d e t A C T p r o o f : s o l v e A x j ⃗ = e j proof:solve\;A\vec{x_j} =e_j p roo f : so l v e A x j = e j
三角形面积 假设三点已知 a r e a = 1 2 d e t A A = [ x 1 y 1 1 x 2 y 2 1 x 3 y 3 1 ] area=\frac{1}{2}detA\\ A=\begin{bmatrix} x_1&y_1&1\\ x_2&y_2&1\\ x_3&y_3&1\end{bmatrix} a re a = 2 1 d e t A A = x 1 x 2 x 3 y 1 y 2 y 3 1 1 1 p r o o f : 通过平行四边形，先从有 d e t 2 × 2 即一个点在原点开始一步步求证 proof:通过平行四边形，先从有det2\times 2即一个点在原点开始一步步求证 p roo f : 通过平行四边形，先从有 d e t 2 × 2 即一个点在原点开始一步步求证
Cross Product u × w = d e t [ i j k u 1 u 2 u 3 v 2 v 2 v 3 ] 注意 i ， j ， k 是 3 × 3 I 相应的列向量 u\times w=det\begin{bmatrix} i&j&k\\ u_1&u_2&u_3\\ v_2&v_2&v_3\end{bmatrix}\\ 注意i，j，k是3\times 3\;I相应的列向量 u × w = d e t i u 1 v 2 j u 2 v 2 k u 3 v 3 注意 i ， j ， k 是 3 × 3 I 相应的列向量
v × u = − ( u × v ) v\times u=-(u\times v) v × u = − ( u × v ) u × w u\times w u × w u w ( p r o o f : u × ( u × w ) = 0 ) u\;w(proof:u\times (u\times w)=0) u w ( p roo f : u × ( u × w ) = 0 ) u × u = 0 u\times u=0 u × u = 0 triple product: ( u × v ) ∗ w = d e t [ w 1 w 3 w 3 u 1 u 2 u 3 v 2 v 2 v 3 ] = v o l u m e ( v 、 u 、 w ) (u\times v)*w=det\begin{bmatrix} w_1&w_3 &w_3\\ u_1&u_2&u_3\\ v_2&v_2&v_3\end{bmatrix} =volume(v、u、w) ( u × v ) ∗ w = d e t w 1 u 1 v 2 w 3 u 2 v 2 w 3 u 3 v 3 = v o l u m e ( v 、 u 、 w )
第六章 6.1 Introduction to Eigenvalues 当 Ax=x 方向相同，即 x 满足：
A x = λ x Ax=\lambda x A x = λ x
此时称 x 为 eigenvector(特征向量),λ \lambda λ
求 eigenvalue:
d e t ( A − λ I ) = 0 p r o o f : ( A − λ I ) x = A x − λ x = 0 ，若 x 有非零解， ( A − λ I ) 是 s i n g u l a r m a t r i x det(A-\lambda I)=0\\ proof:(A-\lambda I)x=Ax-\lambda x=0，若x有非零解，(A-\lambda I)是singular\;matrix d e t ( A − λ I ) = 0 p roo f : ( A − λ I ) x = A x − λ x = 0 ，若 x 有非零解， ( A − λ I ) 是 s in gu l a r ma t r i x
求 eigenvector：
( A − λ I ) x = 0 o r A x = λ I (A-\lambda I)x=0\; or \; Ax=\lambda I ( A − λ I ) x = 0 or A x = λ I
定义对角线元素之和为 trace，则 eigenvalue 满足：
λ 1 + λ 2 . . . λ n = t r a c e = a 11 + a 22 . . . a n n \lambda _1+\lambda _2...\lambda_n=trace=a_{11}+a_{22}...a_{nn} λ 1 + λ 2 ... λ n = t r a ce = a 11 + a 22 ... a nn
determinant 满足：
λ 1 λ 2 . . λ n = d e t A \lambda_1 \lambda_2..\lambda_n=detA λ 1 λ 2 .. λ n = d e t A
注意： A n x = λ n x A^nx=\lambda^nx A n x = λ n x λ \lambda λ λ A + λ B λ A λ B \lambda_A+\lambda_B\;\lambda_A \lambda_B λ A + λ B λ A λ B A B = B A AB=BA A B = B A
6.2 Diagonalizing a Matrix Diagonalize Matrix：
X − 1 A X = Λ = [ λ 1 . . λ n ] X 的列所有线性无关的 A 的 e i g e n v e c t o r 组成 , Λ 是 e i g e n v a l u e m a t r i x X^{-1}AX=\Lambda =\begin{bmatrix} \lambda_1\\ & .\\ & & .\\ & & &\lambda_n\end{bmatrix}\\ X的列所有线性无关的A的eigenvector组成,\Lambda 是eigenvalue\; matrix X − 1 A X = Λ = λ 1 . . λ n X 的列所有线性无关的 A 的 e i g e n v ec t or 组成 , Λ 是 e i g e n v a l u e ma t r i x
若，矩阵A B A\;B A B
A = B C B − 1 A=BCB^{-1} A = BC B − 1
则称A B A\;B A B
p r o o f : w h e n C x = λ x , A = B C B − 1 A x = ( B C B − 1 ) B x = B C x = B λ x = λ ( B x ) proof:when\;Cx=\lambda x,A=BCB^{-1}\\ Ax=(BCB^{-1})Bx=BCx=B\lambda x=\lambda (Bx) p roo f : w h e n C x = λ x , A = BC B − 1 A x = ( BC B − 1 ) B x = BC x = B λ x = λ ( B x )
powers of A 为了解决A k u A^ku A k u
u k = A k u 0 = c 1 λ 1 k x 1 + . . . c n λ n x n u_k=A^ku_0=c_1\lambda_1^kx_1+...c_n\lambda _nx_n u k = A k u 0 = c 1 λ 1 k x 1 + ... c n λ n x n
定义 eigenbalue λ \lambda λ λ \lambda λ p r o o f : G M < = A M , 当 G M < A M , 无法找出足够的 e i g e n v e c t o r 组成 X 矩阵 proof:GM<=AM,当GM<AM,无法找出足够的eigenvector组成X矩阵 p roo f : GM <= A M , 当 GM < A M , 无法找出足够的 e i g e n v ec t or 组成 X 矩阵
6.3 6.4 Symmetric Matrices 实数 S 矩阵的 eigenvalue 一定是实数，它的 eigenvector 一定是 orthogonal 的 r e a l n u m b e r p r o o f : S x = λ x ⇒ S x ˉ = λ x ˉ ⇒ x ˉ T S = x ˉ T λ ˉ t h e n x ˉ T S x = x ˉ T λ x , x ˉ T S x = x ˉ T λ ˉ x , t h e n x T x > 0 ⇒ λ = λ ˉ ⇒ λ i s r e a l real \;number\;proof:Sx=\lambda x\Rightarrow S\bar{x}=\lambda \bar{x}\Rightarrow \bar{x}^TS=\bar{x}^T\bar{\lambda}\\ then\;\bar{x}^TSx=\bar{x}^T\lambda x,\bar{x}^TSx=\bar{x}^T\bar{\lambda}x,\\ then\;x^Tx>0\Rightarrow \lambda=\bar{\lambda}\Rightarrow \lambda\;is\;real re a l n u mb er p roo f : S x = λ x ⇒ S x ˉ = λ x ˉ ⇒ x ˉ T S = x ˉ T λ ˉ t h e n x ˉ T S x = x ˉ T λ x , x ˉ T S x = x ˉ T λ ˉ x , t h e n x T x > 0 ⇒ λ = λ ˉ ⇒ λ i s re a l
o r t h o g o n a l p r o o f : a s s u m e λ 1 ≠ λ 2 , c o r r e s p o n d i n g e i g e n v e c t o r i s x , y ( λ 1 x ) T y = x T λ 1 y = x T S T y = x T S y = x T λ 2 y s o x T y = 0 orthogonal\;proof:assume\;\lambda_1 \ne \lambda_2,corresponding\;eigenvector \;is\;x,y\\ (\lambda_1x)^Ty=x^T\lambda_1 y=x^TS^Ty=x^TSy=x^T\lambda_2 y\\ so\;x^Ty=0 or t h o g o na l p roo f : a ss u m e λ 1 = λ 2 , corres p o n d in g e i g e n v ec t or i s x , y ( λ 1 x ) T y = x T λ 1 y = x T S T y = x T S y = x T λ 2 y so x T y = 0
Diagonalize Symmetric Matrix：
S = Q Λ Q T S=Q\Lambda Q^T S = Q Λ Q T
其中 Q 是 othogonal matrix pivots 和 eigenvalues 的联系：
p r o d u c t o f p i v o t s = d e t e r m i n a n t = p r o d u c t o f e i g e n v a l u e s product\;of\;pivots=determinant=product\;of\;eigenvalues p ro d u c t o f p i v o t s = d e t er minan t = p ro d u c t o f e i g e n v a l u es
Symmetric Matrix 的 pivots 和 eigenvalue 的符号是匹配的 （不太理解)
所有 Symmetric Matrix 都是 diagonalizable(证明不太懂）
6.5 Positive Definite Matrices 一个 positive definite matrix S 满足所有 eigenvalue λ > 0 \lambda >0 λ > 0
energy-based definition： S 满足对任意非零 vector x 均有：x T S x > 0 x^TSx>0 x T S x > 0 p r o o f : x T ( S + T ) x = x T S x + x T T x > 0 proof:x^T(S+T)x=x^TSx+x^TTx>0 p roo f : x T ( S + T ) x = x T S x + x T T x > 0
判断矩阵 S 是否 positive definite：
1 definitions 2 all upper left determinant（左上开始构造矩阵：1 × 1 2 × 2... 1\times 1\;2\times 2... 1 × 1 2 × 2... S = A T A , A c o l u m n i n d e p e n d e n t ( p r o o f : x T ( A T A ) x = ( A X ) T ( A X ) = ∣ ∣ A X ∣ ∣ 2 ) S=A^TA,A\; column\;independent\\(proof:x^T(A^TA)x=(AX)^T(AX)=||AX||^2) S = A T A , A co l u mn in d e p e n d e n t ( p roo f : x T ( A T A ) x = ( A X ) T ( A X ) = ∣∣ A X ∣ ∣ 2 )
构造S = A T A S=A^TA S = A T A
1 S = L D T L ⇒ A = L D ( c h o t e s k y f a c t o r ) S=LD^TL\Rightarrow A=L\sqrt{D}(chotesky\;factor) S = L D T L ⇒ A = L D ( c h o t es k y f a c t or ) S = Q Λ Q ⇒ A = Q Λ Q T S=Q\Lambda Q\Rightarrow A=Q\sqrt{\Lambda}Q^T S = Q Λ Q ⇒ A = Q Λ Q T
positive semidefinite: 在上面定义的基础上，允许λ = 0 \lambda=0 λ = 0
当S = Q Λ Q T S=Q\Lambda Q^T S = Q Λ Q T
x T S x = 1 代表椭圆 x^TSx=1\;代表椭圆 x T S x = 1 代表椭圆
可按如下分解得出椭圆方程：
x T Q Λ Q T x = 1 ⇒ [ X Y ] Λ [ X Y ] ⇒ λ 1 X 2 + λ 2 Y 2 = 1 x^TQ\Lambda Q^Tx=1\Rightarrow \begin{bmatrix} X & Y\end{bmatrix}\Lambda \begin{bmatrix} X\\Y\end{bmatrix}\Rightarrow \lambda_1X^2+\lambda_2Y^2=1 x T Q Λ Q T x = 1 ⇒ [ X Y ] Λ [ X Y ] ⇒ λ 1 X 2 + λ 2 Y 2 = 1
（不太理解）
第七章 7.1 Image Processing by Linear Algebra 7.2 Bases and Matrices in the SVD SVD:A = U Σ V T = u 1 σ 1 v 1 T + . . . + u r σ r v r A=U\Sigma V^T=u_1\sigma_1v_1^T+...+u_r\sigma_rv_r A = U Σ V T = u 1 σ 1 v 1 T + ... + u r σ r v r A v 1 = σ 1 u 1 Av_1=\sigma_1u_1 A v 1 = σ 1 u 1 A = [ v 1 . . . v r . . . v n ] = [ u 1 . . . u r . . . u m ] [ σ 1 . . . σ r 0 . ] A=\begin{bmatrix} v_1...v_r...v_n \end{bmatrix}=\begin{bmatrix}u_1...u_r...u_m\end{bmatrix}\begin{bmatrix} \sigma_1 \\ & .\\ & &.\\& & &. \\& & & &\sigma_r \\ & & & & &0\\ & & & & & & .\end{bmatrix} A = [ v 1 ... v r ... v n ] = [ u 1 ... u r ... u m ] σ 1 . . . σ r 0 .
其中σ i 2 \sigma_i^2 σ i 2 A T A , A A T A^TA,AA^T A T A , A A T v ′ s v's v ′ s A T A A^TA A T A u ′ s u's u ′ s A A T AA^T A A T A T A = ( U Σ V T ) T U Σ V T = V Σ T Σ V T A^TA=(U\Sigma V^T)^TU\Sigma V^T=V\Sigma ^T \Sigma V^T A T A = ( U Σ V T ) T U Σ V T = V Σ T Σ V T u i u_i u i u i = A v i σ i u_i=\frac{Av_i}{\sigma_i} u i = σ i A v i
相比于 eigenvalue，singular value 较稳定，改变一个 0 行或者在 0 行加一个很小的数字不会使它发生大的改变
