综合整理对矩阵的理解

向量

  • 向量是什么
    • 向量是具有n个相互独立的性质。
    • 向量本身可以看成n x 1 的矩阵。

  • 向量操作

    • 线性组合：$c \textbf{v} + d \textbf{w} = c \begin{bmatrix} 1\\\\
      1 \end{bmatrix} +d \begin{bmatrix} 2 \\
      3 \end{bmatrix}=\begin{bmatrix} c+2d\\
      c+3d \end{bmatrix} $

      • 二维情况，若w与v不共线，线性组合$c \textbf{v}+d \textbf{w}$ 生成2维平面

    • 点积 (数值积、标量积、内积)

      • 代数定义：$v \cdot w = \sum_{i=1}^n a_ib_i$ , n = dim S(v)
      • $v \cdot w = v^Tw$
      • 几何定义: $v \cdot w = \vert a \vert \vert b \vert cos\theta$
      • 向量v在另一个向量w上投影长度和w长度的积$v \cdot w = \Vert v \Vert cos \theta \Vert b \vert​$
      • 如果v是某坐标轴的单位向量，两个向量的点积a⋅ba⋅b就是向量b在此坐标轴上的坐标值。这个结论非常重要，这是傅立叶分析的理论基础。
      • 从内积数值上我们可以看出两个向量的在方向上的接近程度。当内积值为正值时，两个向量大致指向相同的方向（方向夹角小于90度）；当内积值为负值时，两个向量大致指向相反的方向（方向角大于90度）；当内积值为0时，两个向量互相垂直。
      • 向量内积的解释
        • 力学：一个斜坡上用力F斜上拉一个物体，位移为S（没有重力的情况下），那么这个力F所作的功：$W=F_sS=FScos\theta$
        • 电路：热损失=(压降)(电流)=$e^Ty$
        • 经济: 收入= (数量)(价格) = $q^Tp$

    • 长度（大小(Magnitude)、模长、范数) : $\Vert v \Vert=\sqrt{v \cdot v}$

      • $\vert v \cdot w \vert \leq \sqrt {\Vert v \Vert \Vert w \Vert}$

    • 表示方法：

      • 两个数值
      • 从原点出发的箭头
      • 平面上的一个点

    • 单位向量

      • 定义：$u=v/ \Vert v \Vert$是与v同方向的单位向量。

    • 柯西-施瓦茨不等式(Schwars inequality):

      • $\vert v \cdot w \vert \leq \Vert v \Vert \Vert w \Vert$

    • 三角不等式:

      • $\Vert v + w \Vert \leq \Vert v \Vert + \Vert w \Vert$

矩阵

  • 线性方程 Ax = b的解$x=A^-1b$

  • 矩阵A作用于向量x,结果Ax是A的列向量的线性组合。

  • Ax是x与A各行的点积

  • 逆矩阵： $x = A^{-1}b$

  • 循环差(Cyclic differences)的解是常数C=(c c c)

  • 独立与非独立

    • 独立：w与u和v不共面
    • 非独立：$w^*与u和v共面

  • 运算

    • A(BC) = (AB)C
    • A(B+C) = AB+AC
    • $AB \neq BA$
    • 置换(permutation)

    • 行交换：$P_{ij}$是单位矩阵i，j两行的互换

    • AB=C, $C_{ij}$是A中第i行和B中第j列的点积

    • $ A = [A1 A2], B =\begin{bmatrix} B_1 \\\ B2 \end{bmatrix} => AB = A_1B_1 + A_2B_2$

    • $(A^p)(A^q) = A^{p+q}$

    • $A^{-1}A = A, AA^{-1}=I$

    • 转置

      • $(A^T)_{ij} = A_ji$
      • $(AB)^T=B^TA^T$
      • $(A^{-1})^T=(A^T)^{-1}$
      • $x \cdot y = x^Ty$

  • 对称矩阵

    • $S^T=S$

  • 正交矩阵(orthogonal matrix)

    • $Q^T = Q^{-1}$

  • 逆矩阵

    • 可逆：
    • 算法测试：消元：A有n个非零主元(pivot)
    • 代数测试: det A $\ne$ 0
    • 方程测试：Ax=0， x=0是唯一解
    • A, B,C可逆，则ABC可逆，且有$(AB)^{-1} = B^{-1}A^{-1},(ABC)^{-1} = C^{-1}B^{-1}A^{-1}$
    • $A A^{-1} = I$, 用高斯-约旦消元法由 $\begin{bmatrix} A & I \end{bmatrix}$可得$\begin{bmatrix} I & A^{-1} \end{bmatrix}$

  • 奇异矩阵(singular matrix

    • 行列式为0
    • 有无穷多个解

  • 相似矩阵

    • A与B是同一个线性变换的两个不同的描述（之所以会不同，是因为选定了不同的基，也就是选定了不同的坐标系），则一定能找到一个非奇异矩阵P，使得A、B之间满足这样的关系：$A = P^{-1}BP$
    • 一族相似矩阵都是同一个线性变换的描述

  • 矩阵的本质是什么？

    • 矩阵的本质是运动的描述。是线性空间里跃迁的描述
    • 矩阵不仅可以作为线性变换的描述，而且可以作为一组基的描述。而作为变换的矩阵，不但可以把线性空间中的一个点给变换到另一个点去，而且也能够把线性空间中的一个坐标系（基）表换到另一个坐标系（基）去。而且，变换点与变换坐标系，具有异曲同工的效果。线性代数里最有趣的奥妙，就蕴含在其中。理解了这些内容，线性代数里很多定理和规则会变得更加清晰、直觉。
    • 矩阵描述了一个坐标系。

线性变换是什么？

  • 线性变换，就是从一个线性空间V的某一个点跃迁到另一个线性空间W的另一个点的运动。
  • 矩阵与向量相乘，就是实施运动（变换）的过程.
  • Ax = b的意思是：
    • “向量a经过矩阵A所描述的变换，变成了向量b。
    • 有一个向量，它在坐标系A的度量下得到的度量结果向量为a，那么它在坐标系I的度量下，这个向量的度量结果是b。因为Mx=Ib。
  • 对坐标系施加变换的方法，就是让表示那个坐标系的矩阵与表示那个变化的矩阵相乘。

线性方程的解

  • 行表达式显示
    • 二维：两条线交于一点，及方程的解
    • 三维：三个平面交于一点
  • 列表达式方程A作用于向量x生成向量b
    • 线性变换，就是从一个线性空间V的某一个点跃迁到另一个线性空间W的另一个点的运动。
    • 矩阵与向量相乘，就是实施运动（变换）的过程.
    • Ax = b的意思是：
    • “向量a经过矩阵A所描述的变换，变成了向量b。
    • 有一个向量，它在坐标系A的度量下得到的度量结果向量为a，那么它在坐标系I的度量下，这个向量的度量结果是b。因为Mx=Ib。
    • 对坐标系施加变换的方法，就是让表示那个坐标系的矩阵与表示那个变化的矩阵相乘。
  • 消元 = 因式分解： A = LU
    • 需要$n^3$次计算

空间

定义

  • 标准n维空间$R^n$包含所有带有n个元素的列向量
  • 如果v， w是空间S的向量，cv+dw的线性组合一定在S空间内
  • S空间的向量，可以是矩阵或者x的函数。零空间是包含一个点x=0的空间
  • $R^n$的子空间，是$R^n$内向量的线性空间，例如线y=3x位于$R^2$内
    • v+w在子空间内
    • cv在子空间内
    • 0v必须在子空间内，所以每个子空间都包含零向量
      • 不通过原点的平面不是子空间
    • 包含v， w的子空间，必须包含所有cv+dw的线性组合
  • 矩阵A的列空间包含所有A的列的线性组合，是$R^m$的子空间。
  • 列空间包含所有向量Ax。当b位于A的列空间C(A)中，Ax=b才有解
  • 向量空间的例子
    • M 所有 n x n矩阵构成的向量空间
    • F 实函数f(x) 构成的向量空间
    • Z 只包含一个零向量的向量空间
  • 零空间
    • $R^n$中的零空间N(A)包含所有x使得Ax=0的解。此解集包括x=0
    • 消元不改变零空间：N(A) = N(U)=N®
    • The reduced row echelon form R = rref(A) has all pivots= 1, with zeros above and below
    • 如果矩阵R的j列是自由的（没有主元），则Ax=0有$x_j=1$的特殊解。
    • 主元的个数=R中非零的行数=R的秩r，于是n-r=自由列数
  • Ax=b
    • 全部解: $x = x_p + x_n$
    • 对$[A\; b]$消元，得到$[R\; d]$, 那么Ax=b等效于Rx=d
    • Ax=b和Rx=d只有所有在R中的0行在d中也是0
    • 如果Rx=d有解，那么特解xp的所有自由变量都是0
    • 当N(A) = 0 时，A有所有列的秩是满的（A has full coliumn rand) r = n
    • 当列空间C(A)为$R^m$, A所有行的秩是满的， r = m：Ax=b永远有解
    • 四种情况
    • r = m = n: 可逆
    • r = m < n: Ax=b有解
    • r = n < m: Ax=b有1个或0个解
    • r < m, r < n: 0 或 $\infty$
  • 独立、基和维度
    • A的独立列：Ax=0的唯一解x=0. 所以零空间是Z
    • 独立向量：所以零组合$c_1v_1+…+c_kv_k = 0$, 且所有c=0
    • m < n的矩阵A有独立列，那么A至少有n-m个独立向量/特解
    • 如果S是v的所有线性组合，那么$v_1, …v_k$生成空间S
    • 当向量$v_1, …v_k$独立且生成S，$v_1, …v_k$是S的基
    • S的维度 dim S 等于 S的基的向量的个数
    • 如果A是4x4的可逆矩阵，那么他的列是$R^4$的基。 dim $R^4$ = 4
  • 四个子空间的维度
    • dim C(A) = dim $C(A^T) = r = rank(A)
    • dim N(A) = n - r, dim $N(A^T)$ = m - r
    • 消元生成行空间的基和N(A), 他们与R相同
    • 消元通常会改变列空间和左零空间， 但是维度不变。
    • 求一个矩阵的秩：A= $uv^T$ = 列 x 行：C(A) 的基为u， $C(A^T)$=v

空间是什么？

  1. 由很多（实际上是无穷多个）位置点组成；
  2. 这些点之间存在相对的关系；
  3. 可以在空间中定义长度、角度；
  4. 这个空间可以容纳运动，这里我们所说的运动是从一个点到另一个点的移动（变换），而不是微积分意义上的“连续”性的运动
  5. 每个空间都必须容纳和支持在其中发生的符合规律的运动（变换）。

方程是什么？

  • ax+by + b = 0: 意味着对x，y拉伸之后，求和在移动b个单位回到原点
  • 意味着一组向量（x, y|ab+by+b=0)的线性变换之后的投影是一个固定值，或者高维在低维的映射。

线性是什么？

  • 线性变换不改变共线性质和距离的比例，就是说原来共线的变换之后还共线，原来等距离的变换之后距离还相等。
  • 数加代表位置偏移。数乘代表伸缩和方向。
  • 线性变换效果等价于于与向量（a,b)做点乘，其中a和b是两个基向量被变化到的位置。

线性空间是什么？

  1. 线性空间中的每一个对象是一个多项式。如果我们以x0, x1, …, xn为基，那么任何一个这样的多项式都可以表达为一组n+1维向量，其中的每一个分量ai其实就是多项式中x(i-1)项的系数。
  2. 闭区间[a, b]上的n阶连续可微函数的全体，构成一个线性空间。也就是说，这个线性空间的每一个对象是一个连续函数。对于其中任何一个连续函数，根据魏尔斯特拉斯定理，一定可以找到最高次项不大于n的多项式函数，使之与该连续函数的差为0，也就是说，完全相等。这样就把问题归结为L1了。

基是什么？

  • 基是线性空间里的坐标系
  • 如果一组向量是彼此线性无关的话，那么它们就可以成为度量这个线性空间的一组基，从而事实上成为一个坐标系体系，其中每一个向量都躺在一根坐标轴上，并且成为那根坐标轴上的基本度量单位（长度1）。

行列式

  • 矩阵M的行列式实际上是组成A的各个向量按照平行四边形法则搭成一个n维立方体的体积。