参考链接：
矩阵乘法的本质是什么？
条件数
1. 空间
1. 一般性定义
从拓扑空间开始，一步步往上加定义，可以形成很多空间。线形空间其实还是比较初级的，如果在里面定义了范数，就成了赋范线性空间。赋范线性空间满足完备性，就成了巴那赫空间；赋范线性空间中定义角度，就有了内积空间，内积空间再满足完备性，就得到希尔伯特空间。
空间有很多种。你要是去看某种空间的数学定义，大致都是“存在一个集合，在这个集合上定义某某概念，然后满足某些性质”，就可以被称为空间。
为什么要用“空间”来称呼一些这样的集合呢？
首先看一下我们生活在其中的的三维空间的一些最基本的特点。
1. 由很多（实际上是无穷多个）位置点组成；
2. 这些点之间存在相对的关系；
3. 可以在空间中定义长度、角度；
4. 这个空间可以容纳运动，这里我们所说的运动是从一个点到另一个点的移动（变换），而不是微积分意义上的“连续”性的运动。
不管是什么空间，都必须容纳和支持在其中发生的符合规则的运动（变换）。在空间中往往会存在一种相对应的变换，比如拓扑空间中有拓扑变换，线性空间中有线性变换，仿射空间有仿射变换等，这些变换都是对应空间中允许的运动形式。
因此，“空间”是容纳运动的一个对象集合，而“变换”规定了对应空间的运动。
那么某个特定的“空间”有两个基本问题需要理解：
1. 该空间是什么样的对象的集合？
2. 该空间的运动是如何表述的？
2. 线性空间
2.1 线性空间中的对象
线性空间中的任何一个对象，通过选取基和坐标的办法，都可以表达为向量的形式。
只要找到合适的基，用向量可以表示线性空间里任何一个对象。这里头大有文章，因为向量表面上只是一列数，但是其实由于它的有序性，所以除了这些数本身携带的信息之外，还可以在每个数的对应位置上携带信息。为什么在程序设计中数组最简单，却又威力无穷呢？根本原因就在于此。
另外举两个不那么平凡的例子：
Ex1. 最高次项不大于n次的多项式的全体构成一个线性空间，也就是说，这个线性空间中的每一个对象是一个多项式。如果以 $x_0, x_1, ..., x_n$ 为基，那么任何一个这样的多项式都可以表示为一组 $n + 1$ 维向量，其中每一个分量 $a_i$ 就是多项式中 $x_{i - 1}$ 项的系数。
基的选取方法有多种，只要所选取的那一组基线性无关即可。
这样看，泰勒展开中的每一个多项式中的 $x^i$ ，其实也是一个函数在函数空间的基， 而多项式的系数可以看做在该基下的坐标值。
EX2. 闭区间 [a, b] 上的n阶连续可微函数的全体，构成一个线性空间。也就是说，这个线性空间的每一个对象是一个连续函数。对于其中任何一个连续函数，根据魏尔斯特拉斯定理，一定可以找到最高次项不大于n的多项式函数，使之与该连续函数的差为0，也就是说，完全相等。这样就把问题归结为L1了。后面就不用再重复了。
2.2 线性空间中的运动及运动的表述
2.2.1 线性变换
线性空间中的运动，被称为线性变换。
线性变换的定义：设有一种变换T，使得对于线性空间V中任何两个不同的对象 x 和 y，以及任意实数 a 和 b， 有：$T(ax + by) = aT(x) + bT(y)$, 那么就称 $T$ 为线性变换。
线性变换的表示：在线性空间中，选定一组基后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）。而使某个对象发生对应运动的方法就是，用代表该运动的矩阵，乘以代表该对象的向量。
简而言之：在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动，用矩阵与向量的乘法施加运动。
矩阵的本质是运动的描述。
注意：这里的运动不是涉及微积分的连续性的运动，而是瞬间性的变换。（连续性的运动举个例子，一只小猫从A点走到B点，需要走一定时间才可以达到。瞬间性的变换举个例子，量子在不同能量轨道上的跃迁。）矩阵变化显然是瞬间性的，故下文中，将“运动”一词替换成“变换”。
矩阵是线性空间里变换的描述。
在一个线性空间V里的一个线性变换T，当选定一组基之后，就可以表示为矩阵。
基：可以把基看做线性空间里的坐标系。
选定一组基：可以理解为选定一个坐标系。
那么矩阵可以理解为：
矩阵是线性空间中的线性变换的一个描述。在一个线性空间中，只要选定一组基，那么对于任何一个线性变换，都能用一个确定的矩阵来加以描述。
2.2.2 变换的描述 vs 变换
在2.2.1中需要区别“线性变换”和“线性变换的一个描述”这两个概念。
线性变换，指“变换”本身， 每个变换可能有多种“描述”的方式，都表示同一个“变换”。
举个例子：给一个物体拍照，物体就是这个对象本身；但通过变换不同的角度等，可以给它拍出来很多不同的照片，这些照片都是这个物体的“描述”，但照片并不是这个物体本身。
同样的，对于线性空间中的一个变换，选择不同组的基，可以得到不同的矩阵，来对这同一个变换进行描述。但这些矩阵并不是变换本身。
那么，如何不同的矩阵是否是对同一个变换的描述呢？
若矩阵A与B是同一个线性变换的两个不同的描述（之所以会不同，是因为选定了不同的基，也就是选定了不同的坐标系），则一定能找到一个非奇异矩阵P，使得A、B之间满足这样的关系：
$$ A = P^{-1} * B * P $$
那么，A, B互为相似矩阵。即，相似矩阵是对同一个线性变换的不同的描述矩阵。其中的矩阵P，就是A矩阵所基于的基 与B矩阵所基于的基，这两组基之间的一个变换关系。
2.2.3 对线性变换的两个视角
视角1：固定对象所处的坐标系，对象的变换等价于对象在该坐标系下的位置的变换。
同2.2.1与2.2.2所述：把矩阵看做是运动的描述，矩阵与向量相乘就是使向量（点）运动的过程。
EX1. $Ma = b \tag1$ 表示：向量a经过矩阵M所描述的变换，变成了向量b。
视角2：固定对象的位置，对象的变换等价于坐标系的变换。
对于视角2：
矩阵可以看做是一组向量组成的。对于n维n阶非奇异的方阵（向量两两线性无关），那么可以将这组向量看做该线性空间的一组基，也相当于该空间的一个坐标系。
如何通过变换坐标系，实现线性变换呢？
举个例子，比如把点(1, 1)变到点(2, 3)去，点不动，变坐标系，让x轴的度量（单位向量）变成原来的1/2，让y轴的度量（单位向量）变成原先的1/3，这样点还是那个点，可是点的坐标就变成(2, 3)了。
EX2. $$Ma = b\tag1$$
$$Ma = Ib \tag2$$
(2)的物理意义是：有一个向量，在坐标系$M$的度量下的度量结果是$a$，那么它在坐标系 $I$ 的度量结果是向量 $b$. 这里 $I$ 表示单位矩阵。
(2) 表示，同样的向量，选择不同的坐标系，其表示方式不同。
以该视角看，矩阵乘法 $M \cdot N$ 表示：声明了一个在 $M$ 坐标系中度量出的另一个坐标系 $N$, 而 $M$本身是在 $I$ 坐标系中度量出来的。
2.2.4 坐标系的变换
对于上面的例子，在M坐标系中表示为(1,1)的点，在I坐标系中表示为(2,3).
那么如果已知有一个点，在$I$坐标系中表示为(2,3)，那么该点在$M$坐标系中应该表示为什么呢？
这里需要将 $Ma = Ib \tag2$ 转换为$Ia = Mb \tag3$.如何实现这样的转换呢？将(2) 中的 $Ma$ 左乘 $M^{-1}$ 即M的逆矩阵。
这里，矩阵乘法表示的不是2.2.1和2.2.2中所表示的，“对向量施加变换”了，而是“对坐标系施加变换”。
那么对于矩阵乘法 $M \cdot N$，
一方面可以认为是2.2.3中所述，声明了一个在 $M$ 坐标系中度量出的另一个坐标系 $N$, 而 $M$本身是在 $I$ 坐标系中度量出来的。从坐标系的角度看，可以这样理解：对N坐标系基的每一个向量，把它在I坐标系中的坐标找出来，然后汇成一个新的矩阵。
另一方面可以认为是2.2.4中所述，坐标系N在运动M下的变换结果。从变换的观点看，对坐标系N施加M变换，就是把组成坐标系N的每一个向量施加M变换。
3. 特征向量与特征值
特征向量表示：变换的方向；
特征值表示：变换的尺度。
4. 病态矩阵
4.1 病态矩阵的定义
解线性方程组Ax=b时，若对于系数矩阵A及右端项b的小扰动 δA、δb，方程组 (A+δA)χ=b+δb的解 χ 与原方程组Ax=b的解差别很大，则称矩阵A为病态矩阵。
举个例子：
4.2 条件数 -- 评价一个方程组是否为病态
那么，
又因为，
综合上面两式得，
得到最终关系：
如果是矩阵A产生误差，同样可得：
其中，条件数定义为：
一般来说，方程组解集的精度大概是 
个十进制的位的误差。 比如，IEEE 标准表示的双精度浮点数的有效位是 16 位，如果条件数是 1e+10, 那么得到的结果中只有 6 位是精确的。所以，只有当方程组是良态时，残差 R = Ax - b 才能准确指示解的精度。
4.3 病态的由来
4.4 特征值
假设 A 的两个单位特征向量是 x1, x2, 根据特征向量的性质：
上述矩阵 A 的特征值和特征向量分别为：
对于平面上的某一个向量 b，可以分解为两个特征向量的线性组合：
如果 远远大于
， 当 b 点在 x1 方向发生移动, m 值改变， 解集 x 变化不明显， 反之， 如果在 x2 方向移动， n 值改变，解集 x 变化非常大 ！可以看到，特征值对解集起到了一个 scaling 的作用。反过来说，如果一个特征值比其它特征值在数量级上小很多，x在对应特征向量 (x2) 方向上很大的移动才能产生b微小的变化.
4.5 SVD
通过SVD ，将 A 分解成三个矩阵的乘积，中间的对角线矩阵也起到了 scaling 的作用。我们按照正向思维来考虑这个问题，现在来了一个解集 x 向量，左乘 A 矩阵等价与左乘 USV^T, x 向量正好等于 V^T 最后一行向量，经过 S 矩阵的 scaling 缩小之后对 b 的影响非常小。也就是说， 解集 x 在 V^T 最后一行的行向量方向自由度最大！自由度越大，越不稳定，极端情况是该方向奇异值为 0, 解集可以在该方向取任意值，这也正好对应了矩阵 A 有零特征值， Ax 在对应特征向量的方向上移动不改变 Ax 的值。
在不同的 norm 下，条件数又可以由最大奇异值与最小奇异值之间的比值，或者最大特征值和最小特征值之间比值的绝对值来表示，详情请参考维基百科
最后， A 的条件数究竟等于多少呢？ cond(A) = 2e+06
4.6 病态矩阵处理方法
真正的自由是建立在规范的基础上的。病态矩阵解集的不稳定性是由于解集空间包含了自由度过大的方向，解决这个问题的关键就是将这些方向去掉，而保留 scaling 较大的方向，从而把解集局限在一个较小的区域内。在上面的讨论中， A 矩阵的特征向量不一定正交，不适合做新基， SVD 分解正好分解出了正交基，可以选前 k 个 v^T 向量作为正交基。
比如，现在只选取前一个 (0.707, 0.707) 方向作为基，解集局限在 y = x 这条直线上。直观的解释就是， A 矩阵的两个列向量过于类似，我们就可以将它们等同看待，第一次 b = (1000, 0), 解集是(0.5, 0.5), 第二次 b = (1000, 0.001), 解集还是 (0.5, 0.5).
总结起来，解决 A 病态就是将解集限定在一组正交基空间内，即对于坐标 y， 选择 k 个正交基 Zk，解决问题：
这个就是 reduce-rank model. 具体方法有 truncated SVD 和 Krylov subspace method。
