范数 (Norm)
一种具有“长度”概念的抽象数学概念，本质的函数，可以量化某些抽象概念。
Q: 为什么是“长度”？
A: 因为范数最容易被定义的数学概念是向量的模长，也就是向量的长度，因此可以说抽象的范数概念事实上就是向量模长的延伸。
半范数(seminorm) $p$， 满足：
- $p(\bm{v}) \geq 0$
- $p(a\bm{v}) = \vert a \vert p(\bm{v})$
- $p(\bm{u} + \bm{v}) \leq p(\bm{u}) + p(\bm{v})$
Q: 为什么叫半范数？
A: 半并非1/2的含义，而是半范数对比范数缺少了一些核心的要求，性质更弱，但保留了核心框架；类似的概念还有群和半群等等。因此我认为半x存在的含义是因为当前的条件下找不到一个合适的完全体满足需求。
范数在半范数的基础上，额外满足：
- $p(\bm{v}) = 0$，当且仅当 $\bm{v}$ 是零向量。
通常用 $\Vert \bm{x} \Vert $ 来表示范数。
矩阵范数
在满足上述范数条件的基础上，会因为矩阵的性质而自然地额外满足：
- $\Vert AB \Vert \leq \Vert A \Vert \Vert B \Vert$
- $\Vert A \Vert = \Vert A^* \Vert$，$A^*$ 为共轭转置，实数范围内等价于$A^T$
矩阵范数和行列式的区别
行列式的几何含义是体积的缩放因子（可正可负可零），范数的含义考虑最极端的缩放（大于等于零）。
常见的矩阵范数
“诱导”（induced），指从一个数学结构中自然的衍生出另一个结构。 “诱导范数” （induced norm）代表了矩阵对向量的放大能力，例如，有向量 $x$ 和矩阵 $A$，$x$ 的长度为 $\Vert x \Vert$，那么 $Ax$ 的长度为$\Vert Ax \Vert$。
向量范数诱导的矩阵范数
p-范数诱导的矩阵范数
$\Vert A \Vert_{p} = max\frac{\Vert Ax\Vert_{p}}{\Vert x \Vert_{p}}, x \neq 0$
$p = 1$ 时，为最大行和。
$p = \infty$ 时，为最大列和。
$p = 2$ （欧几里得范数）时，又称为谱范数，$\Vert A \Vert_{2} = \sqrt{\lambda_{max}(A^{*}A)}$
矩阵元范数
$\Vert A \Vert_{l}=(\sum_{i=1}^{n}\sum_{j=1}^{m}\vert a_{ij}\vert^{l})^{\frac{1}{l}}$
弗罗贝尼乌斯范数
$l = 2$ 的矩阵元范数。
极大值范数
$l = \infty$ 的矩阵元范数。
Schatten 范数
谱半径
矩阵或有界线性算子的谱半径是其特征值绝对值中的最大值，记作 $\rho(·)$ 。
$$ \rho(A) = max\lbrace \vert\lambda_{1}\vert, \vert \lambda_{2}\vert, …, \vert\lambda_{n}\vert \rbrace $$
条件数
该数量在数值计算中的容易程度的衡量，也就是该问题的适定性。一个低条件数的问题称为良置的，而高条件数的问题称为病态（或者说非良置）的。
$\kappa(A) = \Vert A^{-1} \Vert · \Vert A \Vert$
若$\Vert·\Vert$ 为 $l_2$ 矩阵范数，则：
$\kappa(A) = \frac{\sigma_{max}(A)}{\sigma_{min}(A)}$，其中 $\sigma_{max}(A)$， $\sigma_{min}(A)$ 分别为最大最小奇异值
- 若 $A$ 是正规矩阵，则：
$\kappa(A) = \vert\frac{\lambda_{max}(A)}{\lambda_{min}(A)}\vert = \rho(A) \rho(A^{-1}) $
正则化
Tikhonov正则化
$$ (A^TA + \lambda I)x = A^Tb $$
TODO