1 范数

在研究代数方程组的迭代求解及其收敛性的过程中，向量范数和矩阵范数是十分重要且有用的概念。范数又可以称为模。向量范数和矩阵范数用于描述向量和矩阵的大小。

1.1 向量范数

1.1.1 定义

范数本质是由向量或者矩阵映射到实数域的单值函数。定义如下：

设\(N(x)=||x||\)是定义在\(R^n\)上的实函数，如果它满足三个条件：

1. 非负性：即\(||x||\ge 0 ​\)，当且仅当x=0时，||x||=0。
2. 齐次性：即\(||kx||=||k|| \times ||x||, k \in R\)。
3. 三角不等式。对于任意\(x,y \in R^n\)，总有\(||x+y|| \le ||x|| + ||y||\)

则称\(N(x)=||x||\)为\(R^n\)上向量x的范数。

1.1.2 常用的向量范数

常用的向量范数有：

• 0-范数：向量中非零元素的个数。
• 1-范数：向量元素绝对值之和。\(||x||_1=\sum_{i=1}^N{|x_i|}\)。
• 2-范数：向量在高维空间中的矢径。\(||x||_2=(\sum_{i=1}^N {|x_i|^2})^{1/2}\)。
• \(\infty\)范数：元素绝对值最大者。\(||x||_{\infty}=max|x_i|\)。
• \(-\infty\)范数：元素绝对值最小者。\(||x||_{-\infty}=min|x_i|\)。
• p范数：向量元素绝对值的p次方和的1/p次幂。\(||x||_p=(\sum_{i=1}^N {|x_i|^p})^{1/p}\)。

不同的范数，只是定义和计算方法不同，其含义和作用基本相同，即用一个实数对向量的大小（没有向量的大小这种说法，但是有了范数之后，可以利用向量的同一种范数对向量做比较，因此，也可以将范数的定义看作是对向量大小的定义。个人认为，引入范数的主要目的是为了比较大小！！！）

1.1.3 范数的等价性

上面定义的不同的范数之间是可以互相转化的，这就是范数的等价性：

设\(||x||_\alpha ,||x||_\beta,\alpha,\beta \in \{1,2,\infty\}\)为\(R^n\)中的范数，则存在\(0<m<M\)使得\(m||x||_\alpha \le ||x||_\beta \le M||x||_\alpha\)对于任意的$x\in R^n成立。

通过上面的范数等价性定理，可以看出，不同的范数只是定义的方式不同。对于常用的三种范数，有如下关系：

1.2 矩阵范数

矩阵范数的含义和向量范数相同，时\(R^{n\times m}\)矩阵向实数域的单值映射。

1.2.1 矩阵范数定义

定义如下：

设\(N(A)=||A||\)是定义在\(R^{n\times m}\)上的实值函数，且满足以下四个条件：

1. 非负性：即\(||A||\ge0,||A||=0\)当且仅当A=0。
2. 齐次性：即\(||\alpha A||=|\alpha|||A||,\alpha \in R\)。
3. 三角不等式：即\(||A+B||\le ||A||+||B||, A,B \in R^{n \times m}\)。
4. 矩阵乘法不等式：即\(||AB||\le||A||||B||; A,B \in R^{n \times m}\)。

则称N(A)为矩阵A的范数。

1.2.2 常用的矩阵范数

• 1-范数：矩阵各列绝对值和的最大值。\(||A||_1=max\{ \sum_{i=1}^m |a_{i,j}| \}\)
• \(\infty\)范数：矩阵各行绝对值和的最大值。\(||A||_\infty=max\{ \sum_{j=1}^n |a_{i,j}|\}\)
• F-范数：矩阵元素平方和的算术平方根。\(||A||_F=(\sum_{i=1}^m {\sum_{j=1}^n |a_{i,j}|^2})^{1/2}\)
• 2-范数：又叫谱范数。\(||A||_2=\sqrt{\lambda_1}\)，其中，\(\lambda_1=max\{\lambda_i\}\)，\(\lambda_i\)为\(A^TA\)的特征值的最大值。
• L0-范数：矩阵中非零元素的个数。通常用来描述矩阵的稀疏性。
• L1-范数：矩阵元素绝对值之和，和L0范数一样，可以表示矩阵的稀疏性。
• L21-范数：先将矩阵每列求向量的2-范数，然后将结果求1-范数。
• 核范数：矩阵奇异值之和。可以用低秩来表示。

1.2.3 矩阵范数与向量范数的关系

实际应用中，矩阵和向量常常有一定关系，即满足矩阵、向量乘法的相容关系并且有结论：

\(||AX||\le||A||||X||\).

同时， 可以定义算子范数来描述矩阵和向量的关系：

定理 : 

设向量\(X \in R^n\)，矩阵\(A\in R^{n \times m}\)，给定一种向量范数\(||X||_r\)，若有\(||A||_r=max \frac{||AX||_r}{||X||_r}\),则称\(||A||_r\)为A的范数，并且它与所给定的向量范数相容。

2 范数的理解

前面已经讨论，向量的范数可以理解为对向量大小的一种定义。

比如，最为简单的，向量的2-范数在3维时有直观的几何含义：\(x=\{x_1,x_2,x_3\}\),在直角坐标系下，表示一个由原点指向\((x_1,x_2,x_3)\)的矢量，x的2-范数表示此矢量的模。将2-范数推广，表示任意唯独中矢径长度。也即向量x的大小。

在此基础上，理解矩阵范数就很容易。

AX=Y,表示矩阵A将X映射为Y，映射之后，向量的大小发生了变化，变化的因子就是矩阵A的范数。（是不是和雅可比矩阵表示体积变化的含义很类似？）

3. 范数在数值计算中的应用

这一部分主要是在误差分析里面用到。