名词定义

范数

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

定义范数的矢量空间是赋范矢量空间；同样，定义半范数的矢量空间就是赋半范矢量空间。

注：在二维的欧氏几何空间 R中定义欧氏范数，在该矢量空间中，元素被画成一个从原点出发的带有箭头的有向线段，每一个矢量的有向线段的长度即为该矢量的欧氏范数。

半范数

假设 是域 上的矢量空间，V的半范数是一个函数，满足：

 （非负性）

 （正值齐次性）

 (三角不等式).

范数=半范数+额外性质

赋范线性空间

 若是数域上的线性空间，泛函满足：

(1)正定性：,且；

(2)正齐次性：；

(3)次可加性（三角不等式）：。

那么， 称为上的一个范数。

如果线性空间上定义了范数，则称之为赋范线性空间。

当且仅当是零矢量(正定性）时，是零矢量；若拓扑矢量空间的拓扑可以被范数导出，那么这个拓扑矢量空间被称为赋范矢量空间。

内积、度量、拓扑和范数的关系

(1) 范数 度量 拓扑：，因此赋范线性空间是度量空间；但是由度量不一定可以得到范数。

(2) 如果赋范线性空间作为（由其范数自然诱导度量的）度量空间是完备的，即任何柯西(Cauchy）序列在其中都收敛，则称这个赋范线性空间为巴拿赫（Banach）空间。

(3) 内积 范数：；范数不一定可以推出内积；当范数满足平行四边形公式时，这个范数一定可以诱导内积；完备的内积空间称为希尔伯特空间。

(4) 如果去掉范数定义中的正定性，那么得到的泛函称为半范数（seminorm或者叫准范数），相应的线性空间称为赋准范线性空间。

对于X上的两种范数 ，若存在正常数C满足：

那么称弱于。如果弱于且弱于，那么称这两种范数等价。

可以证明，有限维空间上的范数都等价，无限维空间上至少有阿列夫（实数集的基数）种不等价的范数。

算子范数

如果和是巴拿赫空间， 是的线性算子，那么可以按下述方式定义：

根据定义容易证明：

对于多个空间之间的复合算子，也有。

如果一个线性算子T的范数满足

那么称T是有界线性算子，否则称T是无界线性算子。

如，在常用的范数下，积分算子是有界的，微分算子是无界的。

容易证明，有限维空间的所有线性算子都有界。

空间范数

基本性质

有限维空间上的范数具有良好的性质，主要体现在以下几个定理：

性质1：

对于有限维赋范线性空间的任何一组基，范数是元素（在这组基下）的坐标的连续函数。

性质2（Minkowski定理）：

有限维线性空间的所有范数都等价。

性质3（Cauchy收敛原理）：

实数域（或复数域）上的有限维线性空间（按任何范数）必定完备。

性质4：

有限维赋范线性空间中的序列按坐标收敛的充要条件是它按任何范数都收敛。

常用范数

这里以Cn空间为例，Rn空间类似。

最常用的范数就是p-范数。若，那么

可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski）不等式。

当p取；的时候分别是以下几种最简单的情形：

1-范数：║x║1=│x1│+│x2│+…+│xn│

2-范数：║x║2=（│x1│2+│x2│2+…+│xn│2）1/2

∞-范数：║x║∞=max（│x1│，│x2│，…，│xn│）

其中2-范数就是通常意义下的距离。

对于这些范数有以下不等式：║x║∞ ≤ ║x║2 ≤ ║x║1 ≤ n1/2║x║2 ≤ n║x║∞

另外，若p和q是赫德尔（Hölder）共轭指标，即1/p+1/q=1，那么有赫德尔不等式：

|<x,y>| = ||xH*y| ≤ ║x║p║y║q

当p=q=2时就是柯西-许瓦兹（Cauchy-Schwarz）不等式。

矩阵范数

一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：。所以矩阵范数通常也称为相容范数。

如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。对于n阶实方阵（或复方阵）全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。

注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mxn矩阵全体和mn维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

诱导的范数

把矩阵看作线性算子，那么可以由向量范数诱导出矩阵范数

║A║ = max{║Ax║：║x║=1}= max{║Ax║/║x║： x≠0}

它自动满足对向量范数的相容性

║Ax║ ≤ ║A║║x║

并且可以由此证明：

║AB║ ≤ ║A║║B║。

注：

⒈ 上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的（有限开覆盖定理），从而上面的连续函数可以取到最值。

⒉ 单位矩阵的算子范数为1。

常用的三种p-范数推导出的矩阵范数：

1-范数：

║A║1 = max{ ∑|ai1|，∑|ai2|，……，∑|ain| } （列和范数，A每一列元素绝对值之和的最大值）（其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+...+|an1|，其余类似）；

2-范数：

║A║2 = A的最大奇异值 = (max{ λi(AH*A) }) 1/2 （谱范数，即A^H*A特征值λi中最大者λ1的平方根，其中AH为A的转置共轭矩阵）；

∞-范数：

║A║∞ = max{ ∑|a1j|，∑|a2j|,...，∑|amj| } （行和范数，A每一行元素绝对值之和的最大值）（其中∑|a1j| 为第一行元素绝对值的和，其余类似）；

其它的p-范数则没有很简单的表达式。

对于p-范数而言，可以证明║A║p=║AH║q，其中p和q是共轭指标。

简单的情形可以直接验证：║A║1=║AH║∞，║A║2=║AH║2，一般情形则需要利用║A║p=max{yH*A*x：║x║p=║y║q=1}。

非诱导范数

有些矩阵范数不可以由向量范数来诱导，比如常用的Frobenius范数（也叫Euclid范数，简称F-范数或者E-范数）：

║A║F= （∑∑ aij2）1/2 (A全部元素平方和的平方根）。

容易验证F-范数是相容的，但当min{m,n}>1时F-范数不能由向量范数诱导（||E11+E22||F=2>1）。

可以证明任一种矩阵范数总有与之相容的向量范数。

例：

定义║x║=║X║，其中X=[x,x，…，x]是由x作为列的矩阵。由于向量的F-范数就是2-范数，所以F-范数和向量的2-范数相容。

另外还有以下结论：

║AB║F <= ║A║F ║B║2

║AB║F ≤ ║A║2 ║B║F

矩阵谱半径

定义：

A是n阶方阵，λi是其特征值，i=1,2，…，n。则称特征值的绝对值的最大值为A的谱半径，记为ρ（A）。

注：注意要将谱半径与谱范数（2-范数）区别开来，谱范数是指A的最大奇异值，即AH*A最大特征值的算术平方根。

谱半径是矩阵的函数，但不是矩阵范数。谱半径和范数的关系是以下几个结论：

定理1：

谱半径不大于矩阵范数，即ρ(A)≤║A║。

因为任一特征对λ，x,Ax=λx，可得Ax=λx。两边取范数并利用相容性即得结果。

定理2：

对于任何方阵A以及任意正数e，存在一种矩阵范数使得║A║<ρ（A)+e。

定理3(Gelfand定理）：

ρ（A)=lim_{k->；∞} ║Ak║1/k。

推论：

推论1：矩阵序列 I,A,A2，…Ak，… 收敛于零的充要条件是ρ（A)<1。

推论2：级数 I+A+A2+... 收敛到（I-A)-1的充要条件是ρ（A)<1。

酉不变范数

定义：

如果范数║·║满足║A║=║UAV║对任何矩阵A以及酉矩阵U,V成立，那么这个范数称为酉不变范数。

容易验证，2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的奇异值，所以由奇异值得到的范数是酉不变的，比如2-范数是最大奇异值，F-范数是所有奇异值组成的向量的2-范数。反之可证明，所有的酉不变范数都和奇异值有密切联系：

Von Neumann定理：在酉不变范数和对称度规函数（symmetric gauge function）之间存在一一对应关系。也就是说任何酉不变范数事实上就是所有奇异值的一个对称度规函数。