模长vs.范数—从数到向量与矩阵的“大小”度量

我总是对“模长”“范数”两个词感到困惑，它们似乎都用来描述某种“大小”或“长度”，但应用场景不同。今天，我们来系统梳理一下这两个概念！

实数与复数的“大小”

• 实数：实数 $x$ 的大小直接用其绝对值 $\left|x\right|$ 表示。
• 复数：复数的大小用模长来表示。
  • 模长定义：∣z∣=∣a+bi∣=a2+b2|z|=|a+bi|=\\sqrt{a^2+b^2}∣z∣=∣a+bi∣=a2+b2​
  • 模平方：∣z∣2=zHz=z∗z|z|^2 = z^Hz=z^*z∣z∣2=zHz=z∗z。其中， zHz^HzH表示共轭转置，标量情况下等价于复共轭 z∗=a−biz^* = a - biz∗=a−bi。
  • 几何意义：复平面上点到原点的距离。

向量的“大小”与范数

向量范数的定义

对任一向量 x∈Rn\\mathbf{x} \\in R^nx∈Rn，按照一定规则确定一个实数与之对应，该实数记为 $\Vert \mathbf{x}\Vert$，若 $\Vert \mathbf{x}\Vert$ 满足下面三个性质：
（1）正定性：$\Vert \mathbf{x}\Vert \ge 0$；$\Vert \mathbf{x}\Vert =0$ 当且仅当 $\mathbf{x}=0$；
（2）齐次性：对于任意实数 $\lambda$，$\Vert \lambda \mathbf{x}\Vert =|\lambda |\Vert \mathbf{x}\Vert$；
（3）三角不等式：对任意向量 y∈Rn\\mathbf{y} \\in R^ny∈Rn，$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$。
则称该实数 $\Vert \mathbf{x}\Vert$ 为向量 $\mathbf{x}$ 的范数。

向量范数是将向量映射到一个非负实数的函数，它合理地定义了向量的“大小/长度”。

常用向量范数

• 1-范数：
  • ∥x∥1=∣x1∣+∣x2∣+…+∣xn∣=∑i=1n∣xi∣\\left\\|\\mathbf{x}\\right\\|_1=\\left|x_1\\right|+\\left|x_2\\right|+\\ldots+\\left|x_n\\right|=\\sum_{i=1}^n\\left|x_i\\right|∥x∥1​=∣x1​∣+∣x2​∣+…+∣xn​∣=∑i=1n​∣xi​∣
  • 意义：各分量绝对值的和
• 2-范数：
  • ∥x∥2=x12+x22+⋯+xn2=(∑i=1nxi2)12\\left\\|\\mathbf{x}\\right\\|_2=\\sqrt{x_1^2+x_2^2+\\cdots+x_n^2}=\\left(\\sum_{i=1}^nx_i^2\\right)^\\frac{1}{2}∥x∥2​=x12​+x22​+⋯+xn2​​=(∑i=1n​xi2​)21​
  • 这是复数模长在向量空间上的直接推广
  • 2-范数的平方等于向量与自身的点积（内积），即∥x∥2=xTx\\| \\mathbf{x}\\|^2=\\mathbf{x}^T \\mathbf{x}∥x∥2=xTx（实数向量）或∥x∥2=xHx\\| \\mathbf{x}\\|^2=\\mathbf{x}^H \\mathbf{x}∥x∥2=xHx（复数向量）
• p-范数：
  • ∥x∥p=(∑i=1n∣xi∣p)1p\\left\\|\\mathbf{x}\\right\\|_p=\\left(\\sum_{i=1}^n\\left|x_i\\right|^p\\right)^\\frac{1}{p}∥x∥p​=(∑i=1n​∣xi​∣p)p1​
  • 1-范数（p=1）和2-范数（p=2）都是p-范数的特例。
• $\infty$-范数：
  • ∥x∥∞=max⁡{∣x1∣,∣x2∣,…,∣xn∣}=max⁡1≤i≤n{∣xi∣}\\left\\|\\mathbf{x}\\right\\|_{\\infty}=\\max \\left\\{\\left|x_1\\right|,\\left|x_2\\right|, \\ldots,\\left|x_n\\right|\\right\\}=\\max _{1 \\leq i \\leq n}\\left\\{\\left|x_i\\right|\\right\\}∥x∥∞​=max{∣x1​∣,∣x2​∣,…,∣xn​∣}=max1≤i≤n​{∣xi​∣}
  • 意义：向量分量中绝对值的最大值。

向量范数的应用

向量范数可以用来衡量向量大小和表示向量误差。

• 向量大小：直接用$\Vert \mathbf{x}\Vert$表示向量$\mathbf{x}$的大小。
• 误差度量：假设 x∗\\mathbf{x}^*x∗ 为 $A\mathbf{x}=b$ 的精确解，$\mathbf{x}$ 为其近似解。
  • 绝对误差： ∥x−x∗∥\\left\\|\\mathbf{x}-\\mathbf{\\mathbf { x } ^ { * }}\\right\\|∥x−x∗∥
  • 相对误差：∥x−x∗∥∥x∗∥\\frac{\\left\\|\\mathbf{x}-\\mathbf{x}^*\\right\\|}{\\left\\|\\mathbf{x}^*\\right\\|}∥x∗∥∥x−x∗∥​或∥x−x∗∥∥x∥\\frac{\\left\\|\\mathbf{x}-\\mathbf{x}^*\\right\\|}{\\|\\mathbf{x}\\|}∥x∥∥x−x∗∥​

矩阵的“大小”与范数

矩阵范数的定义

如果矩阵 A∈Rn×nA \\in R^{n \\times n}A∈Rn×n 的某个非负实值函数 $N(A)=\Vert A\Vert$，满足
（1）正定性：$\Vert A\Vert \ge 0$；$\Vert A\Vert =0$当且仅当 $A=0$；
（2）齐次性：对任意实数，$\Vert \lambda A\Vert =\left|\lambda \right|\Vert A\Vert$；
（3）三角不等式：对任意矩阵 B∈Rn×nB \\in R^{n \\times n}B∈Rn×n，$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$；
（4）次可乘性：$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert$。
则称 $N(A)$ 是 Rn×nR^{n \\times n}Rn×n 上的一个矩阵范数（或模）。

常用矩阵范数

• $\infty$-范数（行范数）
  • ∥A∥∞=max⁡1≤i≤n∑j=1n∣aij∣\\|A\\|_{\\infty}=\\max _{1 \\leq i \\leq n} \\sum_{j=1}^n\\left|a_{i j}\\right|∥A∥∞​=max1≤i≤n​∑j=1n​∣aij​∣
  • 对矩阵的每一行元素取绝对值求和，然后取这些行和的最大值
• 1-范数（列范数）
  • ∥A∥1=max⁡1≤j≤n∑i=1n∣aij∣\\|A\\|_1=\\left.\\max _{1 \\leq j \\leq n} \\sum_{i=1}^n\\right|a_{i j} \\mid∥A∥1​=max1≤j≤n​∑i=1n​∣aij​∣
  • 对矩阵的每一列元素取绝对值求和，然后取这些列和的最大值
• 2-范数（谱范数）
  • ∥A∥2=λmax⁡(ATA)\\|A\\|_2=\\sqrt{\\lambda_{\\max }\\left(A^T A\\right)}∥A∥2​=λmax​(ATA)​，其中，λmax⁡(ATA)\\lambda_{\\max }\\left(A^T A\\right)λmax​(ATA)表示 ATAA^T AATA 的最大特征值，即 f(λ)=∣λE−ATA∣=0f(\\lambda)=\\left|\\lambda E-A^T A\\right|=0f(λ)=​λE−ATA​=0

矩阵范数平方

• Frobenius范数平方
  • ∥A∥F2=∑i∑j∣aij∣2\\|A\\|_F^2=\\sum_{i} \\sum_{j} |a_{ij}|^2∥A∥F2​=∑i​∑j​∣aij​∣2（矩阵所有元素绝对值的平方和）
  • 迹运算等价形式：∥A∥F2=tr(ATA)\\|A\\|_F^2=tr(A^TA)∥A∥F2​=tr(ATA)（实矩阵）或∥A∥F2=tr(AHA)\\|A\\|_F^2=tr(A^HA)∥A∥F2​=tr(AHA)（复矩阵）
  • 几何意义：相当于把矩阵拉直成向量后的2-范数平方
  • 物理意义：矩阵总能量
• 2-范数/谱范数平方
  • ∥A∥22=λmax(ATA)\\|A\\|_2^2=\\lambda_{max}(A^TA)∥A∥22​=λmax​(ATA)
  • 表示最大奇异值的平方
  • 物理意义：最大方向的拉伸能量

总结

• 模长：复数特有的概念，用于度量其在复平面上的“长度”和“大小”，它是复数域的“绝对值”。
• 范数：是向量和矩阵“大小”或“长度”的度量工具。