数值分析笔记 1：基础概念

误差分析、最值、谱半径、范数

《应用数值分析》

目录

• 目录
• 1. 基本概念
  • 1.2 误差分析
    • 1.2.1 绝对误差/相对误差
    • 1.2.2 有效数字
    • 1.2.3 截断误差/舍入误差/初始数据误差
  • 1.3 病态问题与条件数/数值稳定性
    • 1.3.1 病态问题与条件数
    • 1.3.2 算法数值稳定性
  • 1.4 数值算法设计与实现
  • 1.5 数学分析中的几个重要概念
    • 1.5.1 $Taylor$ 公式
    • 1.5.2 大 $O$ 记号
    • 1.5.3 上确界与下确界
    • 1.5.4 函数序列的一致收敛性
  • 1.6 几种重要矩阵及相关性质
    • 1.6.1 对称正定矩阵
    • 1.6.2 正交矩阵/相似矩阵
    • 1.6.3 初等矩阵与初等变换
    • 1.6.4 矩阵特征值/矩阵谱半径
  • 1.7 线性空间概要
    • 1.7.1 线性空间
    • 1.7.2 范数/赋范线性空间
    • 1.7.3 内积/内积空间
  • 1.9 向量范数/矩阵范数
    • 1.9.1 向量范数
    • 1.9.2 矩阵范数

1. 基本概念

1.2 误差分析

1.2.1 绝对误差/相对误差

• 绝对误差：准确值与近似值之差，$e\left ( x^{*} \right ) = x - x^{*}$
• 相对误差：$e_r(x^*)=\frac{e(x^*)}{x}=\frac{x-x^*}{x}$
• 绝对误差界：$\left| e \right|=\left | x-x^* \right |\leqslant \varepsilon$
• 相对误差界：$\left| e_r \right|=\frac{\left | x-x^* \right |}{\left | x^*\right|}\leqslant \varepsilon_r$

1.2.2 有效数字

• 定义：设 $x$ 的近似值 $x^*$ 表示成规格化形式：

$$x^* = \pm 10^k \times 0.a_1a_2 \cdots a_n \cdots$$

如果有 $\left| x-x^* \right| \leqslant \frac{1}{2} \times 10^{k-n}$，则称 $x^*$ 有 $n$ 位有效数字。

• 有效数字的位数与小数点无关
• 有效数字位数与相对误差有下列关系：

(1) 如果 $x^*$ 有 $n$ 位有效数字，则

$$\left| e_r(x^*) \right| = \frac{\left| x-x^* \right|}{\left| x^* \right|} \leqslant \frac{1}{2a_1} \times 10^{1-n}$$

(2) 如果下式成立，则 $x^*$ 至少有 $n$ 位有效数字：

$$\left| e_r(x^*) \right| = \frac{\left| x-x^* \right|}{\left| x^* \right|} \leqslant \frac{1}{2(a_1+1)} \times 10^{1-n}$$

1.2.3 截断误差/舍入误差/初始数据误差

• 截断误差：或称方法误差，指在构造数值计算方法时，用有限过程代替无限过程，其计算结果所存在的误差。
• 舍入误差：或称计算误差，进行舍入操作所引起的误差
• 初始数据误差：或称输入数据误差，可能是物理数据测量不准确、初始数据只能取近似值引起的。为简明起见，把这些误差归入舍入误差范围处理。

1.3 病态问题与条件数/数值稳定性

1.3.1 病态问题与条件数

条件数

• 条件数记为 $C$ 或 $Cond$
• 误差 $e(x^*)$ 的条件数：$\left| {f}'(x) \right|$
• 相对误差 $e_r(x^*)$ 的条件数：$\left| \frac{x{f}'(x)}{f(x)} \right|$

病态/良态

• 对于一个数值问题，当输入数据（初始数据）有微小扰动时，计算结果对之很敏感，即条件数很大，就称这个问题是病态的
• 当初始数据有微小扰动时，计算结果对之不敏感，即条件数不大，就称这个问题是良态的

1.3.2 算法数值稳定性

• 一个算法在执行过程中，某阶段所产生的小误差在随后的阶段中不会被积累或放大，就称这个算法过程是数值稳定的
• 否则，称这个算法过程是数值不稳定的
• 不稳定有时也叫病态

所谓严重降低计算精确度，确切地说，设由且仅由 $\varepsilon$ 引起的、$n$ 步运算之后的误差为 $e_n$：

• 如果 $\left| e_n \right| \approx cn\varepsilon$（$c$ 是与 $n$ 无关的常数），即误差是线性增长的，从而可通过 $\varepsilon$ 来控制 $e_n$，故算法是稳定的
• 如果 $\left| e_n \right| \approx k^n \left| \varepsilon \right|$（$k > 1$ 的常数），即误差是指数增长的，或者如果 $\left| e_n \right| \approx c(n!) \cdot \varepsilon$，从而无论 $\left| \varepsilon \right|$ 多么小，均难以通过 $\varepsilon$ 来控制 $e_n$，故算法是不稳定的

1.4 数值算法设计与实现

对于数值算法设计来说，主要强调以下两方面：

• 尽量简化计算步骤，减少运算次数
• 尽量减少舍入误差的影响，避免有效数字的损失，保证算法的数值稳定性
• 秦九韶算法：$n$ 次加法，$n$ 次乘法

1.5 数学分析中的几个重要概念

1.5.1 $Taylor$ 公式

• 设 $f$ 在含有点 $x_0$ 的某个开区间 $( a,b )$ 内具有 $n+1$ 阶导数，则 $\forall x \in (a,b) $，有：

$$\begin{aligned} f(x) =& f(x_0) + {f}'(x_0)(x-x_0) + \frac{f''(x_0)}{2!}(x-x_0)^2 + \\ & \cdots + \frac{f^{(n)}(x_0)}{n!}(x-x_0)^n + \frac{f^{(n+1)}(\xi )}{(n+1)!}(x-x_0)^{n+1} \end{aligned}$$

其中，$\xi$ 在 $x_0$ 与 $x$ 之间，前 $n+1$ 项称为 $n$ 次 $Taylor$ 多项式，最后一项称为 $n$ 次 $Taylor$ 多项式的余项（即截断误差）。为了方便作误差估计，有时还假定 $f$ 的 $n+1$ 阶导数连续。

1.5.2 大 $O$ 记号

定义

大 $O$ 记号是为表示近似值而允许我们用 “$=$” 号替代 “$\approx$” 的方便符号。

设变量 $X, Y$（其中 $X \neq 0$），如果在变化过程的某一时刻以后，有：

$$\left| \frac{Y}{X} \right| \leqslant M 或 \left| Y \right| \leqslant M \left| X \right|$$

（$M$ 为大于 $0$ 的常数）便记成 $Y=O(X)$。

性质

• 当 $X$ 变化到某一时刻后，$\left| O(X) \right|$ 总是不会超过 $M\left| (X) \right|$
• 大 $O$ 记号具有单向相等性，等式的右端只是左端的粗略化

运算法则

• $O(X) \pm O(X) = O(X)$
• $mO(X) = O(X)$，$m$ 为不等于 $0$ 的常数
• $O(X) \cdot O(X) = O(X^2)$
• $O(O(X)) = O(X)$

1.5.3 上确界与下确界

最大值/最小值

设 $S$ 是一个非空的实数集，$S \subset \mathbf{R}$（$\mathbf{R} \equiv \mathbf{R}^1 = (-\infty,+\infty)$ 是实数的全体），

• 如果有 $M \in \mathbf{R}$，使得：$x \leqslant M, \forall x \in S$，则称集 $S$ 上有界，$M$ 是 $S$ 的一个上界
• 如果有 $m \in \mathbf{R}$，使得：$x \geqslant m, \forall x \in S$，则称集 $S$ 下有界, $m$ 是 $S$ 的一个下界
• 如果 $S$ 上、下有界，则称 $S$ 为有界集
• 当上界 $M \in S$，则称 $M$ 是 $S$ 的最大值，记为 $M = \max S$ 或 $M = \max \limits_{x \in S} x$
• 当下界 $m \in S$，则称 $m$ 是 $S$ 的最小值，记为 $m = \min S$ 或 $m = \min \limits_{x \in S} x$

最小上界公理

• 任何有上界的非空实数集都有一个最小上界

上确界/下确界

设 $S \subset \mathbf{R}$，

• 如果 $\mu \in \mathbf{R}$ 是 $S$ 的最小上界，则称 $\mu$ 是 $S$ 的上确界（supremum），记作 $\mu = \sup S$ 或 $\mu = \sup \limits_{x \in S} x$
• 如果 $\nu \in \mathbf{R}$ 是 $S$ 的最大下界，则称 $\nu$ 是 $S$ 的下确界（infimum），记作 $\nu = \inf S$ 或 $\nu = \inf \limits_{x \in S} x$
• 当 $S$ 上无界时，规定 $\sup S = + \infty$
• 当 $S$ 下无界时，规定 $\inf S = - \infty$
• 若 $S \subset \mathbf{R}$ 上有界，则必存在上确界，但不一定存在最大值；如果 $S$ 存在最大值，则最大值就是上确界
• 若 $S \subset \mathbf{R}$ 下有界，则必存在下确界，但不一定存在最小值；如果 $S$ 存在最小值，则最小值就是下确界

1.5.4 函数序列的一致收敛性

设数列 $\left \{ x_n \right \}$，如果存在常数 $a$，对任意给定的正数 $\varepsilon$（无论它多小），总存在正整数 $N$，使得当 $n > N$ 时，有

$$\left| x_n - a \right| < \varepsilon$$

则称 $a$ 为数列 $\left \{ x_n \right \}$ 的极限，记为 $\lim \limits_{n \to \infty} x_n = a$，或称为数列 $\left \{ x_n \right \}$ 收敛于 $a$。

1.6 几种重要矩阵及相关性质

1.6.1 对称正定矩阵

定义

设 $\pmb{A} = (a_{ij}) \in \mathbf{R^{n \times n}}$

(1) 如果 $\pmb{A}^T = \pmb{A}$，即 $a^{ij} = a^{ji}$，则称 $\pmb{A}$ 为对称矩阵

(2) 如果对称矩阵 $\pmb{A}$ 满足对于 $\forall x \neq 0, x \in \mathbf{R}^{n \times n}$，有

$$x^T \pmb{A} x = \sum_{i,j=1}^{n} a_{ij}x_ix_j > 0$$

则称 $\pmb{A}$ 为对称正定矩阵

性质

对称矩阵和对称正定矩阵有如下性质：

• 若 $\pmb{A}$ 对称，则 $\pmb{A}$ 的特征值皆为实数，且有 $n$ 个线性无关的特征向量
• $\pmb{A} \in \mathbf{R}^{n \times n}$ 对称正定的充要条件是 $\pmb{A}$ 的所有顺序主子式

$$\Delta_i = \det A_i = \begin{vmatrix} a_{11} &\cdots &a_{1i} \\ \vdots & &\vdots \\ a_{1i} &\cdots &a_{ii} \end{vmatrix} > 0 \quad (i=1,2,\cdots,n)$$

• $\pmb{A}$ 对称正定的充要条件是 $\pmb{A}$ 的所有特征值 $\lambda^i > 0 \quad (i=1,2,\cdots,n)$
• $\pmb{A}$ 对称正定，则 $\pmb{A}$ 非奇异，且 $\pmb{A}^{-1}$ 也对称正定
• $\pmb{A}$ 对称正定，则 $\pmb{A}$ 的对角元素 $a_{ij} > 0$

1.6.2 正交矩阵/相似矩阵

正交矩阵定义

设 $\pmb{A} = (a_{ij}) \in \mathbf{R^{n \times n}}$ 且成立 $\pmb{A}^T \pmb{A} = I$，则称 $\pmb{A}$ 为正交矩阵。

定义式 $\pmb{A}^T \pmb{A} = I$ 可以写成：

$$\sum_{k=1}^n a_{ki}a_{kj} = \delta_{ij} \quad (i,j=1,2,\cdots,n)$$

其中，

$$\delta_{ij}=\begin{cases} 1, & \text{当$ i = j $}\\ 0, & \text{当$ i \neq j $} \end{cases}$$

称为 $Kronecker$（克罗内克尔）符号。

正交矩阵性质

正交矩阵有如下性质：

• 单位矩阵是正交矩阵
• 若 $\pmb{A}$ 是正交矩阵，则 $\pmb{A}^T$、$\pmb{A}^{-1}$ 也是正交矩阵
• 若 $\pmb{A}$ 是正交矩阵，则 $\pmb{A}$ 非奇异，且 $(\det \pmb{A})^2 = 1$，即 $\det \pmb{A}$ 等于 $1$ 或 $-1$
• 若 $\pmb{A},\pmb{B}$ 同阶且为正交矩阵，则 $\pmb{A}\pmb{B}$ 与 $\pmb{B}\pmb{A}$ 为正交矩阵

相似矩阵定义

设 $\pmb{A}$ 与 $\pmb{B}$ 为 $n$ 阶方阵，如果有非奇异的 $n$ 阶方阵 $\pmb{S}$，使得

$$\pmb{A} = \pmb{S}^{-1}\pmb{B}\pmb{S}$$

则称 $\pmb{A}$ 与 $\pmb{B}$ 相似，记作 $\pmb{A} \sim \pmb{B}$

相似矩阵性质

矩阵相似关系有如下三个性质：

• 反身性：$\pmb{A} \sim \pmb{A}$
• 对称性：$\pmb{A} \sim \pmb{B} \Rightarrow \pmb{B} \sim \pmb{A}$
• 传递性：$\pmb{A} \sim \pmb{B}, \pmb{B} \sim \pmb{C} \Rightarrow \pmb{A} \sim \pmb{C}$

应用中，常常不是判断两个矩阵是否相似，而是对给定的矩阵 $\pmb{B}$，寻找合适的可逆矩阵 $\pmb{S}$ 按 $\pmb{A} = \pmb{S}^{-1}\pmb{B}\pmb{S}$ 来产生一个矩阵 $\pmb{A}$。

• 矩阵的相似变换：对一个矩阵两边分别乘以某可逆矩阵及其逆
• 矩阵的正交表换：对给定矩阵利用正交矩阵作相似变换

1.6.3 初等矩阵与初等变换

初等矩阵

下面三种形式的 $n$ 阶矩阵称为初等矩阵：

• $\pmb{E}(i,j)$
• $\pmb{E}(i(\alpha))$
• $\pmb{E}(i,j(\alpha))$

初等矩阵性质

• $\pmb{E}(i,j)^{-1}=\pmb{E}(i,j)$
• $\pmb{E}(i(\alpha))^{-1}=\pmb{E}(i(\frac{1}{\alpha}))$
• $\pmb{E}(i,j(\alpha))^{-1}=\pmb{E}(i,j(-\alpha))$

1.6.4 矩阵特征值/矩阵谱半径

矩阵特征值定义

设 $\pmb{A}=(a_{ij}) \in \mathbf{R}^{n \times n}$。若存在一个数 $\lambda$（实数或复数）和非零向量 $\pmb{x}=(x_1,x_2,\cdots,x_n)^T \in \mathbf{R}^n$，使得：

$$\pmb{A}\pmb{x}=\lambda\pmb{x}$$

则称 $\lambda$ 为 $\pmb{A}$ 的特征值，$\pmb{x}$ 为 $\pmb{A}$ 对应 $\lambda$ 的特征向量。

矩阵特征值求解

应用中主要对给定的 $\pmb{A}$ 求其特征值 $\lambda$，为此将定义式改写为齐次方程 $(\lambda\pmb{I} - \pmb{A})\pmb{x}=0$，即

$$\begin{aligned} \pmb{p}(\lambda) = \det(\lambda\pmb{I}-\pmb{A}) &=\begin{vmatrix} \lambda-a_{11} &-a_{12} &\cdots &-a_{1n} \\ -a_{21} &\lambda-a_{22} &\cdots &-a_{2n} \\ \vdots &\vdots & &\vdots \\ -a_{n1} &-a_{n2} &\cdots &\lambda-a_{nn} \end{vmatrix} \\ &= \lambda^n+c_1 \lambda^{n-1}+\cdots+c_{n-1}\lambda+c_n \\ &=0 \end{aligned}$$

• $\pmb{p}(\lambda)$ 称为 $\pmb{A}$ 的特征多项式
• $\pmb{p}(\lambda)=0$ 称为相应的特征方程
• 在复数域内有 $n$ 个根即为 $n$ 个特征值
• 求 $\pmb{A}$ 的特征值即为求 $\pmb{A}$ 的特征方程的根

矩阵谱半径定义

设 $\pmb{A} \in \mathbf{R}^{n \times n}$，$\pmb{A}$ 的特征值 $\lambda_1,\lambda_2,\cdots,\lambda_n$，则有：

• $\pmb{A}$ 的全体特征值 $\left \{ \lambda_1,\lambda_2,\cdots,\lambda_n \right \}$ 称为 $\pmb{A}$ 的谱
• 这些特征值的模的最大值 $\max\limits_{1\leqslant i\leqslant n}\left| \lambda_i \right|$ 称为 $\pmb{A}$ 的谱半径，记为 $\rho(A)$，即

$$\rho(A) = \max\limits_{1\leqslant i\leqslant n}\left| \lambda_i \right|$$

矩阵特征值性质

• 若 $\pmb{A} \in \mathbf{R}^{n \times n}$ 是对称矩阵，则 $\pmb{A}$ 的特征值均为实数，且有 $n$ 个线性无关的特征向量
• $\pmb{A} \in \mathbf{R}^{n \times n}$ 对称正定的充要条件是 $\pmb{A}$ 的所有特征值 $\lambda_i > 0$，$(i=1,2,\cdots,n)$
• 若 $\lambda_1,\lambda_2,\cdots,\lambda_m$ 是矩阵 $\pmb{A}$ 的单重特征值，$\pmb{x}_1,\pmb{x}_2,\cdots,\pmb{x}_m$ 依次是相应的特征向量，则 $\pmb{x}_1,\pmb{x}_2,\cdots,\pmb{x}_m$ 线性无关
• 相似矩阵有相同的特征多项式，因而也有相同的特征值

1.7 线性空间概要

1.7.1 线性空间

• $\pmb{R}^n$：$n$ 维实向量的全体
• $\pmb{R}^{n \times m}$：$n$ 行 $m$ 列实矩阵的全体
• $C[a,b]$：定义在区间 $[a,b]$ 上连续实值函数的全体
• $P_n[a,b]$：定义在区间 $[a,b]$ 上次数 $\leqslant n$ 的实系数多项式全体
• $C^n[a,b]$：定义在区间 $[a,b]$ 上的具有连续 $n$ 阶导数的实值函数全体

线性相关

对数域 $K$ 上的线性空间 $X$，有 $u_1, u_2, \cdots, u_n \in X$，若存在不全为零的数 $\alpha_1, \alpha_2, \cdots, \alpha_n \in K$，使得下列等式成立：

$$\alpha_1 u_1 + \alpha_2 u_2 + \cdots + \alpha_n u_n = 0$$

则称 $u_1, u_2, \cdots, u_n$ 是线性相关的，否则，等式只对 $\alpha_1 = \alpha_2 = \cdots = \alpha_n = 0$ 才能成立，则称 $u_1, u_2, \cdots, u_n$ 是线性无关的。

基、维数、坐标

称 $S$ 是由线性空间 $X$ 中的 $n$ 个线性无关元素 $u_1, u_2, \cdots, u_n \in X$生成的，即 $\forall s \in S$，都有：

$$s = \alpha_1 u_1 + \alpha_2 u_2 + \cdots + \alpha_n u_n$$

• 记 $S = Span \left \{ u_1, u_2, \cdots, u_n \right \}$
• 称 $u_1, u_2, \cdots, u_n$ 是 $S$ 的一组基
• 称 $S$ 是 $n$ 维的
• 系数 $\alpha_1, \alpha_2, \cdots, \alpha_n$ 称为 $S$ 在基 $u_1, u_2, \cdots, u_n$ 下的坐标，并记为 $(\alpha_1, \alpha_2, \cdots, \alpha_n)$

1.7.2 范数/赋范线性空间

设 $X$ 是数域 $K$ 上的线性空间，若 $\forall u \in X$，存在唯一的实数 $\| \cdot \|$，满足条件：

• 正定性：$\| u \| \geqslant 0$，其中 $\| u \| = 0$ 当且仅当 $u = 0$
• 齐次性：$\| \alpha u \| = | \alpha | \| u \|, \forall \alpha \in K$
• 三角不等式：$\| u + v \| \leqslant \| u \| + \| v \|$

则称 $\| \cdot \|$ 为线性空间 $X$ 上的范数，并且称 $X$ 为赋范线性空间，仍记为 $X$

对于连续函数空间 $C[a,b]$，可以定义 $f \in C[a,b]$ 的如下两种范数：

• $\infty$-范数：$\| f \|_{\infty} = \max \limits_{a \leqslant x \leqslant b} |f(x)|$
• $1$ - 范数：$\| f \|_1 = \int_{a}^{b} |f(x)|dx$

以及稍后在内积空间中还要定义：

• $2$ - 范数：$\| f \|_2 = \left [ \int_a^b{f^2 (x) dx} \right ]^{\frac{1}{2}}$

1.7.3 内积/内积空间

内积：线性空间 $\pmb{R}^n$ 中，任意两个向量 $\pmb{x},\pmb{y}$ 的数量积，记为 $(\pmb{x},\pmb{y})$：

$$\begin{aligned} (\pmb{x},\pmb{y}) &= x_1y_1 + x_2y_2 + \cdots + x_ny_n \\ &= \sum \limits_{i=1}^n x_iy_i \\ &= \pmb{x}^T \pmb{y} \end{aligned}$$

内积空间：设 $X$ 是数域 $K$（如实数域 $\pmb{R}$ 或复数域 $\pmb{C}$）上的线性空间，若对 $\forall u,v \in X$，有 $K$ 中一个数与之对应，记为 $(u,v)$，且满足条件：

1. $(u,u) \geqslant 0$，其中 $(u,u) = 0 \Leftrightarrow u = 0$
2. $(u,v) = \overline{(v,u)}$，$\overline{(v,u)}$ 为 $(v,u)$ 的共轭
3. $(\alpha u,v)=\alpha(u,v), \alpha \in K$
4. $(u + v, \omega) = (u,\omega) + (v,\omega),\omega \in X$

则 $(u,v)$ 称为 $u$ 与 $v$ 的内积，定义了内积的线性空间 $X$ 称为 内积空间

正交：设 $X$ 为内积空间，若对任意的 $u,v \in X$，有：

$$(u,v) = 0$$

则称 $u$ 与 $v$ 正交。

1.9 向量范数/矩阵范数

1.9.1 向量范数

设向量 $\pmb{x} \in \pmb{R}^n$，若与 $\pmb{x}$ 对应的一个实值函数 $\| \pmb{x} \|$ 满足：

• 正定性：$\| \pmb{x} \geqslant 0 \|$，其中 $\| \pmb{x} \|=0$ 当且仅当 $\pmb{x}=0$
• 齐次性：$\| \alpha \pmb{x} \| = |\alpha| \| \pmb{x} \|,\forall \alpha \in \pmb{R}$
• 三角不等式：$\| \pmb{x} + \pmb{y} \| \leqslant \| \pmb{x} \| + \| \pmb{y} \|, \forall \pmb{x},\pmb{y} \in \pmb{R}^n$

则称 $\| \pmb{x} \|$ 为 $\pmb{R}^n$ 上 $\pmb{x}$ 的一个向量范数。

3 种常用的向量范数

• $1$ - 范数：$\| \pmb{x} \|_1 = \sum \limits_{i=1}^n| \pmb{x}_i |$
• $\infty$-范数：$\| \pmb{x} \|_{\infty} = \max \limits_{1 \leqslant i \leqslant n} |x_i|$
• $2$ - 范数：$\| \pmb{x} \|_2 = \sqrt{\sum \limits_{i=1}^n \pmb{x}_i^2 }$

或一般地定义

• $p$ - 范数：$\| \pmb{x} \|_p = (\sum \limits_{i=1}^n|x_i|^p)^{\frac{1}{p}},\forall p \in [1,+ \infty)$

向量范数基本性质

• 连续性：设 $\pmb{x} = (x_1,x_2,\cdots,x_n)^T \in \pmb{R}^n$，其范数 $\|\pmb{x}\|$ 是 $\pmb{x}$ 的分量 $x_1,x_2,\cdots,x_n$ 的 $n$ 元连续函数
• 等价性：设 $\|\pmb{x}\|_r$ 和 $\|\pmb{x}\|_s$ 为 $ \pmb{R}^n$ 上任意两种范数，则存在常数 $m,M>0$，使得：

$$m \|\pmb{x}\|_r \leqslant \|\pmb{x}\|_s \leqslant M \|\pmb{x}\|_r, \quad \forall \pmb{x} \in \pmb{R}^n$$

• 按范数收敛性：设向量序列 $\left\{ \pmb{x}^{(k)} \right\}$ 收敛于向量 $\pmb{x}^{*}$，即 $\lim \limits_{k \to \infty} \pmb{x}^{(k)} = \pmb{x}^{*}$，则等价于：

$$\lim \limits_{k \to \infty} \| \pmb{x}^{(k)} - \pmb{x}^{*} \| = 0$$

• 其中，$\| \cdot \|$ 为向量的任一种范数，并称向量序列 $\left\{ \pmb{x}^{(k)} \right\}$ 按该函数收敛于向量 $\pmb{x}^*$。

1.9.2 矩阵范数

设矩阵 $\pmb{A} \in \pmb{R}^{n \times n}$，若与 $\pmb{A}$ 对应的一个实值函数 $\| A \|$ 满足：

• 正定性：$\| \pmb{A} \| \geqslant 0$，其中 $\| \pmb{A} \| = 0 \Leftrightarrow \pmb{A} = 0$
• 齐次性：$\| \alpha \pmb{A} \| = |\alpha| \|\pmb{A}\|, \forall \alpha \in \pmb{R}$
• 三角不等式：$\| \pmb{A} + \pmb{B} \| \leqslant \| \pmb{A} \| + \| \pmb{B} \|, \forall \pmb{A},\pmb{B} \in \pmb{R}^{n \times n}$
• 相容性：$\| \pmb{A} \pmb{B} \| \leqslant \| \pmb{A} \| \| \pmb{B} \|, \forall \pmb{A},\pmb{B} \in \pmb{R}^{n \times n}$

则称 $\| \pmb{A} \|$ 为 $\pmb{R}^{n \times n}$ 上 $\pmb{A}$ 的一个矩阵范数。

几种常用的矩阵范数

• $F$ 范数（$Frobenius$）：$\| \pmb{A} \|_F = [\sum \limits_{i=1}^n(\sum \limits_{j=1}^n a_{ij}^2)]^{\frac{1}{2}}$
• 行范数：$\| \pmb{A} \|_{\infty} = \max \limits_{1 \leqslant i \leqslant n} \sum \limits_{j=1}^n | a_{ij} |$
• 列范数：$\| \pmb{A} \|_{1} = \max \limits_{1 \leqslant j \leqslant n} \sum \limits_{i=1}^n | a_{ij} |$
• $2$-范数：$\| \pmb{A} \|_{2} = \sqrt{\rho (\pmb{A}^T\pmb{A})}$，其中 $\rho (\pmb{A}^T\pmb{A})$ 为 $\pmb{A}^T\pmb{A}$ 的谱半径

当 $\pmb{A}$ 是对称矩阵时，有：

$$\begin{aligned} \| \pmb{A} \|_{2} = \sqrt{\rho (\pmb{A}^T\pmb{A})} &= \sqrt{\lambda_{\max} (\pmb{A}^T\pmb{A})} \\ &= \sqrt{\lambda_{\max} (\pmb{A}^2)} \\ &= \sqrt{\lambda_{\max}^2 (\pmb{A})} \\ &= \rho (\pmb{A}) \end{aligned}$$

参考文章

1. 向量范数和矩阵范数 | 博客园

🚩推荐阅读（由hexo文章推荐插件驱动）

• Linux 内核笔记 1：绪论
• Java 笔记 5：集合
• Java 笔记 6：异常、断言和日志
• 5 分钟 Docker 笔记 5：存储
• 读书ing
• 影响力