最小二乘拟合、法方程的矩阵形式

《应用数值分析》
《应用数值分析》

目录

3. 曲线拟合/连续函数逼近

3.1 拟合问题与逼近问题

  • 最小二乘拟合问题实际上就是针对已知的离散数据的平方逼近问题
  • 插值问题就是针对已知的离散函数点，要求以插值函数在离散点的值与已知离散点的函数值相等为逼近标准的逼近问题

3.2 曲线拟合的（线性）最小二乘法

3.2.1 最小二乘拟合问题的提法

设 $f$ 是在 $m+1$ 个节点 $x_j\in [a,b]$ 上给定的离散函数，即给定离散数据

要在某个指定空间 $\Phi$ 中，找出一个函数 作为 $f$ 的近似的连续模型，要求 在 $x_j$ 处的值 与 $f(x_j)$ 的误差

的平方和最小，即记 $\pmb{\delta}=(\delta_0,\delta_1,\cdots,\delta_m)^T$，有

或为了体现数据的重要性不同，引入对应 $[a,b]$ 上不同点 $x_j$ 的权函数值 $\rho(x_j)>0$，从而将上式改写成更一般的带权形式

这就是最小二乘拟合问题，$s^*(x)$ 称为 $f$ 在 $m+1$ 个节点 $x_j \ (j=0,1,\cdots,m)$ 上的最小二乘解，或称为拟合曲线或经验公式或回归线。

通常，在简单情形下，选择 $\Phi$ 为多项式空间（或其子空间），$\Phi = P_n = Span\{1,x,\cdots,x^n\}$，这时，若 $s(x) \in P_n$，则 $s(x)$ 的形式为

在一般情形下，选择 $\Phi$ 为线性空间 $\Phi = Span\{ \varphi_0(x),\varphi_1(x),\cdots,\varphi_n(x) \}$，其中 $\varphi_i(x)$ 是 $[a,b]$ 上已知的线性无关组，这时，若 $s(x)\in \Phi$，则有

两式中关于待定参数（也称回归系数）$a_0,a_1,\cdots,a_n$ 都是一次的，所以 $s(x)$ 是一种线性模型，而上述问题称为线性最小二乘拟合。

3.2.2 最小二乘解的解法：法方程

法方程及平方误差

法方程（组）或正则方程（组）可表示如下：

对 的误差估计，可使用平方误差：

或均方误差：

其中，平方误差还可导出另一种表示形式：

这种表示的优点是，计算平方误差时可以直接利用求解法方程过程中的信息，而无需调用计算 $s^*(x)$ 的子程序。

求最小二乘拟合曲线的主要步骤

根据已知数据求最小二乘拟合曲线有两个主要步骤：

  • 选定拟合模型的形式，即选定空间 $\Phi$ 的基函数 $\varphi_0,\varphi_1,\cdots,\varphi_n$
  • 求最小二乘解 $s^*(x)$，即求出拟合曲线，它转化为求解相应的法方程

二次多项式模型及权函数 $\rho_j \equiv 1$ 时对应的法方程

3.3 最小二乘的相关问题及例

3.3.1 指数模型与双曲线模型的线性化拟合

1. 指数模型：$s(x)=ae^{bx}$

对模型 $s(x)=ae^{bx}$，两边取对数

令 $Y=\ln{s(x)}$，$A=\ln{a}$，则上式为

并将原数据变化为 $(x_j,\ln{f(x_j)})$

2. 指数模型：$s(x)=ae^{\frac{b}{x}}$

对模型 $s(x)=ae^{\frac{b}{x}}$，两边取对数

令 $Y=\ln{s(x)}$，$A=\ln{a}$，$X=\displaystyle{\frac{1}{x}}$，则上式为

并将原数据变化为 $(\displaystyle{\frac{1}{x_j}},\ln{f(x_j)})$

3. 对数模型：$s(x)=\displaystyle{\frac{1}{a+bx}}$

对模型 $s(x)=\displaystyle{\frac{1}{a+bx}}$，取倒数为 $\displaystyle{\frac{1}{s(x)}}=a+bx$。令 $Y=\displaystyle{\frac{1}{s(x)}}$ ，即有一次拟合模型

并将原数据变化为 $\left( x_j, \displaystyle{\frac{1}{f(x_j)}} \right)$

4. 对数模型：$s(x)=\displaystyle{\frac{x}{ax+b}}$

对模型 $s(x)=\displaystyle{\frac{x}{ax+b}}$，取倒数为 $\displaystyle{\frac{1}{s(x)}}=a+b\displaystyle{\frac{1}{x}}$。令 $Y=\displaystyle{\frac{1}{s(x)}}$，$X=\displaystyle{\frac{1}{x}}$，即有一次拟合模型

并将原数据变化为 $\left( \displaystyle{\frac{1}{x_j}}, \displaystyle{\frac{1}{f(x_j)}} \right)$

3.3.2 算术平均：最小二乘意义下误差最小

  • 取算术平均值是在最小二乘意义下误差达到最小

3.3.3 超定方程组（矛盾方程组）的最小二乘解

超定方程组（或称矛盾方程组）即独立方程个数多余未知数个数的方程组，解超定方程组的一种方法是采用最小二乘原理求其近似解。

例如求下列超定方程组的近似解：

显然，如果方程组中每个方程的左、右两端不相等而是近似，则相差越小，方程组近似解越精确。为此，记各方程左、右两端之差（即误差）为：

按最小二乘原理，作误差平方和：

求最小值，即令

化简得法方程

解之得超定方程组的近似解 ，，它们也称为超定方程的最小二乘解。

3.3.4 法方程的矩阵形式

一般的，若对数据 $(x_j,f_j),j=0,1,\cdots,m$，取最小二乘拟合模型为

并引入矩阵 $\pmb{A}$

向量 $\pmb{\alpha}=(a_0,a_1,\cdots,a_n)^T$，$\pmb{d}=(f_0,f_1,\cdots,f_m)^T$，则求最小二乘解的法方程的矩阵形式为