最小二乘法

发布时间：2025-10-30 | 来源：互联网转载和整理

一、最小二乘法简介

最小二乘法是一种用于寻找数据最佳拟合线或曲线的方法。它的核心思想是，通过最小化观测数据点与拟合线（或曲线）之间的垂直距离的平方和，来确定最佳拟合的参数。

想象一组散点数据，你想要找到一条直线或曲线，使得所有这些点到这条线（或曲线）的距离之和的平方尽可能小。最小二乘法就是为了找到这条线（或曲线），使得这个距离之和的平方最小。

这个方法在很多领域都有应用，比如统计学、机器学习和工程。通过数学计算，你可以找到最小二乘法的解析解，确定最佳拟合线的斜率和截距（如果是线性拟合的话），或者更复杂的参数（如果是多项式或非线性拟合）。

总体而言最小二乘法是一种寻找最佳拟合模型的数学方法，通过最小化数据点与拟合模型之间的误差来找到最优解。

二、公式及分析

最小二乘法的基本公式是用于线性回归的。在简单线性回归中，我们试图拟合一个线性模型y=mx+b来最好地描述数据。

假设我们有n个数据点，表示为(x_i,y_i)，其中i是数据点的索引。我们的目标是找到最佳的斜率m和截距b，使得拟合线与数据点的误差平方和最小。

拟合的线性模型的预测值为{y}_i=mx_i+b。数据点y_i和预测值{y}_i之间的误差是e_i=y_i-{y}_i。

最小二乘法的目标是最小化所有数据点的误差平方和：

为了找到最小化误差平方和的解析解，我们对误差平方和关于参数m和b分别求导数，并令导数等于零，然后解这个方程组。这样可以得到最佳的斜率m和截距b的估计值。

最终得到的解析解公式为：

这些公式通过对误差平方和进行求导，然后将导数等于零解方程得到。它们给出了最小二乘法用于简单线性回归的斜率和截距的估计值。

三、公式由来

当使用最小二乘法解决简单线性回归时，我们希望最小化误差平方和：

其中S是误差平方和，n是数据点的数量，(x_i,y_i)是每个数据点的坐标，m是斜率，b是截距。

要找到最小化S的m和b，我们分别对S关于m和b求偏导数，并令偏导数等于零。

首先对S求关于m的偏导数：

接下来对S求关于b的偏导数：

然后令这些偏导数等于零，然后解方程组来找到最优的m和b值。这些导数为零的方程将帮助我们找到最小化误差平方和的斜率和截距的估计值。