从向量到子空间上的投影到最小二乘逼近

对于一个mxn的非齐次线性方程组Ax=b而言，他可能有解，也可能没有解。如果A中各列通过线性组合可以得到b, 或者说b在A的列空间中，则方程组有解，即方程组相容。反之，则方程组不相容，无解或者说有无穷多解。

如果方程组的数量m大于方程组的未知数n，尤其是对于m(m>1)个一元方程组Ax=b而言，很有可能会出现方程组不相容/无解的情况。

例如下面的这个方程组：

这个方程组要想有解，就必须要满足b在A的列空间中，即b可由A中的列向量[2，3，4]通过线性组合得到。也就是当且仅当b满足b1:b2:b3=2:3:4的比例关系，方程组x才有解，且是唯一解。

在我们的实际工作中，会有很多类似于上面这种方程组m的数量远大于n的情况。这些方程组Ax=b虽然无解，但又必须要解。一种办法是舍去方程组中的部分方程，用剩下的方程求x。比如说上面的这个方程组，如果我们基于这些数据的背景和原理，我们猜测第二个方程的b2，可能是个错误的数据。则，我们就可以舍去第二个方程，用第一和第三个方程去计算。

比如说，上述的三个方程中的未知数x表示的是一斤苹果的售价，b1,b2,b3分别表示购买了2斤，3斤和4斤苹果花了多少钱。假定我们得到了以下数据：

通过观察，我们猜测，第二个方程组3个苹果的总价似乎不那么合理。因为，苹果的单价为一个定值，随着我购买苹果的数量越来越多，那么苹果的总价应该越来越高。而第二个方程就明显不符合我们的预期。而且，如果我们稍微看一下第一和第三个方程，就能发现他们算出来的单价基本上都是在6元/斤左右，但第二行的算出来，似乎太便宜了。

因此，我们在求解这个方程组时，可以保留方程1,3，去掉方程2。最终得到一斤苹果的价格约等于(12.7/2+23.9/4)/2=6.125。

对于一些简单的问题和方程组的数量很少的情况下，我们可以试着用上面的方法去找到x的非精确解x _hat 。且，这一方法也不一定适用于其他情况。对于更多的，更加普遍的，无解的mxn方程组，人们找到一种更好的，更加科学的解法，即最小二乘法。他在不舍弃任何一个方程(绝大多数情况下)的前提下，把x_hat分别代入m个方程中，能够尽可能的保证每个方程左右两边的误差都尽可能的小，即保证m个方程的整体误差最小。还是以本文开始处的方程为例，最小二乘算法的目的是要最小化方程左右两边误差的平方和：

如若方程组Ax=b有解，则上述整体误差=0，。如果b与a不成比例，方程无解，就需要通过最小二乘的方法，找到一个非精确解x_hat,他使得的整体误差最小。这样一来，我们的问题就变成了，求出能够令函数f(x)=min()最小化的x_hat。

根据微积分的知识，我们知道，一个函数的极大/小值往往出现在斜率为0处（即停在某处不变了，一般都是函数图像中的波峰或者波谷)，即原函数的导数等于0的地方。

进一步化简后有:

然后，我们再基于该函数的二阶导数，来确定当前点的极值，究竟是极大值还是极小值。因为，函数二阶导表示的是原函数变化率的变化率，若函数在此处的一阶导为0，而一阶导的变化率(即，二阶导)为正，说明原函数的变化率从这个点开始往后走在增大，因此，这个点一定是最小值。反之，一阶导为0，二阶导为负，说明这个从这个点开始往后走在减小，因此，这个点是最大值。

例如：

原函数为：1 2 3 3 2 1

一阶导为： 1 1 0 -1 -1

二阶导为： 0 -1 -1 0

或

原函数为：1 2 3 2 1

一阶导为： 1 1 -1 -1

二阶导为： 0 -2 0

对于本例而言，的二阶导数等于58，是一个正数。说明前面我们求出来的极值点是一个极小值点，也正是我们需要的非精确解x_hat：

这个答案非常的完美!马上我们就能看到，他把我们通过微积分的知识求出来的，能够令最小的非精确解x_hat和线性代数联系到一起了。注意看，x_hat的上半部分"2+3+4"是什么，(如果我们把原方程组看成ax=b的话，其中列向量a=[2 3 4]',列向量b=[ ]') 不就正是吗？！

而x_hat的下半部分""，不也正是吗？！

这样一来，前面通过微积分的知识求得的非精确解x_hat就变成了：

这不就是在线性代数中非常熟悉，且十分重要的投影系数x_hat吗？(投影系数，指的就是向量a上的投影向量p的长度与向量a自身长度的一个比例)

这也就是说，就本例而言，方程组的最小二乘解x_hat，就是线性代数中，求一个任意向量b在向量a上的投影向量p时，所求的投影系数。毕竟，投影向量p只不过是方向与a相同，大小与a成一定比例(这个比例就是投影系数x_hat)的一个向量。

一般的，对于任何单一未知数，m(m>1)个方程的一元一次方程组:

或

基于微积分的知识，m个方程左右两边误差的平方和为：

同样，为了最小化，找到令他的一阶导数为0的最小二乘解x_hat：

通过他的二阶导数,判断这个一阶导数为0的极值点是否为最小值，得到：

只要a0，则他的二阶导数一定是一个正数，因此，令他的一阶导数为0的最小二乘解x_hat所对应的，一定是一个最小值。

求解一阶导数的方程得到：

小结：对于a0，且m>1的，一元一次方程组，他的最小二乘解为x_hat：

此外，令系数向量a和等式右端向量b分别为：

和

上述m个一元一次方程组，就可以用矩阵的形式表示成ax=b或ax-b=0。

如果我们结合线性代数的知识"向量的长度"，仔细审视一下通过微积分的知识得到的方程的右边。可以发现，他不是别的，正好是向量ax-b的长度的平方，即：

这样一来，利用线性代数中"向量的长度"的知识，得到等于：

以下，分割线所包含的内容可跳过，仅作为参考：

在很多教材中，

（全文完）

作者 --- 松下J27

参考文献(鸣谢)：

1，线性代数及其应用，侯自新，南开大学出版社，1990.

2，Linear Algebra and Its Applications(Fourth Edition) - Gilbert Strang

3，Introduction to Linear Algebra，Fifth Edition - Gilbert Strang

格言摘抄：

（配图与本文无关）

版权声明：所有的笔记，可能来自很多不同的网站和说明，在此没法一一列出，如有侵权，请告知，立即删除。欢迎大家转载，但是，如果有人引用或者COPY我的文章，必须在你的文章中注明你所使用的图片或者文字来自于我的文章，否则，侵权必究。 ----松下J27