揭秘：最小二乘法的重要特性

学过统计学的同学，深知最小二乘法是线性回归的基础，也是从描述统计到统计推断的必经之路。今天我们一起从线性代数的求解过程中，揭秘最小二乘法的重要特性。

一，实践出真知

光说不练假把戏，我们从实战中出，如下图，在坐标系中已知点：b1 (1,1)、b2 (2,2)、b3 (3,2)。求出最优线性方程解，即C、D的值。

我们知道最优解即方差值最小，假设最优的回归方程上有3个完美拟合点：p1、p2、p3 (横坐标值与实际值一致)。

可以得到方差的表达式子

方差最小值的即C、D的偏导等于0。求解过程如下，我们求得：C=4/6、D=3/6。

∑i=niei

二，线性空间求解

我们这点几何代数是对方程求解的更深层次的抽象，是我们能够快速完成更高维的计算求解，同时这种计算能力也在计算机上发挥的淋漓尽致。

最小二乘法的求解的最优回归方程，可以抽象为 线在矩阵空间A的投影，误差可以理解为在A转置的零空间上的投影。

通过线性代数，我们可以矩阵投影降维，快速计算出C、D的最优解，找出最优的线性方程。求解过程如下。

我们可以惊奇的发现，矩阵投影求出解 与 最小方差偏导 求解的方程式一致。

三，发现特性

在坐标系中已知点：b1 (1,1)、b2 (2,2)、b3 (3,2)。求出最优线性方程解，即C=4/6、D=3/6。

即方程：y = 4/6+3/6*x 同时最优的点 p1 (1,7/6)、p2 (2,10/6)、p3 (3,13/6)。

误差e= {e1,e2,e3} = {-1/6, 2/6, -1/6}， 可以得出 p+e = b (即在空间中 向量p + 向量e 等于向量b)。

细心探索我们也可以发现：投影p与投影e垂直，投影p与投影e的点积为0，投影e 垂直于A的所有列空间。

注：A乘A的转置为可逆矩阵，零空间即0向量。