什么是线性回归

假设我们现在要预测房价，我们现在采样了一些数据：

横坐标为房屋面积，纵坐标为房屋价格。根据该图，我们大致可以看出，房屋价格和房屋面积是成线性增长的。

此时，我们就可以绘制出一条直线：

通过这条直线，我们就可以大概预测出，125平的房价是多少了。我们画这条线的依据为：尽可能让每个点回归到这条直线上。

这就是线性回归。而机器学习学的就是如何绘制出这条直线

简单线性回归

上面的例子中，我们的特征只有一个（房屋面积），这样我们就可以在二维平面中观察，如果是两个特征，就需要在三维平面观察。如果超过2个特征，就没办观察了。对于这种只有一个特征的线性回归问题，称为简单线性回归。相应的，高纬的称为多元线性回归。

首先，要熟悉一下相应的数学符号为：

预测的直线，使用 $y=ax+b$ 表示。预测值使用 ${\hat{y}}^{(i)}$ 表示，读作y hat。$i$ 表示这是第 $i$ 个数据。对于 $x^{(i)}$ 对应的真值，使用 $y^{(i)}$ 表示。

要预测出该线性方程，本质是要预测出 $a$ 和 $b$ 的值。 公式如下：

$$\begin{array}{rl}& a=\frac{{\sum }_{i=1}^m(x^{(i)}-\bar{x})(y^{(i)}-\bar{y})}{{\sum }_{i=1}^m(x^{(i)}-\bar{x}{)}^2}\\ & \\ & \\ & b=\bar{y}-a\bar{x}\end{array}$$

其中，$m$ 为样本数量，$x^{(i)}$ 为第 $i$ 个样本的特征值。 $\bar{x}$ 和 $\bar{y}$ 横纵坐标的平均值

如何预测线性回归方程呢？

思路为：找出一条直线，使得每个点的真值与预测值之间的距离之和最小

假设最佳拟合的直线方程为：
$$y=ax+b$$

则对于每一个样本 $x^{(i)}$ ，它的预测值 ${\hat{y}}^{(i)}$ 为
$${\hat{y}}^{(i)}=a{x}^{(i)}+b$$

那该预测值和真值之间的距离则为：
$$y^{(i)}-{\hat{y}}^{(i)}$$
为了消除负号，且便于求导，对其进行平方：
$$(y^{(i)}-{\hat{y}}^{(i)}{)}^2$$

对所有n个样本样本进行求和，则为：
$$\sum _{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^2$$

其中 ${\hat{y}}^{(i)}=a{x}^{(i)}+b$ ，将其带入上式，得：
$$f(a,b)=\sum _{i=1}^m(y^{(i)}-a{x}^{(i)}-b{)}^2$$

我们的目标是，让上式尽可能的小。对于这种使其尽可能小，最终推理出参数的函数，称为损失函数（loss function）

$b$ 的推导过程

我们知道，当 $f^{\prime }(x)=0，f^{\prime \prime }(x)>0$ ， 函数取极小值。简单起见，我们首先来求 $b$，注意，此时 $b$ 为未知数，所以其他都是常数，所以求导也是对 b 求：
$$\begin{array}{rl}& f(b)=\sum _{i=1}^m(y^{(i)}-a{x}^{(i)}-b{)}^2\\ & \\ & f^{\prime }(b)=(-2)\sum _{i=1}^m(y^{(i)}-a{x}^{(i)}-b)\\ & \\ & f^{\prime \prime }(b)=2m>0\\ & \end{array}$$

令 f’(b) = 0 ，得
$$\begin{array}{rl}& (-2)\sum _{i=1}^m(y^{(i)}-a{x}^{(i)}-b)=0\\ & \\ & m\cdot b=\sum _{i=1}^m{y}^{(i)}-a\sum _{i=1}^m{x}^{(i)}\\ & \\ & b=\bar{y}-a\bar{x}\end{array}$$

又因为 $f^{\prime \prime }(b)>0$，所以当 $b=\bar{y}-a\bar{x}$ 时，$f(b)$ 取最小值

$a$ 的推导过程

与b类似，稍显复杂：

$$\begin{array}{rl}& f(a)=\sum _{i=1}^m(y^{(i)}-a{x}^{(i)}-b{)}^2\\ & \\ & f^{\prime }(a)=-2\sum _{i=1}^m{x}^{(i)}(y^{(i)}-a{x}^{(i)}-b)\\ & \\ & f^{\prime \prime }(a)=2\sum _{i=1}^m(x^{(i)}{)}^2>0\end{array}$$

令 $f^{\prime }(a)=0$ ，得：
$$\begin{array}{r}-2\sum _{i=1}^m{x}^{(i)}(y^{(i)}-a{x}^{(i)}-b)=0\\ \\ \sum _{i=1}^m{x}^{(i)}(y^{(i)}-a{x}^{(i)}-b)=0\end{array}$$

其中 $b=\bar{y}-a\bar{x}$ ，将 $b$ 代入上式，得：
$$\begin{array}{rl}\sum _{i=1}^m{x}^{(i)}(y^{(i)}-a{x}^{(i)}-\bar{y}+a\bar{x})& =0\\ & \\ \sum _{i=1}^m{x}^{(i)}{y}^{(i)}-\sum _{i=1}^{m}a(x^{(i)}{)}^2-\sum _{i=1}^m{x}^{(i)}\bar{y}+\sum _{i=1}^{m}a{x}^{(i)}\bar{x}& =0\\ & \\ a\sum _{i=1}^m((x^{(i)}{)}^2-x^{(i)}\bar{x})& =\sum _{i=1}^m(x^{(i)}{y}^{(i)}-\bar{y}{x}^{(i)})\\ & \end{array}$$

将左边除过去，得 $a$ ：
$$a=\frac{{\sum }_{i=1}^m(x^{(i)}{y}^{(i)}-\bar{y}{x}^{(i)})}{{\sum }_{i=1}^m((x^{(i)}{)}^2-x^{(i)}\bar{x})}$$

此时，我们就得到 $a$ ，但为了方便进行向量化运算（可以方便使用numpy加快运行速度），对该式继续改造。

已知：
$$\begin{array}{rl}\sum _{i=1}^m{x}^{(i)}\bar{y}=\bar{y}\sum _{i=1}^m{x}^{(i)}& =m\bar{y}\cdot \bar{x}=\bar{x}\sum _{i=1}^m{y}^{(i)}=\sum _{i=1}^m{y}^{(i)}\bar{x}\\ & =\sum _{i=1}^m\bar{x}\cdot \bar{y}\end{array}$$

根据上式，继续对a进行处理，可得：
$$\begin{array}{r}a=\frac{{\sum }_{i=1}^m(x^{(i)}{y}^{(i)}-\bar{y}{x}^{(i)}-\bar{x}{y}^{(i)}+\bar{x}\bar{y})}{{\sum }_{i=1}^m((x^{(i)}{)}^2-x^{(i)}\bar{x}-x^{(i)}\bar{x}+(\bar{x}{)}^2)}\\ \\ a=\frac{{\sum }_{i=1}^m(x^{(i)}-\bar{x})(y^{(i)}-\bar{y})}{{\sum }_{i=1}^m(x^{(i)}-\bar{x}{)}^2}\end{array}$$

此时，上底下底都转成了
$$y=w\cdot v$$

就可以方便的进行向量运算了

线性回归评测

当模型训练好后，需要对模型的好坏进行评测。我们需要使用训练测试集进行评测，通常有以下几种方式：

均方误差（MSE，Mean Squared Error）

$$MSE=\frac{1}{m}\sum _{i=1}^m(y_{test}^{(i)}-{\hat{y}}_{test}^{(i)}{)}^2$$
其中 $y_{test}^{(i)}$ 为测试数据的 $y$ 值，${\hat{y}}_{test}^{(i)}$ 为预测结果。对它们的差平方后求和，再除以样本数量 $m$

该方法使用的方差的思想，缺点是结果和误差量岗不一致。

均方根误差（RMSE，Root Mean Squared Error）

$$RMSE=\sqrt{MSE}=\sqrt{\frac{1}{m}\sum _{i=1}^m(y_{test}^{(i)}-{\hat{y}}_{test}^{(i)}{)}^2}$$

为了解决均方误差量岗不一致的缺点，使用标准差的思想，对其进行开方，就可以保证量岗一致了。

平均绝对误差（MAE，Mean Absolute Error）

$$MAE=\frac{1}{m}\sum _{i=1}^m|y_{test}^{(i)}-{\hat{y}}_{test}^{(i)}|$$

该方法很直白，直接计算距离求和，然后求平均。这样就很方便的保证了量岗

RMSE 和 MAE 比较

RMSE和MAE都可以求误差，但是，学方差的时候我们知道，开方是为了增大误差较大的数据的影响，所以往往RMSE的值要比MAE的值大。在实践中，使RMSE的值尽可能的小会更有意义。

R Squared

问题提出：还记得相对标准偏差么。当预测的多个模型单位不一致时，例如我预测出的房价RMSE误差为1万元，你预测出的考试成绩RMSE为10分，那么这样是很难比较说明谁的模型更好。

此时聪明的科学家就提出了 R Squared ：

$$\begin{array}{rl}{R}^2& =1-\frac{S{S}_{residual}}{S{S}_{total}}\\ & \\ & =1-\frac{{\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2}{{\sum }_{i=1}^m(\bar{y}-y^{(i)}{)}^2}\end{array}$$

其中，分子 $S{S}_{residual}$ (Residual Sum of Squares) 表示预测值与真值误差平方之和，分母 $S{S}_{total}$ (Total Sum of Squares) 表示平均值与真值误差平方之和。

换言之，减号右边就是想看看用预测出的模型的误差 和 直接用平均值作为模型的误差 进行比较，看看其效果怎么样（平均值被称为基准模型（Baseline Model））。所以就可以得出以下结论：

1. $R^2<=1$ 。因为减号右边一定大于0
2. $R^2$ 越大越好。当预测结果与实际结果完全一致时，分子 $S{S}_{residual}=0$，所以 $R^2=1$。
3. $R^2$ 越小越坏。当预测模型和基准模型效果差不多时，$R^2=0$。当 $R^2<0$ 时，说明预测模型还不如基准模型，此时，数据很有可能不存在线性关系

我们现在对 R Squared 再做一下改造：

$$\begin{array}{rl}{R}^2& =1-\frac{{\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2}{{\sum }_{i=1}^m(\bar{y}-y^{(i)}{)}^2}\\ & \\ & =1-\frac{({\sum }_{i=1}^m({\hat{y}}^{(i)}-y^{(i)}{)}^2)/m}{({\sum }_{i=1}^m(\bar{y}-y^{(i)}{)}^2)/m}\\ & \\ & =1-\frac{MSE(\hat{y},y)}{Var(y)}\end{array}$$

其中，$MSE(\hat{y},y)$为模型的均方误差，$Var(y)$ 为数据方差。使用该公式，可以更方便编码。

多元线性回归

特征数为1时，可以在2维平面中观察，为2时，可以在3维平面中观察。超过了2，就无法观察了。对于特征数超过1的线性回归方程，称为多元线性回归。

当我们只有一个特征时，线性方程为：
$$y={\theta }_0+{\theta }_1{x}_1（y=ax+b）$$

当有两个特征时，线性方程为：
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$

以此类推，当有n个特征时，线性方程为：
$$y={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$

所以，我们构建模型就是算出 ${\theta }_0,{\theta }_1,\cdots {\theta }_n$ 的值

当推算出 ${\theta }_0,{\theta }_1,\cdots {\theta }_n$ 后，就可以预测 $\hat{y}$ 了，：
$${\hat{y}}^{(i)}={\theta }_0+{\theta }_1{X}_1^{(i)}+{\theta }_2{X}_2^{(i)}+\cdots +{\theta }_n{X}_n^{(i)}$$

其中，$\hat{y}$ 是预测出的值，$X_1,X_2,\cdots ,X_n$ 是输入数据的n个特征

同样，多元线性回归的目标也是使 ${\sum }_{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^2$ 尽可能小。

我们可以将 ${\hat{y}}^{(i)}$ 写成向量形式：

$${\hat{y}}^{(i)}=X^{(i)}\cdot \theta 其中\theta =({\theta }_0,{\theta }_1,\cdots ,{\theta }_n{)}^T,X^{(i)}=(1,X_1^{(i)},X_2^{(i)},\cdots ,X_n^{(i)})$$

对于整个 $\hat{y}$，表示成向量，即为：
$$\hat{y}=X_b\cdot \theta$$

其中：
$$\begin{array}{r}{X}_b=\left(\begin{array}{cccc}1& X_1^{(1)}& X_2^{(1)}& \dots X_n^{(1)}\\ & & & \\ 1& X_1^{(2)}& X_2^{(2)}& \dots X_n^{(2)}\\ & & & \\ \cdots & & & \cdots \\ & & & \\ 1& X_1^{(m)}& X_2^{(m)}& \dots X_n^{(m)}\end{array}\right)\theta =\left(\begin{array}{c}{\theta }_0\\ \\ {\theta }_1\\ \\ {\theta }_2\\ \\ \cdots \\ \\ {\theta }_n\\ \end{array}\right)\end{array}$$

根据线性代数知识，我们知道：
$$\begin{gathered} \sum _{i=1}^m{x}_i^2=x_1^2+x_2^2+\cdots +x_n^2=(x_1,x_2,\cdots ,x_n)\cdot (x_1,x_2,\cdots ,x_n{)}^T=X^T\cdot X \\ 其中X=(x_1,x_2,\cdots ,x_n{)}^T \end{gathered}$$

所以，根据上面两个式子，对 ${\sum }_{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^2$ 进行向量化处理，可得：
$$\sum _{i=1}^m(y^{(i)}-{\hat{y}}^{(i)}{)}^2=(y-X_b\cdot \theta {)}^T(y-X_b\cdot \theta )$$

经过推导（推导过程），可以推出 $\theta$，得：
$$\theta =(X_b^T{X}_b{)}^{-1}{X}_b^{T}y$$

该式子称为多元线性回归的正规方程解（Normal Equation）

• 缺点：时间复杂度高 O(n³)，即使优化后，也有 O(n^2.4)
• 优点：不需要对数据做归一化处理

线性回归方程的可解释性

例如，我们对于房价预测，得到了以下数据：
$$\theta =\left(\begin{array}{c}{\theta }_0\\ \\ {\theta }_1\\ \\ {\theta }_2\\ \\ {\theta }_3\\ \\ {\theta }_4\\ \end{array}\right)=\left(\begin{array}{c}-1.3\\ \\ -2.5\\ \\ 0\\ \\ 7.5\\ \\ 3\\ \end{array}\right)\to \left(\begin{array}{c}空气污染程度\\ \\ 周边工厂数量\\ \\ 小区大门数量\\ \\ 房屋面积\\ \\ 小区绿化程度\\ \end{array}\right)$$

可以看到，该数据中有正有负，其中正数就代表该特征与结果呈正相关，例如房屋面积越大，房价越高。负数则说明该特征与结果呈负相关，例如周边工厂数量越多，房价越低。

而系数的大小说明了该特征对结果的影响大小，系数的绝对值越大，说明该特征对结果影响越大，例如周边工厂的数量相比空气污染程度对房价的影响更大。

这就是线性回归方程的可解释性，我们可以通过线性回归方程看出得到一些结论。所以，及时拿到数据之后，不知道用哪一种算法进行预测，也可以先使用线性回归试一下，至少能看出这些特征对结果的影响程度

---

参考资料

第五章 线性回归法: https://coding.imooc.com/class/chapter/169.html

多元线性回归方程正规方程解（Normal Equation）公式推导详细过程: https://blog.csdn.net/zhaohongfei_358/article/details/118678245

考研必备数学公式大全: https://blog.csdn.net/zhaohongfei_358/article/details/106039576