机器学习之——单变量线性回归
线性回归
线性回归(Linear Regression)作为Machine Learning 整个课程的切入例子确实有独到的地方,以简单的例子为出发点,将学习任务的主干串起来。问题的建模可以简单如下图所示:
线性回归可以分为单变量线性回归(Linear Regression with One Variable)以及多变量线性回归(Linear Regression with Multiple Variables)。这篇我们先从单变量线性回归入手。
我们以房屋交易问题为例,问题就是:
给定一批已知的房子大小和价格的对应关系数据,如何对一个给定大小的房子进行估值?
假使我们回归问题的训练集(Training Set) 如下表所示:
我们用来描述这个回归问题的标记如下:
我们需要做的是怎样“学习”到一个假设h(函数),从而对于给定的房子大小能输出估值。
对于单变量线性回归来说就是下面四个点:
1. 假设(Hypothesis):线性回归的假设就是数据呈线性分布
2. 参数(Parameters): 学习的过程也就是参数拟合的过程,参数是
3. 代价函数(Cost Functions): 进行参数选择(拟合)的标准,这里选取的是最小均方误差。
4. 将参数回归转换到误差最小化的优化问题上来
为了解最小化问题(4),再引入梯度下降法(Gradient Descent Algorithm)。
梯度下降背后的思想是:开始时我们随机选择一个参数的组合(ø0,ø1,....,øn),计算代价函数,然后我们寻找下一个能让代价函数值下降最多的参数组合。持续这样做直到找到一个局部最小值(Local Minimum),因为我们并没有尝试完所有的参数组合,所以并不能确定我们得到的局部最小值是不是全局最小值(Global
Minimum),选择不同的初始参数组合,可能会找到不同的局部最小值:
其中alpha是学习速率(Learning Rate),它决定了我们沿着能让代价函数下降程度最大的方向乡下迈出的步子有多大。虽然步长是固定的,但是当逼近一个(局部)最小值时,梯度会变小,因而梯度下降法在靠近极值点时会自动将“步子”迈小一点。不过一个比较好的初始值(能够让目标函数值下降的值)还是有必要的。
入坑机器学习:四,单变量线性回归 各类回归模型,例如线性回归、广义线性模型(Generalized Linear Model, GLM)和人工神经网络(Artificial Neural Network, ANN)通过最小化L2或L1损失对其参数进行估计。L2损失和L1损失的不同在于,L2损失通过平方计算放大了估计值和真实值的距离,因此对偏离观测值的输出给予很大的惩罚。此外,L2损失是平滑函数,在求解其优化问题时有利于误差梯度的计算;L1损失对估计值和真实值之差取绝对值,对偏离真实值的输出不敏感,因此在观测中存在异常值时有利于保持模型稳定。
相关文章
- 气象研究人员开始机器学习项目前需要注意哪些问题
- 快速入门Python机器学习(17)
- 【玩转 Cloud Studio】12行代码,入门机器学习
- 机器学习的思维雏形,离不开两百年前看星星的数学家
- Hinton等谈深度学习十年;PyTorch落地Linux基金会的影响;机器学习界的“GitHub”|AI系统前沿动态
- 软考 - 07 机器学习应用开发平台
- 【强基固本】超全725个机器学习术语表
- 来用机器学习加速布料模拟吧!
- 吴恩达机器学习IV
- 23个优秀的机器学习数据集,给智能更好的经验
- 江泽民08年发表论文提出:未来智能化、机器学习会大有作为、需加大GPU技术的研究
- 部署机器学习方案之困(上)
- A.机器学习入门算法(八):基于BP神经网络的乳腺癌的分类预测
- 英国格拉斯哥大学招收2名全奖博士生-机器学习/工程优化方向
- 器学习Linux上的机器学习之旅(linux机)
- 小白不知从何入手认知机器学习?Shakir Mohamed 授你锦囊妙计
- 如何使用Linux查看机器型号(linux查看机器型号)
- 《机器学习》作者Tom Mitchell:人工智能如何向人类大脑学习 | GMIC 2017
- 赋予机器手一层可感受温度的皮肤
- 性爱机器人明年发售,截肢者依靠机器重获手部触觉 | 新智造周刊
- 专访腾讯云机器学习平台技术负责人:揭秘腾讯深度学习平台DI-X背后的秘密
- JS获取IUSR_机器名和IWAM_机器名帐号的密码