知识点-最小二乘学习与正规表达式
2023-09-14 09:11:24 时间
转自:https://blog.csdn.net/bitcarmanlee/article/details/51589143
在一篇博客中看到单变量线性回归可以使用最小二乘或者递归下降来求解,最小二乘就是最小化平方误差,解决最优化问题。
但是对其具体的过程还不是很理解,所以来总结学习一下。
1.最小二乘的代价函数
其中y_ie是估算值,y_i是真实值。其中求和是对n个样本的平方误差求和。
那么现在需要确定β0,β1,使得Q最小,那么分别偏导=0即可。也非常好求!
此时就根据上式写出,其实两个变量采用消元法,就可以,如果是克莱姆法则求解,分母是整个系数行列式,分子是等号右边替换本列系数变量形成的行列式。
最小二乘求出来的是精确值。
得出本式之后,只需要代入所有样本的x和y即可,因为是单变量,所以只有一个特征。
2.多个自变量-正规表达式
假如变量不止一个,也就是多变量的情况。
每个β都对应一个样本的特征。对于n个样本,线性方程组如下:
那么明显是可以写成矩阵的形式,如下:
即Aβ=Y,其中A是样本值组成的系数矩阵,Y是模型预测值!。那么最终的代价函数可以写为:
就是预测的值-真是值。此处应该是L2范数的平方吧,也就是向量长度的平方,没有根号。
最终的最优解如图所示,但是我不知道是怎么推出来的。
相关文章
- Python 学生信息管理系统——文章中源码100%真实有效—–如何将类、初始化属性、模块、循环判断、静态方法等一系列知识点结合起来做一个项目「建议收藏」
- 机器学习回归模型相关重要知识点总结
- 关于集合中一些常考的知识点总结「建议收藏」
- 五套Alibaba2022小册!涵盖Java知识点+面试题+开发手册+机器学习
- 297个机器学习彩图知识点(6)
- 297个机器学习彩图知识点(13)
- 我们一起来学RabbitMQ 三:RabbiMQ 死信队列,延迟队列,持久化等知识点
- 【实测】有奇效!用测试用例设计的路子去学习新知识点。
- Go Modules知识点总结
- 【愚公系列】2023年02月 .NET/C#知识点-数组复制总结
- 数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第六章数据存储与操作篇
- 数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第七章数据安全篇
- 数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第九章文件和内容管理篇
- Dubbo框架知识点
- 重学JS-1.1-知识点:严格模式“use strict”
- Python数据分析学习路线(知识点汇总)
- php入门学习知识点五关于php数组的几个基本操作
- php入门学习知识点七PHP函数的基本应用