岭回归&Lasso回归
转自:https://blog.csdn.net/dang_boy/article/details/78504258
https://www.cnblogs.com/Belter/p/8536939.html
https://www.cnblogs.com/Belter/p/8536939.html
1.最小二乘法则
假设我们有n个样本数据,每个数据有p个特征值,然后p个特征值是线性关系。
即对应的线性模型
写成矩阵的形式即是Y=XA,误差B矩阵:即B=Y-XA。【Y和A是列向量,X是矩阵】
误差的平方的计算公式
Xi为行向量,A为列向量。
最小二乘法的目标就是取得最小的e对应的A,由于方差的计算是一个二次函数,即抛物线,对应存在一个最小值,即导数为0对应的A。所以对e求A的偏导数,再使其等于0,求解方程即可以获得A。
误差的平方e写成矩阵形式即为
对矩阵E取迹(迹就是矩阵对角线上所有元素的累加)且对迹求导后结果为一个矩阵。
即为
展开为
求导化简结果为
注:这个计算的过程是涉及到向量的求导运算,看了好长时间实在是看不懂。也不知道这个结果是怎么计算出来的,暂且记住吧。。
参考:https://blog.csdn.net/lipengcn/article/details/52815429
当A的维数比Y的维数多,即样本数量n少于特征值p的时候存在多个解,可能导致结果很不稳定,所以要确保n>p。
X矩阵不存在广义逆(即奇异性)的情况:
1)X本身存在线性相关关系(即多重共线性),即非满秩矩阵。
当采样值误差造成本身线性相关的样本矩阵仍然可以求出逆阵时,此时的逆阵非常不稳定,所求的解也没有什么意义。
2)当变量比样本多,即p>n时.
这时,回归系数会变得很大,无法求解。在统计学上,可证明A的最小二乘解为无偏估计,即多次得到的采样值X而计算出来的多个系数估计值向量 的平均值将无限接近于真实值向量β。
2.岭回归
那么解决不存在矩阵广义逆:
在误差矩阵加上一个对A的L2范数控制系数矩阵,
而LASSO回归是加上的L1范数作为正则项。
反映到矩阵上,就是在原先的A的最小二乘估计中加一个小扰动λI,
变为满秩矩阵,可以求稳定的逆。
具体推导过程就不贴了,贴了也看不懂。
3.LASSO回归
只是在于正则项的不同。
4.对于偏差与方差的理解
看到这个图觉得很不错:
偏差:预测出来的数据与真实值的差距
方差:预测出来的数据的分散程度
相关文章
- 【IOS-COCOS2D-X 游戏开发之十五】COCOS2DX中响应ANDROID的BACK(返回)与MENU(小房子)事件&&COCOS2DX自动释放粒子内存函数!
- Elasticsearch hadoop使用示例 & 运维实战之集群规划 &presto-elasticsearch connector
- 前端学习 -- Html&Css -- 背景
- [Grunt] grunt.initConfig() && grunt.file
- 栈和队列的高级应用--双端队列&滑动窗口
- ML之LiR&2PolyR:使用线性回归LiR、二次多项式回归2PolyR模型在披萨数据集上拟合(train)、价格回归预测(test)
- ML之LoR&SGD:基于LoR(逻辑回归)、SGD梯度下降算法对乳腺癌肿瘤(10+1)进行二分类预测(良/恶性)
- 线段树区间更新,区间统计+离散化 POJ 2528 Mayor's posters
- any run 开源在线沙箱 真的是很好用啊!!!以后自己分析特定恶意文件就可以用他了!!!进程、注册表、com组件api调用行为、计划任务等都可以看到,并且还有att&ck的矩阵
- Kubernetes Cephfs & Ceph RBD 在k8s中的适用场景讨论及数据库性能压测
- 华为MPLS-Hub&Sub组网实验配置