sklearn-1.1.2.Ridge Regression
1.1 sklearn Regression
2023-09-11 14:13:58 时间
1.1.2 Ridge Regression
Ridge回归通过对系数的惩罚值来解决最小二乘法的系数问题。岭系数的最小化惩罚残差平方和的公式:
这里,是用来控制收缩量的复杂参数:参数值越大,收缩量也越大,因此系数对共线性变得更加稳健。
与其他线性模型一样,岭模型对数组X,y进行拟合,并将线性模型的系数存储在coef_成员中
from sklearn import linear_model
reg=linear_model.Ridge(alpha=0.5)
print(reg.fit([[0,0],[0,0],[1,1]],[1,0.1,1]))#Ridge(alpha=0.5, copy_X=True, fit_intercept=True, max_iter=None,normalize=False, random_state=None, solver='auto', tol=0.001)
print(reg.coef_)#[0.16363636 0.16363636]
例子
展现共线性对估计参数系数的影响
岭回归在本例中被使用。每一种颜色代表一种不同的系数向量,这时作为正则参数的函数显示的。
此例将岭回归应用在了高度异常的矩阵上,对于这个矩阵,小小的改变可以导致计算权重产生巨大的差异。在这种情况下,设置一定的正则化(参数)对减少这张变化(噪音)是由用的。
当参数很大的时候,正则化之后的影响的贡献对二次损失函数以及系数的影响趋近于零。在图像的末尾,由于参数趋近于零,选用的是普通的最小二乘法,最后的系数产生了较强的震荡。在实际情况下,需要手动调参保持两者平衡。(上面标题是代码的链接)
这个例子展示了怎么通过scikit-learn进行bag-of-words的方法对文档进行分类。
1.1.2.1复杂度
这个方法与最小二乘法的复杂度相同
1.1.2.2设置一个正则化的参数:广义的交叉验证
RidgeCV通过alpha参数的内置交叉验证实现岭回归,这个对象的工作原理与GridSearchCV(这个是找最好梯度的一个函数),没有参数会默认给出参数(0.1 1 10)用于做交叉验证,这时一个有效的留一法的交叉验证:
from sklearn import linear_model
reg=linear_model.RidgeCV()
print(reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1]))#RidgeCV(alphas=(0.1, 1.0, 10.0), cv=None, fit_intercept=True, gcv_mode=None,normalize=False, scoring=None, store_cv_values=False)
print(reg.alpha_)#0.1
参考
关于最小二乘法的详解我是超链接
相关文章
- Java 7: 全面教程-1.1 第一个Java程序
- 第1章 1.1计算机网络概述--局域网
- Atitt php script lan debug bp 最佳实践调试php目录1.1. Error_log 11.2. Echo vs log法 11.3. 输出与debug信息昏药问题
- Atitit 数据库 负载均衡 方法总结 目录 1. 对称模型负载均衡 vs 非对称模型2 1.1. 业务分离法2 1.2. App + db分布式分离法2 2. 负载均衡算法2 2.1.
- Atitit 直播问题总结ffmpeg 目录 1.1. 屏幕太大,可以使用-s调整分辨率1 1.2. Full size1 1.3. 流畅度调整1 2. 1 2.1. 没有录音1 2.2.
- Atitit nlp自然语言处理类库(java python nodejs c#net) 目录 1.1. Python snownlp1 1.2. NLP.js一个nodejs/javascri
- Atitit 剪贴板数据类型 DataFlavor 目录 1. HtmlFlavor1 1.1. allHtmlFlavor1 1.2. selectionHtmlFlavor1 1.3. fr
- Atitit redis使用场合总结 使用场景 目录 1.1. 3. Session 存储1 1、 配置数据查询1 2. 排行榜应用,取TOP N操作1 1.2. 1、查找最
- Atitit jfugue midi make tour attilx sumup 目录 1.1. Jyepu prob not support ,gazi nonge map trans支持简谱解决
- Atitit 知识点 文章 框架 结构 大纲 attilax 总结 艾提拉总结 技术掌握文档总结的 v5 s420.docx 1.1. Preface前言 序言1 2. 技术流程了解》》选型(标准
- Atitit 诗歌之道 attilax著 艾龙 著 1. 诗歌集分类1 1.1. 国王颂歌1 1.2. 爱情类(相逢 赞美 相识 思念 离去 分分离离 忘记)1 1.3. 其他1 2. 世界
- HTTP/2和HTTP/1.1的比较
- 【项目实战】SpringBoot连接ES报错status line [HTTP/1.1 401 Unauthorized