加性logistic回归
加性logistic回归
之前,我在博客中提到了提升法,它按次序在重新加权的训练实例上应用分类算法,然后采纳这些模型输出的加权多数票。
作为优化的强大方法,提升法事实上还可以理解为一种加性回归的方法,按逐步递加的方式来拟合一个加性模型
∑
m
h
m
(
x
)
\sum_{m}h_{m}(x)
∑mhm(x)。
当我们去得到我们的最终模型时,先从
h
1
(
x
)
=
β
1
b
(
x
;
α
1
)
h_{1}(x)=\beta_{1}b(x;\alpha_{1})
h1(x)=β1b(x;α1),即先得到当前模型的最优参数
β
1
,
α
1
\beta_{1},\alpha_{1}
β1,α1,然后使用贪心逐步向前法,每次迭代中确定一组参数
β
m
,
α
m
\beta_{m},\alpha_{m}
βm,αm,即按
β
m
,
α
m
\beta_{m},\alpha_{m}
βm,αm,m=1,2,3,…M依次确定M组参数,得到最终的加性模型的解
H M ( x ) = ∑ m = 1 M h m ( x ) = ∑ m = 1 M β m b ( x ; α m ) H_{M}(x)=\sum_{m=1}^{M}h_m(x)=\sum_{m=1}^{M}\beta_{m}b(x;\alpha_{m}) HM(x)=∑m=1Mhm(x)=∑m=1Mβmb(x;αm)
相关文章
- 机器学习Hello World:波士顿房价预测(线性回归模型)
- matlab 加权回归估计_matlab代码:地理加权回归(GWR)示例
- 贝叶斯回归:使用 PyMC3 实现贝叶斯回归
- R语言用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资|附代码数据
- 【视频】R语言逻辑回归(Logistic回归)模型分类预测病人冠心病风险|数据分享|附代码数据
- R语言使用虚拟变量(Dummy Variables) 回归分析工资影响因素|附代码数据
- Andrej Karpathy 回归 OpenAI:ChatGPT 重新让 AI 科学家变得值钱
- R语言逻辑回归(Logistic Regression)、回归决策树、随机森林信用卡违约分析信贷数据集|附代码数据
- Fama-French三因子回归A股实证(附源码)
- 详解:7大经典回归模型
- 比特币牛市回归了?两天两破4万美元
- Pwn2Own 黑客大赛 3 月回归:Safari 漏洞奖金总额 13 万美元
- 3200万爆款!Redmi AirDots 2回归众筹价:仅79元
- Redis尝试解耦,回归分布式部署的革新(redis解耦)