机器学习 LR中的参数迭代公式推导——极大似然和梯度下降
2023-09-14 09:11:55 时间
Logistic本质上是一个基于条件概率的判别模型(DiscriminativeModel)。
函数图像为:
通过sigma函数计算出最终结果,以0.5为分界线,最终结果大于0.5则属于正类(类别值为1),反之属于负类(类别值为0)。
如果将上面的函数扩展到多维空间,并且加上参数,则函数变成:
接下来问题来了,如何得到合适的参数向量θ呢?
由于sigma函数的特性,我们可作出如下的假设:
上式即为在已知样本X和参数θ的情况下,样本X属性正类(y=1)和负类(y=0)的条件概率。
将两个公式合并成一个,如下:
既然概率出来了,那么最大似然估计也该出场了。假定样本与样本之间相互独立,那么整个样本集生成的概率即为所有样本生成概率的乘积:
为了简化问题,我们对整个表达式求对数,(将指数问题对数化是处理数学问题常见的方法):
满足似然函数(θ)的最大的θ值即是我们需要求解的模型。
梯度上升算法
就像爬坡一样,一点一点逼近极值。爬坡这个动作用数学公式表达即为:
其中,α为步长。
回到Logistic Regression问题,我们同样对函数求偏导。
先看:
其中:
再由:
可得:
接下来就剩下第三部分:
(这个公式应该很容易理解,简单的偏导公式)
还有就是:
综合三部分即得到:
因此,梯度迭代公式为:
结合本式再去理解《机器学习实战》Page 78中的代码就很简单了。
摘自:http://sbp810050504.blog.51cto.com/2799422/1608064
相关文章
- ECMWF|面向可扩展的气象和气候机器学习项目
- 快速入门Python机器学习(17)
- 机器学习超参调优:常用8种方法
- 凶残的挖矿脚本,奴役我数千机器!
- 机器学习基础:缺失值的处理技巧(附Python代码)
- 香港理工大学智能计算实验室招进化计算/机器学习/类脑计算方向全奖博士生/研究助理/博士后
- 如何用低代码构建一个会说话的机器狗
- 297个机器学习彩图知识点(12)
- 297个机器学习彩图知识点(14)
- 量化机器学习的实验设计和常见陷阱
- 机器学习(一):人工智能概述
- 297个机器学习彩图知识点(11)
- Nat. Comput. Sci. | 化学反应网络和机器学习的机会
- 【AI】机器学习-线性回归(未更新完)
- A.机器学习入门算法(八):基于BP神经网络的乳腺癌的分类预测
- TRICONEX 4400 用于过程可视化或机器数据采集
- 机器学习使用Python编程是因为什么?
- 世界最赚钱的机器 11亿一台 中国怎么造不出来?
- 阿里云机器智能首席科学家闵万里离职
- 5年 5000 万美金,IBM Watson 要用机器学习研究耐药性癌变
- 远程Linux机器上执行命令的新方法(远程执行命令linux)
- 使用机器学习进行预测性维护