Linear Regression 与 Logistic Regression的不同、应用场景
(1) 二者应用不同
一般Linear Regression是解决回归问题,而 Logistic Regression是应用于分类问题。
Logistic Regression除了可以解决二分类问题外,还可以解决多分类问题。
采用 Logistic Regression进行多分类的思路是:选取某个分类作为正样本,其他分类作为负样本建立一个二分类模型;以此类推建立多个(有几个分类就建几个)二分类模型;对多个二分类模型的输出值进行大小比较,把样例归为输出值最大的那类。
(2)二者的代价函数不同
Linear Regression的代价函数为:
Logistic Regression的代价函数为:
二者的模型不同导致二者的代价函数不同:
这二者的代价函数不同,是因为定义的H假设不同,也就是模型不同(废话!一个是线性回归,一个是logistic回归,这就是两个模型怎么会相同)。接下来让我们来回顾一个各自的模型。
Linear Regression的模型为:
Logistic Regression的模型为:
备注:模型与代价函数之间的关系:例如 Linear Regression的模型可以进行线性回归,而对它回归的好坏使用的是损失函数:
也就是说预测模型与损失函数之间并没有直接的推导关系或者叫做联系,它的损失函数是认为规定的(使用这个损失函数更有利于预测)
Logistic Regression与sigmode函数的关系:
Logistic Regression 从本质来说属于二分类问题,是基于Sigmoid函数(又叫“S型函数”)的有监督二类分类模型。
Sigmoid函数公式为:
Sigmoid函数其图像如下所示,其取值范围被压缩到0到1之间。
同理:Logistic Regression最大的特点就是将函数值收缩到[0,1]这个范围,但是这个特点也导致假如logistics regression使用线性回归的代价函数:
将会非凸(该代价函数有多个局部最优点),这就导致采用梯度下降法进行求解很可能陷入局部最优点。
因此,Logistic Regression需要重新定义一个合适的代价函数:
事实证明上面给出新的代价函数是凸函数。
[机器学习笔记] Logistic Regression与Linear Regression的区别_梅森上校的博客-CSDN博客
相关文章
- 大数据开发之keras代码框架应用
- python应用-彩票随机码的输出
- AI应用在金融领域,如何能够在商业上有所突破
- 让 Angular 应用动起来!
- CGroup 介绍、应用实例及原理描述
- SAP UI5应用里搜索功能的实现
- SAP UI5 应用开发教程之五十八 - 使用工厂方法在运行时动态创建不同类型的列表行项目控件试读版
- Python语言学习:Python语言学习之python包/库package的简介(模块的封装/模块路径搜索/模块导入方法/自定义导入模块实现华氏-摄氏温度转换案例应用)、使用方法、管理工具之详细攻略
- Dataset:Big Mart Sales数据集的简介、下载、案例应用之详细攻略
- 云图说|移动应用安全服务—App的体检中心,全面检测,安全上路!
- 基于海鸥优化的BP神经网络(分类应用) - 附代码
- k8s资源应用的自由伸缩Scale(up/down)
- linux quota命令使用——应用场景 针对不同的用户设置不同的磁盘访问大小
- JAX-RS介绍——Java API forRESTful WebServices,JAX-RS的目标是Web Services开发(这与HTML Web应用不同)而Spring MVC的目标则是Web应用开发
- WebSocket的理解以及应用场景
- Nginx 实现监听同一端口转发不同应用