ML之ME/LF:机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之ME/LF:机器学习中的模型评估指标/损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
目录
损失函数的简介
损失函数,又称目标函数,或误差函数,用来度量网络实际输出与期望输出之间的不一致程度,指导网络的参数学习和表示学习。
0、损失函数特点
- 损失函数是一个非负实值函数。
- 针对不同的问题,会采用不同的损失函数
– 回归问题(连续型):平方损失等
– 分类问题(离散型):对数损失、交叉熵等 - 不同的损失函数会影响网络的训练速度和网络的泛化性能
1、损失函数-连续型输出
平方损失函数(Square Loss)
绝对值损失函数(Absolute Value Loss)
2、损失函数-离散型输出
交叉熵损失(Cross-Entropy Loss; Log Loss),交叉熵损失:真实概率?? ; 模型预测概率??
熵:用于度量变量的不确定性程度 | |
交叉熵:主要用于度量两个概率分布间的差异性信息 |
(1)、二分类问题的交叉熵损失函数:
对于样本(?, ?),?为样本, ?为对应的标签, 在二分类问题中,其取值的集合可能为{0,1}。假设某个样本的真实标签为?,该样本的? = 1的概率为?,则该样本的损失函数为:− (????(?) + 1 − ? log(1 − ?))。
2.1、交叉熵和Softmax在多分类问题的结合应用
ML之SR:Softmax回归(Softmax Regression)的简介、使用方法、案例应用之详细攻略
损失函数/代价函数/目标函数之间区别
损失函数 | 用来估计你模型的预测值与真实值Y的不一致程度,它是一个非负实数值函数。损失函数越小,模型的鲁棒性就越好。是定义在单个样本上的,算的是一个样本的误差。 (1)、均方误差:也叫平方损失,是回归任务中最常见的性能度量。我们把均方误差当做线性回归的损失函数。因此我们可试图让其最小化 |
代价函数 | 定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。 |
目标函数 | 定义为最终需要优化的函数。等于结构风险Cost Function+正则化项。
|
损失函数的案例应用
后期更新……
相关文章
- 后端必读《Spring Boot实战》,企业级真实应用案例
- 大屏数据可视化案例「建议收藏」
- python数据分析书籍的知识框架和案例2021.8.18
- 从零开始的机器学习之SVM一个简单的实现案例——鸢尾花分类
- 盘点一个Python自动化办公的实战案例
- 会话管理技术实战(购物车案例)
- 开源图书《Python完全自学教程》12.6机器学习案例12.6.1预测船员数量
- 开源图书《Python完全自学教程》12.6机器学习案例12.6.2猫狗二分类
- IBM 人力资源综合分析案例
- SQL优化思路+经典案例分析
- 【愚公系列】2023年02月 .NET CORE工具案例-办公文档神器Toxy的使用
- 实战案例: 一键安装tomcat脚本