pytorch 15 模型性能分析,从loss出发到具体数据(以语义分割为例,实现深度学习中的手工TomeLinks方法)
2023-09-14 09:15:04 时间
在一些特殊情况下,通过各类调参方法都无法提升模型的效果。那么则需要对模型的loss进行分析,找出其中导致模型性能下降的数据(异常数据,分类错误数据)。通过不断修正错误数据的方式,可以提升模型的性能。修正错误的分类,消除数据中的混淆对,本质上是一种TomekLinks方法。
TomekLinks是指邻近的两个相反类的例子,在深度学习中可以理解为训练数据中正例与负例混淆的情况。在没有消除TomeLinks数据时,训练模型得出的分类边界如图1左边的荧光色标记所示,弯曲而又负责,同时分类错误的数据还较多。在消除TomeLinks后,数据定义变得更加清晰,训练出的分类边界若图1右边的荧光色标记所示。
![](https://img-blog.csdnimg.cn/a0b3a297cbde4014beb7cbdfe4ead80d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM6bmP56iL6L2s556s6Iez,size_13,color_FFFFFF,t_70,g_se,x_16)
那么在深度学习中如何找到TomekLinks对呢?在深度学习中,大部分数据都是图片,在原始数据中寻找出TomekLinks是不切实际的。因此从loss出发,当一个数据的loss值特别大,则可以认定它跟数据集中的另一个数据构成TomekLinks对(也就是异常点),修正loss值大的数据的标签(或
相关文章
- winform程序中将控件置于最顶层或最底层的方法
- Kafka性能调优 - Kafka优化的方法
- 详细讲解提高数据库查询效率的实用方法、外键关于性能
- 如何根据变量类型选择数据分析方法
- Shell脚本Ping监控主机是否存活并发邮件报警(三种方法)
- TP-link 无线路由器WDS设置方法图解_无线桥接设置
- 如果是除去末尾特定字符或字符串:TrimEnd方法性能优于Remove方法
- Mac添加环境变量的三种方法
- C# 中的 ref 和 out 的意义和使用方法
- Anaconda:成功解决Anaconda下载时速度超慢(conda下载慢)的几种方法图文教程
- DL之DNN优化技术:利用Dropout(简介、使用、应用)优化方法提高DNN模型的性能
- Py之ipykernel:Python库之ipykernel简介、安装、使用方法之详细攻略
- 微电网两阶段鲁棒优化经济调度方法[2](Matlab代码实现)
- 基于热传导矩阵(HCM)边缘检测方法在红外图像中的应用(Matlab代码实现)
- 5种kafka消费端性能优化方法
- Python 这几种方法进行机器学习特征筛选,有效提升模型性能
- 斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法
- 【ChatGPT】大模型原理学习:详解 Transformers 的性能优化的 8 种方法
- .NET 程序如何获取图片的宽高(框架自带多种方法的不同性能)
- 梯度削减方法
- 关于Oracle性能优化的六类诊断方法
- 基于JAVA实现的WEB端UI自动化 - WebDriver框架篇 - ant使用 - ant安装、环境变量配置、ant实例及运行Ant Build 出现问题的解决方法
- 24种提高ASP.NET Web 应用性能的方法