样本数量不平衡问题方案(Focal Loss & Circle Loss)
amp 问题 方案 数量 平衡 样本 Loss circle
2023-06-13 09:16:07 时间
1.Focal Loss
focal loss是最初由何恺明提出的,最初用于图像领域解决数据不平衡造成的模型性能问题。本文试图从交叉熵损失函数出发,分析数据不平衡问题,focal loss与交叉熵损失函数的对比,给出focal loss有效性的解释。
- Focal Loss的引入主要是为了解决难易样本数量不平衡(注意,有区别于正负样本数量不平衡)的问题,实际可以使用的范围非常广泛。
- 该损失函数来源于论文Focal Loss for Dense Object Detection,作者利用它改善了图像物体检测的效果。不过Focal Loss完全是一个通用性的Loss,因为在 NLP中,也存在大量的类别不平衡的任务。
- 最经典的就是序列标注任务中类别是严重不平衡的,比如在命名实体识别中,显然一句话里边实体是比非实体要少得多,这就是一个类别严重不平衡的情况。
参考链接: https://blog.csdn.net/fly_time2012/article/details/123428695
https://zhuanlan.zhihu.com/p/266023273
2.Circle Loss
- 深度特征学习有两种基本范式,分别是使用类标签和使用正负样本对标签进行学习。使用类标签时一般需要用分类损失函数(比如 softmax + cross entropy)优化样本和权重向量之间的相似度;使用样对标签时,通常用度量损失函数(比如 triplet损失)来优化样本之间的相似度。然而这两种方式均存在优化缺乏灵活性和收敛状态不明确的缺点。
- 因此,Circle Loss 设计了一个更灵活的优化途径,通向一个更明确的优化目标。该方法来源于论文Circle Loss: A Unified Perspective of Pair Similarity Optimization
常用优化方法和新提出的优化方法之间的对比图示如下。
Circle Loss 非常简单,而它对深度特征学习的意义却非常本质,表现为以下三个方面:
- 统一的(广义)损失函数。从统一的相似度配对优化角度出发,它为两种基本学习范式(即使用类别标签和使用样本对标签的学习)提出了一种统一的损失函数;
- 梯度反向传播会根据权重来调整幅度大小。那些优化状态不佳的相似度分数,会被分配更大的权重因子,并因此获得更大的更新梯度。如上图所示,在Circle Loss 中,A、B、C 三个状态对应的优化各有不同;
- 明确的收敛状态。在这个圆形的决策边界上,Circle Loss 更偏爱特定的收敛状态(如图中的 T)。这种明确的优化目标有利于提高特征鉴别力。
参考链接: https://blog.csdn.net/cxx654/article/details/122158148
相关文章
- 与运算(&)、或运算(|)、异或运算(^)、进制转换
- 最大三角形面积 鞋带公式&海伦公式
- 图像校正优化软件:Perfectly Clear QuickDesk & QuickServer Mac下载
- 每日tips:Dart & Flutter Easy Wins 8-14
- EL表达式&JSTL标签库笔记
- 单峰函数极值问题的解决方案 : 三分 & 二分与三分的本质区别
- 猴子摘香蕉问题python_硬币找零&&爬楼梯&&猴子摘香蕉「建议收藏」
- Windows&Linux&MacOS如何快速搭建Redis
- 正向代理&反向代理(校园网为例)
- JavaEE8 - Number&Math&Character类
- “吃”了这口电池,植物竟还能正常生长 | 东京大学&NTT
- Redis持久化: RDB&AOF
- ECCV2022 &CVPR2022论文速递2022.7.29!
- 【顺序表&学生信息管理系统】学完顺序表就可以上高速写学生信息管理系统
- 数据宝典:数据架构 & 数据模型 & 数据管理(PPT)
- 傻妞sillyGril&QQbot 真一键安装
- Flink中的数据抽象&交换&Credit&背压问题详解
- 如何增加Oracle数据库的AMP值(amp值oracle)
- document.documentElement&&document.documentElement.scrollTop
- htm页面中<aname>加name和id的冲突附解决方法
- php函数之子字符串替换str_replace
- PHP引用符&的用法详细解析