架构设计 + 模型训练 + 涨点技巧 + 炼丹技巧(文章总结)
对比裁剪(ContrastiveCrop):
相比于传统的随机裁剪,保证了大部分正样本对语义一致的前提下,加大样本之间的差异性,从而通过最小化对比损失学习到更泛化的特征
ContrastiveCrop(Crafting Better Contrastive Views for Siamese Representation Learning)_马鹏森的博客-CSDN博客
指数移动平均(EMA):
在一定程度上提高最终模型在测试数据上的表现(例如accuracy、FID、泛化能力...)
【炼丹技巧】指数移动平均(EMA)【在一定程度上提高最终模型在测试数据上的表现(例如accuracy、FID、泛化能力...)】_马鹏森的博客-CSDN博客_ema功能
类激活映射(CAM):
可视化训练过程,得知网络更关注的部分,通过可视化,就像往黑箱子里打了一个手电筒,让人们可以尝试去理解网络。
Class Activation Mapping(CAM)类激活映射_马鹏森的博客-CSDN博客_什么是类激活映射
直方图匹配(histogram matching):
使两幅影像的色调保持一致, 使用直方图匹配,使两幅图像的色调更一致,是在模型训练之前使用的,是一种数据处理的方式(例如在图像风格转换的时候,那么使用直方图匹配会让源域与目标域的图像色调更接近,从而风格转换的效果更好...)
直方图匹配(histogram matching):使两幅影像的色调保持一致_马鹏森的博客-CSDN博客_直方图匹配
Squeeze-and-Excitation Networks(SENet ):
通过加入SENet这样一个子结构,可以嵌入到其他分类或检测模型中。
Squeeze-and-Excitation Networks(SENet )_马鹏森的博客-CSDN博客
Charbonnier Loss:
用Charbonnier Loss来近似 损失来提高模型的性能
Charbonnier Loss_马鹏森的博客-CSDN博客
TTSR:
1、该模型中提取Q、K、V的过程值得学习一下,他们使用的是:V自然就是参考图(Ref),用于辅助得到更好的纹理结果,Q是LR上采样图的特征(LR↑),K是参考图先下采样再上采样的特征(Ref↓↑),是否我们做特征提取过程可以借鉴这个设计?【下上采样参考图像和上采样LR图像,用于image inpainting 就是】
2、使用跨层级特征融合(Cross-Scale Feature Integration )进行信息融合,与skip-connection类似是为了更多信息进行fuse,是否和transformer的多头有相似之处?
(TTSR)Learning Texture Transformer Network for Image Super-Resolution_马鹏森的博客-CSDN博客
相关文章
- 深入理解推荐系统:大厂如何进行CTR增量训练
- 多模态理解与生成,西南交大&MSRA提出统一的"视频和语言预训练"模型:UniVL!
- 滴滴开源DELTA:AI开发者可轻松训练自然语言模型
- 使用pytorch mask-rcnn进行目标检测/分割训练
- python读取pkl文件_pkl文件是怎么训练出来的
- 他山之石 | 预训练模型落地"最后一公里"
- PyTorch 2.0 实操,模型训练提速!
- NLP领域任务如何选择合适预训练模型以及选择合适的方案【规范建议】【ERNIE模型首选】
- 深度解决添加复杂数据增强导致训练模型耗时长的痛点
- 本人开发 | 零代码从模型训练到部署软件平台发布啦!
- 如何基于元学习方法进行有效的模型训练?四篇论文详细剖析元模型的学习原理和过程
- 继 OpenAI 之后,DeepMind 开源深度学习训练平台 DeepMind Lab
- 引用次数最多的深度学习论文出自谁手?(最优化/训练技巧篇)