BT - Unet:生物医学图像分割的自监督学习框架
T-Unet采用Barlow twin方法对U-Net模型的编码器进行无监督的预训练减少冗余信息,以学习数据表示。之后,对完整网络进行微调以执行实际的分割。
BT-Unet由 Indian Institute of Information Technology Allahabad开发,发布在2022年的JML上
BT-Unet
BT-Unet架构图:a、预训练U-Net编码器网络,b、用预训练的编码器权值初始化的微调U-Net模型
BT-Unet框架分为两个阶段:1)预训练阶段和2)微调阶段。
预训练
预训练的目的是使用无注释的数据样本,学习复杂的特征表示。U-Net模型的编码器使用Barlow Twins (BT)策略进行预先训练,然后进行微调以执行实际的分割:
BT-Unet框架可应用于各种先进的U-Net模型:经典U-Net、注意力U-Net (A-Unet)、inception U-Net (I-Unet)和residual cross-spatial attention guided inception U-Net (RCA-IUnet)。
微调
U-Net 模型中编码器网络的权重使用预训练权重(来自第一阶段)进行初始化,而网络的其余部分使用默认权重进行初始化。
使用有限的注释样本对 U-Net 模型进行微调,用于生物医学图像分割。
U-Net 模型使用分段损失函数进行微调,L 定义为二元交叉熵损失、LBC 和dice coefficient损失的平均值,LDC:
其中,y为像素的真值标签,p(y)为像素的预测标签,N为像素的总数量。
结果表现
论文使用下面的数据集进行评测对比:
基于相同样本数量的小训练集的性能分析
- KDSB18:BTU-Net 模型的性能优于没有使用 BT方法 的模型。
- BUSIS:U-Net 和 A-Unet 模型无法学习和提取有关肿瘤区域的特征图(精度、DC 和 mIoU 为 0),但是通过预训练,这些模型取得了显着的改进。在 I-Unet 和 RCAIUnet 模型的情况下,通过预训练可以得到相当大的改进。
- ISIC18:I-Unet 和 RCAIUnet 模型是影响最大的网络,精度分别提高了 5.1% 和 2.2%。然而,在使用 BT 预训练时,经典的U-Net 和 A-Unet 的性能略有下降。
- BraTS18:I-Unet 和 RCA-IUnet 模型在使用 BT-Unet 框架时在分割性能上取得了显着提升,而普通 U-Net 和 A-Unet 模型则没有观察到相同的行为。
在不同规模小型训练集的性能研究
对于所有训练数据比例小于50%的数据集,在模型之间观察到类似的性能变化。
定性结果
带有BT的RCA-IUNet具有很好的分割效果。
论文地址:
[2022 JML] [BT-Unet] BT-Unet: A self-supervised learning framework for biomedical image segmentation using barlow twins with U-net models
https://link.springer.com/article/10.1007/s10994-022-06219-3
作者:Sik-Ho Tsang
相关文章
- Opera 浏览器计划集成 ChatGPT
- 火狐浏览器 Firefox 111 引入新特性:在 Windows 10 / Windows 11 通知系统中显示通知信息
- 大数据分析如何重塑物联网(IoT)?
- 如何查看正在运行的 Linux 系统版本
- 苹果发布 macOS Big Sur 11.7.4 更新,修复 Safari 收藏夹图标未正确显示问题
- 2023年的四个大数据发展趋势
- Linux系统设置文件权限,多用户模式下文件权限管理
- 苹果 macOS 11.7.3 更新导致 Safari 收藏夹图标无法正常显示
- 免费九款Linux 和 Windows 的 Syslog 服务器
- Windows 11 Dev 预览版 Build 25300 发布:实时字幕功能支持中文等更多语言
- 适用于 Linux 的六种优秀自动化和编排工具
- B站基于缓存优化 PRESTO 集群查询性能
- 图解浏览器渲染原理及流程
- 火狐浏览器 Firefox 110 稳定版发布:支持从 Opera、Vivaldi 导入数据
- 微软发布 WinGet 1.5.441 预览版更新:优化 PowerShell 模块,添加固定 package 实验性功能
- 可扩展的图神经结构搜索系统
- Linux如何新建用户,支持多用户共同使用的操作系统
- 微软 Edge 110 浏览器 Drop 功能体验:可在桌面端和移动端快速同步文件和笔记
- OnePlus6T OpenHarmony简明刷机指南
- OpenHarmony富设备移植指南(五)打包刷机与简单设备调试