zl程序教程

您现在的位置是:首页 >  后端

当前栏目

【Transformer】医学分割领域的应用与扩展(论文阅读)(二) || DETR

扩展应用论文领域 阅读 分割 transformer 医学
2023-09-27 14:25:38 时间

声明:仅学习使用~

1. Transformer学习

前篇指路:【Transformer】医学分隔领域的应用与扩展(论文阅读)(一)

继续…

关于Self-Attention的公式:

在这里插入图片描述
原来是 m x m 是2D的,现在变成1 x m了,是1D的了。

在这里插入图片描述
下图中。左图是传统的Transformer,右图是作者提出的“位置编码”。

关于 Q K V 的故事。可以参见之前记录过的:【DETR目标检测】关键词:Decod