[EMNLP 2022 | 论文简读] CyCoSeg:基于掩码自编码器的检索预训练语言模型
2023-02-18 16:47:52 时间
简读分享 | 赵晏浠 编辑 | 陈兴民
论文题目
RetroMAE: Pre-Training Retrieval-oriented Language Models Via Masked Auto-Encoder
论文摘要
尽管预训练在许多重要的 NLP 任务中取得了进展,但仍然需要探索有效的密集检索预训练策略。在本文中,我们提出了 RetroMAE,一种基于掩码自动编码器 (MAE) 的新的面向检索的预训练范例。RetroMAE 突出了三个关键设计。1) 一种新颖的 MAE 工作流程,其中输入句子被不同掩码的编码器和解码器污染。句子嵌入是从编码器的屏蔽输入中生成的;然后,通过掩码语言建模,基于句子嵌入和解码器的掩码输入恢复原始句子。
2)非对称模型结构,以全尺寸BERT like transformer作为编码器,以一层transformer作为解码器。
3) 非对称屏蔽率,编码器比例适中:15~30%,解码器激进比例:50~70%。我们的框架易于实现且在经验上具有竞争力:预训练模型显着提高了 SOTA 在广泛的密集检索基准(如 BEIR 和 MS MARCO)上的性能。
论文链接
https://arxiv.org/abs/2205.12035
相关文章
- 短链接 url 压缩程序 Polr
- 驱动开发:DKOM 实现进程隐藏
- Nginx typecho Access denied
- 驱动开发:内核读取SSDT表基址
- 驱动开发:驱动与应用的简单通信
- 360 前端静态资源库
- 详解UDS CAN诊断:SecurityAccess Service(SID:0X27)
- WannaCry 勒索病毒
- MyBatis实现增删改查
- @EnableCaching如何一键开启缓存
- 驱动开发:恢复SSDT内核钩子
- 开局一张图,构建神奇的 CSS 效果
- 驱动开发:挂接SSDT内核钩子
- typecho 应对垃圾评论
- Windows 双宽带双网卡
- 驱动开发:WinDBG 配置内核双机调试
- typecho1.2 (18.10.23) 新窗口打开链接
- kafka单条消息过大导致线上OOM,运维连夜跑路了!
- Rime 小狼毫 五笔输入法自定义短语
- Spring Boot整合分布式搜索引擎ElasticSearch 实现相关基本操作