[IJCAI | 论文解读] AttExplainer:通过强化学习的注意力机制来解释 Transformer
2023-02-18 16:47:59 时间
简读分享 | 乔剑博 编辑 | 王宇哲
论文题目
AttExplainer: Explain Transformer via Attention by Reinforcement Learning
论文摘要
Transformer 及其变体基于注意力机制构建,最近在许多 NLP 任务中取得了显著的性能。大多数现有的关于 Transformer 解释的工作倾向于以定性的方式揭示和利用具有人类主观直觉的注意力矩阵。然而,巨大的维度直接挑战了这些方法来定量分析注意力矩阵。因此,在本文中,作者提出了一种新的基于强化学习 (RL) 的框架,用于通过注意力矩阵进行 Transformer 解释,即 AttExplainer。RL 代理通过观察注意力矩阵的变化来学习执行逐步屏蔽操作。作者已经将作者的方法调整到两种场景,基于扰动的模型解释和文本对抗攻击。与最先进的基线相比,在三个广泛使用的文本分类基准上进行的实验验证了所提出方法的有效性。其他研究表明,作者的方法具有高度可转移性,并且与人类直觉一致。
论文链接
https://www.ijcai.org/proceedings/2022/0102.pdf
相关文章
- okhttp之StreamAllocation
- Java虚拟机运行时数据区介绍
- ClassLoader实现热修复的示例
- Flutter项目集成mqtt的过程记录
- Paint的setStrokeCap、setStrokeJoin、setPathEffect
- missing Change-Id in commit message footer
- 进程间通信的方式之Scoket——实现与AI鬼才聊天
- 进程间通信总结
- View的基础知识介绍
- incremental out directory should be set to aar output directory
- View的滑动实现方式
- 关于setContentView方法
- View的滑动冲突的分析和处理实践
- volatile引发的一个有趣的测试
- SSL/TLS 通信过程
- 大概是最详细的Glide流程图了
- 1505. 最多 K 次交换相邻数位后得到的最小整数
- [洗牌算法] - 从长度为m的int数组中随机取出n个元素,每次取的元素都是之前未取过的
- XMLHttpRequest has been blocked by CORS policy: No ‘Access-Control-Allow-Origin’ head
- Windows搭建Nginx直播推流服务器