【论文笔记】An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking
An End-to-end Approach for Handling Unknown Slot Values in Dialogue State Tracking
概要
动机
以前的方法通常假设预定义的候选列表,这些方法通常依赖于固定本体上的分类,或通过枚举候选列表分别对每个槽值对进行评分,输出列表中每个值的概率分布,因此不被设计来输出未知槽值。
贡献
作者提了一种基于指针网络 (PtrNet) 的 E2E 架构,它本质上以提取方式执行状态跟踪,类似于 SLU 中常用于插槽标记的序列标记技术,它可以有效地提取未知的插槽值,并且在标准的 DSTC2 基准上获得最先进的精度。
- 首先,作者的目标是 DST 中一个非常实用但很少被研究的问题,即在没有预定义本体的情况下处理未知的插槽值。
- 其次,作者提出了一种基于 PtrNet 的无 SLU 的新 E2E 架构来执行状态跟踪。
- 最后,作者还引入了一种有效的退出技术来训练该模型,它极大地提高了未知槽值的召回率。
模型
PtrNet
在 PtrNet 架构中,类似于其他序列对序列 (seq2seq) 模型,有一个编码器,它接收输入并迭代地生成与每个输入位置的特征向量对应的一系列隐藏状态序列。还有一个解码器,它在加权编码状态的帮助下生成输出,其中权重是通过注意来计算的。在这里,解码器不是使用软 max 来预测一组预定义的候选对象上的分布,而是直接正常化每个位置的注意力分数,并获得输入序列上的输出分布。最大概率的索引是点位置,选择相应的元素作为解码器输出,然后输入到下一个解码步骤。编码器和解码器都基于各种 RNN 模型,能够处理可变长度的序列。
PtrNet 专门针对输出对应于输入序列中位置的问题,广泛用于 seq2seq 任务,需要从输入进行 seq 复制。在其各种应用中,机器理解(一种问题回答的形式),如在(王和江,2016),是最接近我们如何将该模型应用于 DST 的。
DST 的输出与机器理解一样,大部分时间都是输入序列中的一个字段,因此可以自然地表述为一个指向问题。解码器不必生成更长的输出序列,而只需要预测开始索引和结束索引,以识别字段。
DST Model
- 针对用户和系统的文本第一个词前面添加一个表明角色的词,如
<sys>
和<usr>
; - 通过一个 BiLSTM 将系统和用户的文本连接起来,并得到最终的隐藏层状态表征 h_t^f;
- BiLSTM 得到的表征使用一个分类器。这里使用分类器的最主要原因是,针对某个具体的 slot,有可能是用户根本就未曾提供该信息(对应
nonpointable
),也有可能是用户并不关心该 slot 的值(对应dontcare
)等等,针对这些情况,显然是无需也不必在对话历史中找到某个具体的词或短语作为 slot value 的,因此需要使用一个分类模型,当分类结果为other
的时候才需要使用后面要提到的 pointer network; - 如果分类模型结果为
other
的时候,通过 pointer network 针对 encoder 的输入,在其上做 point,这个过程分为两步:第一步预测一个 value 的起始点,第二步预测该 value 的终止点。因此这两步一起组成一个 decoder,这个 decoder 的初始输入是待考察 slot 的类型
其计算过程如下:
首先第一步解码计算开始索引 s^0:
然后第二步解码计算结束索引 s^1:
$$ a_i^1 = exp(ui^1)/ \sum{j = 0}^{t} exp(u_j^1) \ s^1 = arg \text{} \underset{i}{max} \text{} a_i^1 $$ 最后,文中也使用了一些 dropout 的方法,即针对那些出现次数过于频繁的值,以某种概率将训练集中的该词 embedding 替换为 0,从而让模型能够更多的从上下文结构中学习到该词。
实验
数据集
使用 DSTC2 数据集(亨德森等人,2014a)和 Bobies 对话数据集(2016)上进行实验。
结果
相关文章
- 发现 Linux SpaceFM 文件管理器的威力
- 夯实数据智能底座 共筑数字经济发展“新基石”
- 五分钟教你使用console.log发布公司的招聘信息
- 微软发布 Windows 11 Beta 预览版 Build 22621.1250 和 22623.1250 (KB5023008)
- Windows 11 学院:在 Windows 11 Build 25290 上如何为文件管理器启用标签页拖拽支持
- 微软Windows 11 Dev 预览版 Build 25290 发布:带来新的开始菜单提醒角标
- 微软正用全屏通知提醒 Windows 10 用户免费升级 Windows 11,要点击 5 次才能退出
- Linux Mint 21.2 将于 6 月发布:改进登录屏幕,优化 Pix 图像管理程序等等
- 字节面试也会问SPI机制?
- 微软正式停售 Windows 10 产品密钥 / 许可证:继续提供 ISO 镜像下载,推荐用户升级 Windows 11
- 用复古电脑程序 Toy CPU 学习低级编程
- Windows 11 新功能泄露:现代音量合成器、实验工具和新的文件管理器
- 微软 Windows 11 文件资源管理器全新设计曝光:UI 迎来大修,整合 Microsoft 365
- 对比Pandas,学习PySpark大数据处理
- 微软宣布为Windows 11 21H2设备开启自动更新到22H2版本
- 互联网都在说降本增效,小红书技术团队是怎么做的?
- 微软将继续提供 Windows 10 ISO 镜像下载,即将停售产品密钥 / 许可证
- 微软宣布为Windows 11 21H2 设备开启自动更新到 22H2 版本
- 面试突击:Properties和Yml有什么区别?
- 微软 Windows 11 Beta 预览版 22621.1245 和 22623.1245 (KB5022358) 发布