zl程序教程

您现在的位置是:首页 >  其他

当前栏目

论文阅读《Knowing False Negatives》

论文 阅读 false
2023-09-14 09:13:20 时间

论文全名是: Knowing False Negatives: An Adversarial Training Method for Distantly Supervised Relation Extraction
一种针对远监督关系抽取的对抗训练方式

前言

  • 文章来源:CSDN@LawsonAbs
  • 推荐指数:★★★☆☆

1. 四大问题

1.1 出于什么动机?

Due to the incompleteness of current KBs, sentences implying certain realtions may be annotated as N/A instances, which causes the socalled false negative(FN) problem.

1.2 提出了什么方法?

propose a two-stage approach

  • mining: it finds out possible FN samples by heuristically leveraiging the memory mechanism of deep nural networks
  • it aligns those unlabeled data with the training data into a unified feature space by adversarial training to assign pseudo labels and further utilize the information contained in them.

1.3 使用什么数据集?

~

1.4 效果怎么样?

~

2. 内容

远监督的假设: if two entities participate in a relation in a KB, then any sentence containing this entity pair express this relation.
这个假设过强,同时会带来一些噪声,这种问题在 KB 不是一个专有语料库上时就非常严重。
于是有人将假设修改为:
if two entities participate in a relation, at-least-one sentence that mentions these two entities expresses this relation.

在这里插入图片描述

3. 问题

3.1 Gradient Reversal Layer 是什么?

~ 待深入

3.2 text 中怎么做CNN?

盲猜是通过ngram的形式,明天证实一下~

3.3 piecewise max pooling 是个什么操作?

3.4 Arpit et al., 2017 中的 clean sample 指的是什么?

为什么这篇论文说是 深度神经网络中总先学习到的是 clean samples?接着再是noisy samples? 这是一篇ICML 的工作,感觉十分不错。明天读一下~

4. 总结

这篇文章说的还可以,主要思想就是GAN+对比学习来解决DS中的FN问题。因为之前没有系统的研究过这个方向,所以实验结果不太清楚是好是坏,应该还可以的吧~
这篇论文给我带来了很多的新的问题,比如目录3中的几个疑问。