《原始论文：Classifying Relations by Ranking with Convolutional Neural Networks》
《原始论文：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks》

一、概述

1、分类损失函数

• Softmax
  

• weighted softmax loss
  

• soft softmax loss
  

• L-Softmax loss
  

• L2-constrained softmax loss
  

• Contrastive Loss
  

2、问题的提出

CNN关系识别模型中是否存在一种更好的衡量损失函数？

远程监督学习中生成数据如何减轻噪音的影响?

CNN关系识别是否有更好的捕捉特征的结构?

3、研究成果

CRCNN通过改造损失函数,去除wordnet等复杂原始特征,SemEval-2010 Task 8 数据集做实验，达到较好的效果。

PCNN 通过多示例学习及将特征分片式提取在NYT数据集上获得较好的效果

4、历史意义

CRCNN通过rankloss将对CNN模型改造并通过数据验证其效果的可行性

PCNN是远程监督学习中运用神经网络的较早的实践,并提供了一个较好的baseline

5、CRCNN摘要核心

CRCNN比CNN+softmax更有效

通过移除了人造类别other提高了准召

使用简单特征达到the state-of-the-art的效果

6、PCNN摘要核心

提出多示例学习缓解远程监督学习数据噪声

提出一种新的网络结构PCNN

二、CRCNN模型

1、CRCNN模型结构

网络结构：

1. 位置特征
2. 词特征
3. 卷积+最大池化
4. Rankloss最大化正负样本边界
5. 对于other类特殊处理:loss 设置为0

2、CRCNN实验

三、PCNN模型

1、PCNN网络结构

网络结构：

• 词向量
• 位置向量
• 卷积
• 分片池化
• dropout

2、Piecewise Max Pooling

3、多示例学习

4、PCNN实验

与其他方法相比, Piecewise Max Pooling +Multi-instance Learning可以得到更好的结果

四、论文总结

1、关键点

CRCNN提出了新的损失函数

PCNN将多示例学习引入远程监督学习中

PCNN提出了新的模型结构

2、创新点

CRCNN验证了rankloss在关系识别问题上的有效性

PCNN模型结构成为远程监督学习的baseline

PCNN将多示例学习和关系识别联系在一起并验证其作用

3、启发点

更有效的网络结构与更符合任务的损失函数往往来自于对于baseline缺陷的理解和改进

多示例学习对于噪音数据的有效性

优化模型的方向:1.特征,2. 评估损失,3.网络结构,4.对于任务的定义与理解