引言

在深度神经网络中，捕获远程依赖关系至关重要。对于顺序数据 (例如，在语音，语言中)，递归操作 [38,23] 是长期依赖关系建模的主要解决方案。对于图像数据，长距离依赖关系是通过堆叠卷积层形成的大接收场建模的

卷积和递归操作都在空间或时间上处理局部邻域; 因此，只有在重复应用这些操作并在数据中逐步传播信号时，才能捕获远程依赖性。重复本地操作有几个限制。首先，它的计算效率低下。其次，它会导致优化困难，需要仔细解决 [23,21]。最后，这些挑战使多跳依赖项建模变得困难，例如，当需要在遥远的位置之间来回传递消息时。

在本文中，我们将非本地操作作为一种有效，简单且通用的组件，用于使用深度神经网络捕获long range依赖性。我们提出的非局部运算是计算机视觉中经典非局部平均运算 [4] 的推广。直观地，非本地操作将某个位置的响应计算为输入特征图中所有位置的特征的加权和 (图1)。位置集可以是空间，时间或时空，这意味着我们的操作适用于图像，序列和视频问题

使用非本地操作有几个优点 :( a) 与递归和卷积操作的渐进行为相反，非本地操作通过计算任意两个位置之间的交互直接捕获远程依赖关系，而不管它们的位置距离; (b) 正如我们在实验中展示的那样，非本地操作是高效的，即使只有几个层 (例如，5) 也能达到最佳效果; (c) 最后，我们的非本地操作保持可变的输入大小，并且可以轻松地与其他操作结合 (例如，我们将使用的卷积)

相关工作

非局部图像处