【华盛顿大学&&Facebook&&含源码】上下文元学习（Meta Learning）--学习如何学习

引言

Meta Learning 元学习或者叫做 Learning to Learn 学会学习已经成为继Reinforcement Learning 增强学习之后又一个重要的研究分支（以后仅称为Meta Learning）。对于人工智能的理论研究，呈现出了：人工智能、机器学习、深度学习、强化学习、元学习这样的演化趋势。

今天要给大家分享的同样是华盛顿大学联合Facebook/Meta最新发表的一篇文章：MetaICL: Learning to Learn In Context (上下文的元训练)。

论文及源码下载链接在文章后面。

正文开始

1

文章背景

Brown 等人证明了大型语言模型 (LM) 能够进行上下文学习，它们学习新任务仅仅是通过几个训练例子和预测哪个标记最适合完成测试输入。这种学习是很有吸引力，因为模型仅通过推理来学习新任务，无需任何参数更新。 然而，性能明显落后于有监督的微调，结果通常会具有较高的方法并且很难设计将现有任务转换为这种格式所需的模板。

在该文章中，作者通过引入 MetaICL：上下文学习的元训练来解决上面遇到的问题。MetaICL在大量任务上调整预先训练的语言模型，以学习如何在上下文中学习，并在严格新的未知任务上进行评估。每个元训练示例都与测试设置相匹配——它包括来自一个任务的k + 1个训练示例，这些示例将作为单个序列一起呈现给语言模型，最后一个示例的输出将用于计算交叉熵训练损失。在这个数据设置中简单地微调模型直接导致更好的上下文学习——模型学会从给定的示例中恢复任务的语义，就像在测试时对新任务的上下文学习必须做的那样。这种方法与最近的工作有关，该工作使用多任务学习在测试时获得更好的零样本性能，然而，MetaICL 是不同的，因为它允许仅从 k 个示例中学习新任务，而不依赖于任务重新格式化（例如，将所有内容简化为问答）或任务特定模板（例如，将不同的任务转换为语言建模问题）。

文章在142个NLP数据集(包括分类、问答、自然语言推断、意译检测等)上进行了大规模、多样化的实验，横跨7个不同的元训练/目标分割。MetaICL优于一系列基线，包括无元训练的情境学习和多任务学习，以及零样本迁移。作者发现，对于从元训练任务中有领域转移的目标任务，这种收获尤其显著，并且使用多样化的元训练任务是改进的关键。文章还表明，MetaICL接近(有时甚至超过)在目标任务训练数据上进行完全微调的模型的性能，并优于具有近8倍参数的更大的模型。

2

MetaICL模型介绍

MetaICL：In Context Learning 的元训练。下表 1 提供了该方法的概述。其核心思想是在大量元训练任务集合上使用多任务学习方案，以使模型学习如何在一组小的训练示例上进行条件设置，恢复任务的语义，并基于该任务预测输出。按照之前的文献(Brown et al.， 2020)，将训练示例串联起来，作为模型的单一输入，这对于k-shot学习是可行的(例如，k = 16)。在测试时，模型在一个带有k个训练示例的看不见的目标任务上进行评估，推理直接遵循与元训练相同的数据格式。

模型训练

该模型在一系列任务上进行元训练，我们称之为元训练任务。对于每次迭代，对一个元训练任务进行采样，并从所选任务的训练示例中采样 k + 1 个训练示例 (x1, y1), · · · ,(xk+1, yk+1)。然后，我们通过将 x1、y1、···、xk、yk、xk+1 的串联作为输入提供给模型来监督模型，并训练模型使用负对数似然目标生成yk+1。这模拟了推理时的上下文学习，其中前k个例子作为训练例子，最后(k + 1)个例子作为测试例子。

推理

对于一个新的目标任务，模型有k个训练样例 (x1, y1), · · · ,(xk, yk) 以及一个测试输入 x。它还给出了一组候选 C，它是一组标签（在分类中）或答案选项（在问答中）。与元训练一样，该模型将 x1, y1, · · · , xk, yk, x 的串联作为输入，并计算每个标签 ci ∈ C 的条件概率。返回条件概率最大的标签作为预测输出。

MetaICL通道

继Min等人(2021)之后，文章引入了一种MetaICL的噪声信道变体，称为channel MetaICL。在噪声信道模型中，P(y|x)被重新参数化为

并遵循Min等人(2021)使用P(y) = 1/|C|和建模P(x|y)，这允许我们通过简单地翻转xi和yi来使用通道方法。具体来说，在元训练时，给模型一个y1, x1，···，yk, xk, yk+1的串联，并训练生成xk+1。推论时，模型计算：

3

实验结果

1、实验结果表明，MetaICL 始终优于基线，其中包括：(1) 各种没有元训练的 LM 上下文学习基线；(2) 多任务学习以及零样本转移。对于从元训练任务中有领域转移的目标任务，这种优势尤为明显。

2、MetaICL通常接近(有时甚至超过)通过对目标数据集进行监督微调训练的模型的性能，并且与使用8x参数的模型一样出色。

Paper&&Code

论文题目：MetaICL: Learning to Learn In Context

论文链接：https://arxiv.org/pdf/2110.15943v1.pdf

代码链接：https://github.com/facebookresearch/metaicl