Nat. Bio. Eng. | 社论：情境学习几乎能满足你所有需求

编译 | 程宁

2022年12月23日，《Nature Biomedical Engineering》编辑部发表社论“Contextual learning is nearly all you need”，对利用上下文信息与大型未标记多模态数据集的transformer和图神经网络在计算医学领域的可能性进行了论述。

文章首先引用了ChatGPT通过输入提示“用约600个单词讨论图神经网络如何利用空间上下文用于病理学和放射学”的输出内容，展示了ChatGPT生成语言的优越性。ChatGPT是一个基于GTP3.5 transformer模型的原型通用聊天机器人，是具有编码器-解码器架构和约2000亿个参数的大型语言模型。

Transformer模型功能强大，ChatGPT已通过自监督学习在2021年之前可用的互联网语料库上进行了训练，如伪掩码语言建模，并通过自注意力机制利用上下文线索学习单词的含义，增强部分输入数据以提高其整体表现，例如，自注意力机制使算法在输入序列中考虑单词上下文，以更好地将单词转换为数字表示并保留句子中单词之间关系。在应用自注意力之前，Transformer将标记好的文本映射为离散变量的连续低维向量表示，并使用位置编码来表示词序。解码输出涉及交叉注意力(即通过其他嵌入来计算一类数据的注意力分数)和多头注意力(或并行运行的多个注意力机制)。

因此，Transformer通过上下文线索学习单词含义和语言结构，根据输入查询反复预测下一个单词，可以完成生成新文本、总结故事、重新排序打乱的文本、识别讨论中的热门话题、编写代码等任务。由于Transformer可以学习任意输入数据的表示，因此也被用于构建从文本提示生成图像的模型。此类模型的输出质量很大程度上取决于训练数据的质量。虚假数据关联可能会使模型产生信息幻觉，导致模型提供看似合理但错误的信息，并且可以轻易修改现有的数据集。如图1所示，Transformer仅根据提示就完成了对现有图像的合理修改。

图1 右图为OpenAI的Transformer DALL-E 2模型对于提示“一只女性的手和一只人工智能机器人的手”连续修改左图图像的内容

Transformer的一个主要优势是它不需要对训练数据进行标注，可以在无监督的情况下对图像进行分类。如Pranav Rajpurkar（https://doi.org/10.1038/s41551-022-00936-9）使用自监督模型检测未标记胸部X光图像中病理的存在。该模型使用一个文本转换器和一个视觉转换器，通过对比学习(一种预测成对样本是否相关的方法)从与每个X光图像相关的原始放射学报告中学习病理特征。该模型利用放射学报告作为上下文线索学习X光图像中的病理特征。

空间上下文可以提高病理学中机器学习任务的性能。正如Marinka Zitnik在（https://doi.org/10.1038/s41551-022-00942-x）文章中讨论的那样，图网络（即相互连接的节点和边的集合）适合任何可以映射为网络的系统，如医学图像中的细胞、组织块网络，及电子健康记录中的医疗代码和概念网络。此外，该期Nature Biomedical Engineering还包含了其他三篇将图神经网络运用在病理学任务中的文章。

James Zou, Aaron Mayer和Alexandro Trevino（https://doi.org/10.1038/s41551-022-00951-w）通过多重免疫荧光在头颈癌和结肠直肠癌患者的组织标本中获得空间蛋白谱，用于训练图神经网络来模拟肿瘤微环境，从而可以通过空间基序来研究癌症复发和治疗后患者的情况。Sunghoon Kwon（https://doi.org/10.1038/s41551-022-00923-0）表明在肿瘤影像中，图深度学习可用于在肿瘤微环境中推导出可解释的上下文组织病理学特征，这些特征可以预测患者的预后情况。正如Faisal Mahmood（https://doi. org/10.1038/s41551-022-00924-z）在News & Views上所说，上下文感知图神经网络处于无法访问任何上下文的模型和访问完整空间上下文的模型(如视觉转换器)之间，并包含一定程度的归纳偏差或假设，允许模型进行归纳概括。在本刊的另一篇研究文章中，Mahmood（https://doi.org/10.1038/s41551 -022-00929-8）展示了自监督学习的另一种应用：首先搜索千兆像素全玻片图像获得组织补丁，然后训练变分自动编码器来表示每张幻灯片中选择的补丁，利用基于不确定性的排名和树结构数据来检索和查询匹配度最高的补丁，从而提高速率和可扩展性。

正如Joseph Wu（https://doi.org/10.1038/s41551-022-00898-y）在一篇Review中所述，在医学和健康领域的应用，公开发布预训练模型可以促进医疗保健环境中从模型构建到模型部署的转变。这是由于Transformer、图表示学习和其他自监督深度学习模型需要大型无标记数据集进行预训练，从而提高下游任务的性能。事实上，正如Rayan Krishnan, Pranav Rajpurkar和Eric Topol（https://doi.org/10.1038/s41551-022-00914-1）在一篇Review中总结的，“利用多模态数据的自监督学习能够创建更好地‘理解’潜在生理机能的高性能模型”。ChatGPT也同意这一观点，并补充“高质量的上下文对ChatGPT的表现至关重要”。

参考资料

[1] Floridi, L. & Chiriatti, M. Minds and Machines 30, 681–694 (2020).

[2] Vaswani, A. et al. In Proc. 31st International Conference on Neural Information Processing Systems (NIPS) 6000–6010 (Curran Associates, 2017).

[3] ChatGPT: Optimizing Language Models for Dialogue (OpenAI, 2022); https://openai.com/blog/chatgpt/