有效融合语言模型、图神经网络,文本图训练框架GLEM实现新SOTA
机器之心专栏
机器之心编辑部
蒙特利尔算法学习人工智能实验室(Mila)和微软亚洲研究院等单位提出文本图训练框架 GLEM [1],能够有效融合语言模型和图神经网络,取得 OGB 3 个数据集第一名。
- 主要单位:蒙特利尔算法学习人工智能实验室(Mila)、微软亚洲研究院等
- 论文地址:https://arxiv.org/abs/2210.14709
- 代码地址:https://github.com/andyjzhao/glem
引言
图 1:(a) 文本图 (b) 图神经网络 (c) 语言模型
图是一种普遍的数据结构,建模了节点之间的结构关系。在现实生活中,许多节点包含丰富的文本特征,这种图被称为文本图 (text-attributed graph [2])。例如,论文引用网络中包含了论文的文本和论文之间的引用关系;社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型,可以应用于节点分类、链路预测等任务中,具有广泛的应用价值。
文本图包含了两方面信息:节点的文本信息和节点之间的图结构信息。传统文本图的建模可以分为对文本建模和对图建模两个角度。其中,对文本的建模方式(如图 1.b 所示)通常采用基于 Transformer 的语言模型(LM)得到单个节点的文本表示,并对目标任务进行预测;对图建模的建模方式(图 1.c 所示)通常采用图神经网络(GNN),通过消息传播机制来建模节点特征之间的交互,并预测目标任务。
然而,两种模型只能分别建模文本图中的文本和图结构:传统语言模型无法直接考虑结构信息,而图神经网络无法直接对原始文本信息进行建模。为了同时建模文本和图结构,研究者们尝试将语言模型和图神经网络融合起来,同时更新两个模型的参数。但是,现有工作 [2, 3] 无法同时建模大量邻居文本,可拓展性差,无法应用在大文本图上。
GLEM 框架
为了更有效的融合图神经网络和语言模型,本文提出了 Graph and Language Learning by Expectation Maximization (GLEM) 框架。GLEM 框架基于变分期望最大算法(Variational EM),交替学习图神经网络和语言模型,从而获得了很好的可拓展性。
图 2:GLEM 框架
具体地,以节点分类任务为例,在 E 步 , GLEM 根据真实标签和图神经网络预测的伪标签训练语言模型;在 M 步 , GLEM 根据真实标签和语言模型预测的伪标签训练图神经网络。通过这种方式,GLEM 框架有效挖掘了局部的文本信息和全局的结构交互信息。通过 GLEM 框架训练好的图神经网络(GLEM-GNN)和语言模型(GLEM-LM)都可以用来预测节点标签。
实验
论文的实验部分主要从以下几个方面讨论 GLEM 框架:
- 有效性:GLEM 模型能够有效融合图神经网络和语言模型,对两种模型都有明显提升。GLEM 框架在 OGB 的三个文本图节点分类任务上取得了第一名。
- 可扩展性:通过交替训练图神经网络和语言模型,GLEM 框架可以同时训练大语言模型和深层 GNN。
- 无结构归纳推理(Structure-free inductive)能力:传统 GNN 模型在面对没有图结构的新节点时表现不佳。相比之下,GLEM-LM 仅使用文本特征(无需图结构)就能进行有效推理。
- 模型收敛:GLEM 使用 EM 迭代算法,在一些数据集上一次 EM 迭代即可收敛。
图 3:GLEM 框架在 OGBN-arxiv, products, papers100M 数据集上取得第一名
引用
[1] Zhao et al. Learning on Large-scale Text-attributed Graphs via Variational Inference. Arxiv Preprint '22.
[2] Yang et al. GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph. In NeurIPS '21.
[3] Zhu et al. TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search. In WWW '21.
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
相关文章
- 超级好用的 Java 数据可视化库:Tablesaw
- 采用开源Zabbix+500块硬件平替5万块动环检测系统,实现UPS、温湿度、烟雾等数据采集、存储、告警、大屏展示
- 驱动开发:WinDBG 常用调试命令总结
- 中小企业快速合规,快速部署开源堡垒机TELEPORT
- 驱动开发:监控进程与线程对象操作
- 客快物流大数据项目(九十六):ClickHouse的VersionedCollapsingMergeTree深入了解
- 软件测试|selenium屏幕操作事件TouchActions
- FPS游戏:视场角矩阵的特点
- Path Finder for Mac(强大的文件管理工具)v2149中文激活版
- 零售行业R公司对接亚马逊Amazon Device EDI项目案例
- FPS 游戏:快速寻找基址的方法
- 7min到40s:SpringBoot启动优化实践
- 客快物流大数据项目(九十九):Clickhouse中update/delete的使用
- 手把手教你使用CNN进行交通标志识别(已开源)
- 软件测试|selenium三种等待方式
- FPS游戏:实现人物定点瞬移
- 人力资源行业数据特点解析
- PE格式:实现PE文件特征码识别
- PE格式:实现VA与FOA之间的转换
- PE格式:导入表与IAT内存修正