[KDD 2022 | 论文简读] GraphMAE: 自监督的掩码图自动编码器

简读分享 | 龙文韬 编辑 | 王宇哲

论文题目

GraphMAE: Self-Supervised Masked Graph Autoencoders

论文摘要

近年来，人们对自监督学习(SSL)进行了广泛的研究。特别是，生成性SSL已经在自然语言处理和其他领域取得了成功，例如BERT和GPT的广泛采用。尽管如此，对比学习(严重依赖于结构数据增强和复杂的训练策略)一直是图SSL的主要方法，而生成性SSL在图上的进展，特别是图自动编码器(GAEs)，到目前为止还没有达到其他领域相似的潜力。在本文中，作者确定并研究了对GAEs的发展产生负面影响的问题，包括其重建目标、训练鲁棒性和错误度量。作者提出了一个掩码图自动编码器GraphMAE，它缓解了生成性自监督图学习的这些问题。作者建议将重点放在特征重建上而不是结构重建上，同时使用掩码策略和缩放余弦误差，这有利于GraphMAE的鲁棒性训练。作者针对三种不同的图学习任务，在21个公共数据集上进行了广泛的实验。结果表明，GraphMAE(经过作者精心设计的简单图自动编码器) 能够持续达到优于对比性和生成性最先进基线的性能。本研究提供了对图自动编码器的理解，并展示了生成性自监督学习在图上的潜力。

论文链接

https://dl.acm.org/doi/10.1145/3534678.3539321