图神经网络学习笔记-05进阶模型

ERNIESage

背景：Text Graph

就是节点与边带有文本的特殊图

如何对Text Graph建模？

原有的方法：

只关注结构信息：GraphSage

退化成文本理解：ERNIE

但是！

ERNIE

ERNIE1.0核心思想：知识增强

ERNIE2.0核心思想：持续学习

总之：

ERNIE是百度推出的语义理解技术

1.世界领先的性能

2.广泛的应用前景

• 我们只需黑盒使用即可，像这样：

from models.ernie_model.ernie import ErnieModel
ernie = ErnieModel(src_ids=text_ids...)

ERNIESage Node

ERNIE 作用于Text Graph的Node（节点）上

ERNIESage Edge

ERNIE聚合Text Graph的Edge（边）上信息

ERNIESage 1-Neighbor

将中心节点的文本与所有一阶邻居节点文本进行单塔拼接，再利用ERNIE 做消息聚合。

问题：

1.如何确保在输入时邻居不带有顺序？

针对问题1：独立的位置编码

2.如果邻居数量过多，如何建模？

针对问题2：对邻居进行采样

UniMP

融合标签传递和图神经网络的统一模型

模型结构