高级API、异构图:谷歌发布TF-GNN,在TensorFlow中创建图神经网络
机器之心报道
编辑:陈萍
高效且友好的 TensorFlow GNN 库。
今天,TensorFlow 官方博客发布了 TensorFlow Graph Neural Networks(TensorFlow GNN)库 ,这个库使得用户在使用 TensorFlow 时能够轻松处理图结构数据。
此前,TensorFlow GNN 的早期版本已经在谷歌的各种应用中使用,包括垃圾邮件和异常检测、流量估计、YouTube 内容标记等。特别是,考虑到谷歌数据种类繁多,该库在设计时就考虑到了异构图。
项目地址:https://github.com/tensorflow/gnn
为何使用 GNN?
无论是在现实世界中,还是在我们设计的系统中,图无处不在。一组对象或是不同的人以及他们之间的联系,通常可以用图来描述。通常情况下,机器学习中的数据是结构化或关系型的,因此也可以用图来描述。虽然 GNN 的基础研究已经有几十年的历史,但近几年才取得一些进展,包括在交通预测、假新闻检测、疾病传播建模、物理模拟,以及理解为什么分子会有气味等。
图可以为不同类型的数据进行关系建模,包括网页(左)、社交关系(中)或分子(右)。
怎样定义图呢?简单来讲,图表示一组实体(节点或顶点)之间的关系(边)。我们可以描述每个节点、边或整个图,从而将信息存储在图的每一部分中。此外,我们可以赋予图边缘方向性来描述信息或信息流。
GNN 可以用来回答关于这些图的多个特征问题。GNN 可用于节点级任务,对图的节点进行分类,并预测图中的分区和相关性,类似于图像分类或分割。最后,我们可以在边缘级别使用 GNN 来发现实体之间的连接。
TensorFlow GNN
TF-GNN(TensorFlow GNN) 提供了在 TensorFlow 中实现 GNN 模型的构建块。除了建模 API 之外,该库还为处理图数据提供了可用工具,包括基于张量的图数据结构、数据处理 pipeline 和一些供用户快速入门的示例模型。
TF-GNN 工作流程组件
TF-GNN 库的初始版本包含许多实用程序和功能,供初学者和有经验的用户使用,包括:
- 高级 keras 风格的 API 用于创建 GNN 模型,可以很容易地与其他类型的模型组合。GNN 通常与排序、深度检索结合使用或与其他类型的模型(图像、文本等)混合使用;
- 定义良好的模式用来声明图拓扑结构,以及验证工具。该模式描述了其训练数据的大小,并用于指导其他工具;
- GraphTensor 复合张量类型,可以用来保存图数据,也可以进行批处理,并具有可用的图操作例程;
- GraphTensor 结构操作库:在节点和边缘上进行各种有效的 broadcast 和 pooling 操作,以及提供相关操作的工具;标准 baked 卷积库,机器学习工程师、研究人员可以对其轻松扩展;高级 API 可以帮助工程师快速构建 GNN 模型而不必担心细节;
- 模型可以从图训练数据编码,以及用于将此数据解析为数据结构的库中提取各种特征。
示例
下面示例使用 TF-GNN Keras API 构建了一个模型,该模型可以根据观看内容和喜欢的类型向用户推荐电影。
完成这项任务使用 ConvGNNBuilder 方法来指定边的类型和节点配置,即对边使用 WeightedSumConvolution(定义如下):
import tensorflow as tf
import tensorflow_gnn as tfgnn
# Model hyper-parameters:
h_dims = {'user': 256, 'movie': 64, 'genre': 128}
# Model builder initialization:
gnn = tfgnn.keras.ConvGNNBuilder(
lambda edge_set_name: WeightedSumConvolution(),
lambda node_set_name: tfgnn.keras.layers.NextStateFromConcat(
tf.keras.layers.Dense(h_dims[node_set_name]))
)
# Two rounds of message passing to target node sets:
model = tf.keras.models.Sequential([
gnn.Convolve({'genre'}), # sends messages from movie to genre
gnn.Convolve({'user'}), # sends messages from movie and genre to users
tfgnn.keras.layers.Readout(node_set_name="user"),
tf.keras.layers.Dense(1)
])
有时我们希望 GNN 性能更强大,例如,在上个示例中,我们可能希望模型在给出推荐电影时可以同时给出权重。下面代码片段中定义了一个更高级的 GNN,它带有自定义图卷积,以及带有权重边。下面代码定义了 WeightedSumConvolution 类可以将边值池化为所有边的权重总和:
class WeightedSumConvolution(tf.keras.layers.Layer):
"""Weighted sum of source nodes states."""
def call(self, graph: tfgnn.GraphTensor,
edge_set_name: tfgnn.EdgeSetName) -> tfgnn.Field:
messages = tfgnn.broadcast_node_to_edges(
graph,
edge_set_name,
tfgnn.SOURCE,
feature_name=tfgnn.DEFAULT_STATE_NAME)
weights = graph.edge_sets[edge_set_name]['weight']
weighted_messages = tf.expand_dims(weights, -1) * messages
pooled_messages = tfgnn.pool_edges_to_node(
graph,
edge_set_name,
tfgnn.TARGET,
reduce_type='sum',
feature_value=weighted_messages)
return pooled_messages
请注意,即使卷积是在只考虑源节点和目标节点的情况下编写的,TF-GNN 仍可确保它适用并可以无缝处理异构图(具有各种类型的节点和边)。
安装
这是目前安装 tensorflow_gnn 的唯一方法。强烈建议使用虚拟环境。
Clone tensorflow_gnn:
$> git clone https://github.com/tensorflow/gnn.git tensorflow_gnn
安装 TensorFlow:
$> pip install tensorflow
安装 Bazel:Bazel 需要构建包的源代码。安装步骤请参考:https://docs.bazel.build/versions/main/install.html
安装 GraphViz:这个包使用 GraphViz 作为可视化工具,安装因操作系统而异,例如 Ubuntu:
$> sudo apt-get install graphviz graphviz-dev
安装 tensorflow_gnn:
$> cd tensorflow_gnn && python3 -m pip install .
参考链接:
https://blog.tensorflow.org/2021/11/introducing-tensorflow-gnn.html
详解NVIDIA TAO系列分享第2期:
基于Python的口罩检测模块代码解析——快速搭建基于TensorRT和NVIDIA TAO Toolkit的深度学习训练环境
第2期线上分享将介绍如何利用NVIDIA TAO Toolkit,在Python的环境下快速训练并部署一个人脸口罩监测模型,同时会详细介绍如何利用该工具对模型进行剪枝、评估并优化。
TAO Toolkit 内包含了150个预训练模型,用户不用从头开始训练,极大地减轻了准备样本的工作量,让开发者专注于模型的精度提升。本次分享摘要如下:
- NVIDIA TAO Toolkit的独到特性
- TensorRT 8.0的最新特性
- 利用TAO Toolkit快速训练人脸口罩检测模型
- 利用TensorRT 快速部署人脸口罩检测模型
点击阅读原文,报名直播吧。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
相关文章
- openGL之API学习(六十九)水平同步 垂直同步「建议收藏」
- pycocotools一些api的用法记录
- Arcgis api for JavaScript下载及部署(IIS和Tomcat)
- 免费的api数据接口_期货数据接口api
- Openstack中api参数传递机制
- 抖音API接口_抖音榜单数据api接口
- Spring Security的项目中集成JWT Token令牌安全访问后台API
- 【Android 应用开发】Android 网络编程 API笔记 - java.net 包相关 接口 api
- 【Android 应用开发】Android 平台 HTTP网速测试 案例 API 分析
- 从 API 设计开始,了解一下 Golang 的新框架 Twirp
- Consul 的API
- 不知道今天吃什么?今天吃什么 API 告诉你
- MySQL Status Ndb_api_pk_op_count 数据库状态作用意思及如何正确
- 探索Linux系统 API 的乐趣(linux系统api)
- MySQL的API接口:快速、便捷的数据库访问方式(mysql的api接口)
- Linux编程API探索之旅(linux编程api)
- MySQL异步API:为高性能加载提升极限(mysql异步api)
- 使用C语言搭建MySQL数据库API(c语言mysql api)
- Oracle数据库入门指南API快速入门(oracle入门api)
- API连接MySQL数据库实现快速灵活的数据存取(api连mysql数据库)
- API实现MySQL数据库备份(api备份mysql)
- 如何使用MySQL下载API数据(mysql下载api数据)
- Oracle数据库中的中文API丰富性研究(oracle 中文api)
- 优化红色闪电 API优化加快网站速度(redis 网站api)
- 利用谷歌地图API获取点与点的距离的js代码
- javascript使用call调用微信API
- 浅谈使用PHP进行手机APP开发(API接口开发)