论文解读(Graph Barlow Twins)《Graph Barlow Twins: A self-supervised representation learning framework for graphs》
论文信息
论文标题:Graph Barlow Twins: A self-supervised representation learning framework for graphs
论文作者:Piotr Bielaka, Tomasz Kajdanowicza, Nitesh V. Chawlab
论文来源:2022,arXiv
论文地址:download
论文代码:download
1 Abstract
针对的问题依然是:对比学习需要负采样。
本文的解决方法:Graph Barlow Twins,利用一个基于互相关的损失函数,而不是负样本。
2 Introduction
最近的对比学习流行无负采样的策略,一些相关典型的工作:BYOL [6]、SimSiam [3]、Barlow Twins [28] 。这些模型使用 siamese network architectures 并采用一些 asymmetry 、batch and layer normalizations 去防止崩塌到平凡解。【此处我不能理解,为何有此一说】
3 Proposed framework
整体框架如下:
3.1 Generating graph views via augmentation
通过数据增强 edge dropping 和 node feature masking 分别生成 两个增强图 $\mathcal{G}^{(1)}$ 、$\mathcal{G}^{(2)}$ 。
-
- 对于 edge dropping 根据 $\mathcal{B}\left(1-p_{A}\right)$ mask 大小为 $|\mathcal{E}|$ 的边;
- 对于 node feature masking 根据 $\mathcal{B}\left(1-p_{X}\right)$ mask 大小为 $k$ 的节点;
3.2 Encoder network
3.3 Loss function
${\large \mathcal{C}_{i j}=\frac{\sum\limits_{b} Z_{b, i}^{(1)} Z_{b, j}^{(2)}}{\sqrt{\sum\limits _{b}\left(Z_{b, i}^{(1)}\right)^{2}} \sqrt{\sum\limits_{b}\left(Z_{b, j}^{(2)}\right)^{2}}}} $
上述 cross-correlation matrix $\mathcal{C}$ 通过 Barlow Twins loss function $\mathcal{L}_{\mathrm{BT}}$ 进行优化:
$\mathcal{L}_{\mathrm{BT}}=\sum\limits _{i}\left(1-\mathcal{C}_{i i}\right)^{2}+\lambda \sum\limits_{i} \sum\limits_{j \neq i} \mathcal{C}_{i j}{ }^{2}$
其中,$\lambda\gt 0$ 代表权衡参数,原作者设置为 $\frac{1}{d}$ ,但是我们也可以自己通过超参数调优设置。
公式含义:要求 节点 $i$ 自身的互相关性趋于 $1$,对于节点 $i$ 和 节点 $j \ne i$ 之间的互相关性趋于 $0$。
4 Experiments
数据集
节点分类
实验细节
对于超参数,和Encoder 的设计得自己去看代码,本文超参数基本上是通过网格搜索获得的,Encoder 也没有和基准设置一样。
5 Conclusions
扯皮
改论文 1 年前我就看过了,今天只不过以博客形式记录一下,毕竟还是有点东西可以学习的,但是该论文质量显然达不到当前水平。
[19] 这篇文献是1990 年的,第一次提出了自监督的概念。
相关文章
- 谈谈一篇学术科研论文该怎么写
- 1000套安卓(Android)毕业设计(带论文)、大作业、实例快速下载 (Android Studio)
- 【论文阅读】Curriculum Meta-Learning for Next POI Recommendation
- Oxford-Man Institute:十月论文推荐
- 【论文阅读】Hierarchical multi-task graph recurrent network for next POI recommendation
- 【论文阅读】ST-PIL: Spatial-Temporal Periodic Interest Learning for Next Point-of-Interest Recommendation
- 【论文阅读】DynaPosGNN:Dynamic-Positional GNN for Next POI Recommendation
- 【论文笔记】Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking
- [AI安全论文] 26.基于Excel可视化分析的论文实验图表绘制总结——以电影市场为例
- 如何全面掌握图机器学习?西南财大最新《图学习》全面梳理总结448篇论文
- STABLE Diffusion 权重公布! 注册可下载使用论文速递2022.8.25!
- ECCV2022 | 光流的半监督学习,精度更高!代码开源!论文速递2022.10.12!
- 论文/代码速递2022.11.10!
- LOAM论文和程序代码的解读
- [JCIM | 论文简读] DOCKSTRING:一种为配体设计提供更好基准的简单分子对接技术
- 文献论文管理工具EndNote 20.4 Mac破解版EndNote 20.4 for Mac英文破
- 使用 LaTeX 进行论文写作
- 达摩院首次将Pure Transformer模型引入目标重识别,论文入选ICCV 2021
- 华人一作占半数,陶大程等人上榜,CVPR公布32篇最佳论文候选
- 【论文笔记】Efficient Context and Schema Fusion Networks for Multi-Domain Dialogue State Tracking
- MySQL使用For循环实现数据操作(mysql写for循环)
- 进程探索Linux中For循环进程管理(linux中for)
- 循环使用Oracle数组实现For循环(oracle数组for)
- Linux下如何优雅地使用For循环(linux下for循环)
- MySQL中使用FOR循环快速编写函数(mysql函数for)
- Oracle数据库优化的研究与实践(oracle 优化 论文)
- 循环Oracle环境下使用For循环的指南(oracle中使用for)
- 遍历Oracle中用For反向遍历字符串的简单示例(oracle中for反向)
- 与Oracle中的FOR语句实现数据删除(oracle中for删除)