学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能
2023-09-27 14:19:44 时间
一、前言
对抗性权值扰动改善图神经网络的泛化性能。2022 ICLR Reject,2023 AAAI Accept。
论文地址:Adversarial Weight Perturbation Improves Generalization in Graph Neural Network
关键词:WT-AWP、Non-IID、鲁棒 GNN、泛化性
大量的理论和经验实证表明,更平坦的局部最小值倾向于提升泛化性(generalization)。对抗性权值扰动(Adversarial Weight Perturbation,AWP)是寻找此类 minima 一种高效且有效的新兴技术。在 AWP 中,最小化模型参数最坏情况的有界扰动相关的损失,从而有利于找到局部极小值,并且在其周围的邻域中损失很小。AWP 的好处,以及更一般的平坦性和泛化性(flatness and generalization)之间的联系,已经在 IID 数据上被广泛研究的,如 Images。这篇论文首次对图结构数据的这一现象进行了广泛研究,在此过程中,我们首先推导了 Non-IID 的一般化界限,节点分类任务。作者发现了一个所有现有的 AWP 公式相关的梯度消失问题,进而提出加权截断 AWP(WT-AWP)以缓解这一问题。结果表明,使用 WT-AWP 对图神经网络进行正则化,可以在许多不同的图学习任务和模型之间提高自然泛化和鲁棒泛化。
一个关键的基本问题是,深度神经网络模型具有许多不同的局部极小值,尽管在训练和验证数据上具有几乎相同的性能,但它们的泛
相关文章
- 神经网络与机器学习 笔记—改善反向传播的性能试探法
- 《Java性能优化权威指南》
- LuaJIT性能热点函数优化
- 前端性能优化--为什么DOM操作慢? 浅谈DOM的操作以及性能优化问题-重绘重排 为什么要减少DOM操作 为什么要减少操作DOM
- 使用 BenchmarkDotnet 测试代码性能 【Win10】单元测试中捕获异步方法的指定异常
- matlab学习笔记6--性能剖析
- 利用Axes3D绘制三维性能曲面
- 性能测试技术笔记(二):如何准备测试环境和数据
- 云时代的应用性能管理(APM)
- ORACLE性能优化之SQL语句优化
- 【性能测试】理论学习笔记
- Cocos平台集成AGC性能管理(一)—— Cocos应用发布
- 《PostgreSQL 9.0性能调校》一一1.2 使用PostgreSQL还是其他数据库
- 《PostgreSQL 9.0性能调校》一一2.2 可靠的控制器及磁盘安装
- 《T-SQL性能调优秘笈——基于SQL Server 2012 窗口函数》——1.7 小结
- Nvidia GPU 入门教程之 03 在 GPU 上运行 Python 脚本,对比cpu与gpu性能,检测a100性能(教程含源码)
- ZooKeeper Observers解决节点过多时写性能下降问题
- Android性能优化-ListView自适应性能问题
- Web性能--TCP的构成
- 为什么数据库读写分离可以提高性能?