[Nature Communications | 论文简读] 用于人工神经网络持续学习的大脑启发回放
2023-02-18 16:47:50 时间
简读分享 | 乔剑博 编辑 | 李仲深
论文题目
Brain-inspired replay for continual learning with artificial neural networks
论文摘要
人工神经网络遭受灾难性遗忘。与人类不同,当这些网络接受新事物的训练时,它们会迅速忘记之前学到的东西。在大脑中,一种被认为对保护记忆很重要的机制是代表这些记忆的神经元活动模式的重新激活。在人工神经网络中,这种记忆重放可以实现为“生成重放”,即使在类增量学习场景中,它也可以成功地——而且出人意料地有效地——防止对toy示例的灾难性遗忘。然而,将生成重放扩展到具有许多任务或复杂输入的复杂问题是一项挑战。作者提出了一种新的、受大脑启发的回放变体,其中回放由网络自身生成的内部或隐藏表示,上下文调制的反馈连接。作者的方法在不存储数据的情况下在具有挑战性的持续学习基准(例如,CIFAR-100 上的类增量学习)上实现了最先进的性能,并且它提供了一种在大脑中重播的新模型。
论文链接
https://www.nature.com/articles/s41467-020-17866-2
相关文章
- 为typecho文章页添加百度收录检测 2.0
- Typecho添加emoji表情
- Typecho 添加访问提示
- Typecho cuteen主题美化(未完待续~)
- Typecho生成海报(cuteen主题版)
- Typecho 添加悬挂猫
- 盘点一下国内十大免费CDN
- NGINX日志切割
- Nginx 的配置文件 nginx.conf
- Acrobat 8安装步骤-所有版本的Acrobat PDF编辑器
- Acrobat 9 Pro软件安装教程-所有版本的Acrobat PDF编辑器
- Adobe Acrobat DC2020(PDF 阅读、编辑、转换-所有版本的Acrobat PDF编辑器 Adobe Acrobat Pro DC 2020是
- Adobe Acrobat 9 Pro安装破解法(附下载地址)-所有版本的Acrobat PDF编辑器
- CleanMyMac2023最新版激活安装下载教程
- FL2023中文版水果软件下载Fruity Loop Studio21
- 解决Ubuntu系统无法连接网络
- 『教程』首页及文章页滚动广告栏
- Redhat8.0本地Yum源配置方法
- XDD-PLUS登录不上或者登录失败解决方法
- PanDalMG(熊猫图床)一款全新的国内公益图床