DeepMind 发布强化学习通用算法 DreamerV3,AI 成精自学捡钻石
By 超神经
内容一览:强化学习是多学科领域的交叉产物,其本质是实现自动决策且可做连续决策。本文将介绍 DeepMind 最新研发成果:扩大强化学习应用范围的通用算法 DreamerV3。
关键词:强化学习 DeepMind 通用算法
北京时间 1 月 12 日,DeepMind 官方推特发文,正式官宣 DreamerV3,这是首个能在游戏「我的世界」(Minecraft) 中不参考人类数据,就能从头开始收集钻石的通用算法,解决了 AI 领域中的又一重要挑战。
DeepMind 在推特官宣 DreamerV3
强化学习扩展成问题,发展还需通用算法
强化学习使得计算机可以通过互动解决某一任务,如 AlphaGo 在围棋比赛中战胜人类,OpenAI Five 在 Dota 2 中战胜业余人类玩家。
OpenAI Five 在比赛中战胜人类玩家
研发团队与人类玩家合照
然而,要想将算法应用于新的应用场景,如从棋盘游戏转到视频游戏或机器人任务,就需要工程师不断开发专门的算法 (specialized algorithms),如连续控制、稀疏奖励、图像输入以及 spatial environments 等。
这要求大量的专业知识和计算资源来微调算法,极大阻碍了模型的扩展。创建无需调优就能学习掌握新 domain 的通用算法,成为扩大强化学习应用范围、解决决策问题的重要途径。
由此,由 DeepMind 和多伦多大学联合研发的 DreamerV3 应运而生。
DreamerV3:基于世界模型的通用算法
DreamerV3 是一种基于世界模型 (World Model) 的通用和可扩展的算法,能在固定超参数的前提下,应用于广泛域 (domain),比专门的算法更出色。
这些 domain 包括连续动作 (continuous action) 和离散动作 (discrete action),视觉输入和低维输入,2D 世界和 3D 世界,不同的数据预算、奖励频率和奖励尺度等。
DreamerV3 通用算法与专门算法性能对比
DreamerV3 由 3 个从回放经验 (replayed experience) 中同时训练,且不共享梯度的神经网络组成:
1、world model:预测潜在动作的未来结果
2、critic:判断每种情况的 value
3、actor:学习如何使有价值的情况成为可能
DreamerV3 的训练过程
如上图所示,world model 将 sensory input 编码为一个离散表征 zt。zt 由一个具备 recurrent state ht 的序列模型预测得出,并给出动作 at。input 被重构为学习信号 (learning signal) 进而 shape 表征。
actor 和 critic 从 world model 预测的抽象表征 trajectory 中学习。
为了更好地适应跨域任务,这些组件需要适应不同的信号强度 (signal magnitudes),并在其目标中稳健地平衡 terms。
工程师在超过 150 个固定参数的任务上对 DreamerV3 进行了测试,并与文献中记载的最佳方法进行比较,实验表明,DreamerV3 对于不同 domain 的任务,均具备较高通用性和可扩展性。
基准概览
所有 agent 都是在 NVIDIA V100 GPU 上训练
DreamerV3 在 7 个基准测试中都取得了优异成绩,并在 state 和 image 的 continuous control、BSuite 和 Crafter 上都建立了新的 SOTA 水平。
然而 DreamerV3 仍然具备一定的局限性,例如当 environment steps 在 1 亿以内时,算法并不能像人类玩家一样,在所有场景中都捡到钻石,而是偶尔捡到。
完整论文详见:
https://arxiv.org/pdf/2301.04104v1.pdf
站在巨人的肩膀上,回顾Dreamer家族发展史
一代目:Dreamer
发布时间:2019 年 12 月
参与机构:多伦多大学、DeepMind、Google Brain
论文地址:https://arxiv.org/pdf/1912.01603.pdf
算法简介:
Dreamer 是一个强化学习 agent,可以仅通过 latent imagination 从图像中解决 long-horizon 任务。
它基于模型预测的反向传播,来利用 world model 实现高效的行为学习。在 20 个极具挑战性的视觉控制任务中,Dreamer 在数据效率、计算时间和最终性能方面均超过了当时的主流方法。
Dreamer 与当时主流方法的性能比较
Dreamer 继承了 PlaNet 的数据效率,同时超过了当时最好的 model-free agent 的渐近性能 (asymptotic performance)。5×106 个 environment step 后,Dreamer 在各个任务中的平均性能达到了 823,而 PlaNet 仅为 332,最高的 model-free D4PG agent 在 108 步之后为 786。
二代目:DreamerV2
发布时间:2020 年 10 月
参与机构:Google Research、DeepMind、多伦多大学
论文地址:https://arxiv.org/pdf/2010.02193.pdf
算法简介:
DreamerV2 是一个强化学习 agent,可以从 world model 紧凑隐空间 (compact latent space) 的预测中学习行为。
注:该 world model 使用离散表征,并且与策略分开训练。
DreamerV2 是第一个通过在单独训练的 world model 中学习行为,在 Atari 基准的 55 项任务中达到人类水平的 agent。在相同的计算预算和 wall-clock time 情况下,DreamerV2 达到了 2 亿帧,超过了顶级 single-GPU agents IQN 及 Rainbow 的最终性能。
此外,DreamerV2 也适用于有连续动作的任务,它学习了一个复杂的类人型机器人的 world model,只通过像素输入就解决了站立和行走问题。
玩家在 Atari 基准 55 个游戏的正则化中位数得分
推特网友评论区带头玩梗
对于 DreamerV3 的诞生,不少网友也在 DeepMind 推特留言区抖起了机灵。
解放人类,再也不用玩「我的世界」了。
别光顾着玩游戏了,干点正事儿吧!@DeepMind 和 CEO Demis Hassabis
「我的世界」终极 BOSS 末影龙瑟瑟发抖中。
近年来,游戏「我的世界」已成为强化学习研究的一个焦点,围绕在「我的世界」中进行钻石收集的国际竞赛已经举办多次。
在没有人类数据的情况下解决这一挑战,被广泛认为是人工智能的一个里程碑,因为在这个程序生成的开放世界环境 (open-world environment) 中,奖励稀少、探索困难、时间跨度长,这些障碍的存在使得先前的方法都需要基于人类数据或教程。
DreamerV3 是第一个从 0 开始在「我的世界」中完全自学收集钻石的算法,它使得强化学习的应用范围进一步扩大,正如网友们所说,DreamerV3 已经是个成熟的通用算法了,该学会自己挂机升级打怪,跟终极 BOSS 末影龙对线了!
相关文章
- 图遍历算法的应用
- ICML 2022 | 游戏AI学会见招拆招,腾讯AI Lab提出「对手建模」算法框架GSCU
- 三种算法求两个正整数的最大公约数和最小公倍数;求三个数的最大公约数和最小公倍数「建议收藏」
- 安全帽ai自动识别算法
- 基于MeanShift的目标跟踪算法及实现
- Hash算法的讲解[通俗易懂]
- cas算法是什么_对算法的认识
- 二叉树前序遍历 迭代_二叉树的前序中序后序遍历算法
- Ai智慧社区_AI社区医院
- 【数据结构与算法】:带你熟悉归并排序(手绘图解+leetCode原题)
- AI加速器与机器学习算法:协同设计与进化
- iOS抽奖转盘上篇:概率抽奖算法 & 转盘算法 &轮盘边框动画丨(内含完整Demo)
- 一种基于交叉选择的柯西反向鲸鱼优化算法QOWOA附matlab代码
- AI通用安防深度学习算法如何赋能场景应用?
- DeepMind 发布强化学习通用算法 DreamerV3,AI 成精自学捡钻石
- AI-深度神经网络(前向传播算法和滑动平均模型)以及激活函数实例
- 不要think step by step!谷歌最新自然语言推理算法LAMBADA:「反向链推理」才是答案
- 深度强化学习-DDPG算法原理和实现
- 算法刷题-二叉树的锯齿形层序遍历、用栈实现队列 栈设计、买卖股票的最佳时机 IV
- 发现一位大佬的算法刷题笔记PDF
- OpenAI再获100亿美元?DoNotPay力砸100万仅为AI律师辩护复述;新冠四种亚型被机器学习算法进行归纳
- 新思科技发布业界首款全栈式AI驱动型EDA解决方案Synopsys.ai
- ai下载正版下载AI-中文版Ai-下载Ai下载
- ai软件下载Illustrator 2021 for mac (Ai 2021中文版)直装版
- 算法-旋转数组的最小数字详解编程语言
- 天下武功,唯快不破——快递中的寻路算法
- Facebook田渊栋:德州扑克上战胜人类的AI究竟用的是什么算法? | 本周专栏精选
- AI深度挖掘MySQL助力数据分析(ai在mysql的应用)
- 澎思科技曲瀚:AIoT 新基建,算法为底座,服务为核心 | AI 安防峰会