【人体运动生成】开源 | 第一个能够从自然语言或音频序列生成人体动作序列的统一驱动引擎UDE，性能SOTA！

论文地址： http://arxiv.org/pdf/2211.16016v1.pdf

来源：

论文名称：UDE: A Unified Driving Engine for Human Motion Generation

原文作者：Zixiang Zhou

内容提要

生成可控和可编辑的人体动作序列是3D Avatar生成的关键挑战。很长一段时间以来，生成和动画人体运动一直是一项劳动密集型工作，直到最近才开发和应用了基于学习的方法。然而，这些方法仍然是特定于任务或特定于模式的。在本文中，我们提出了“UDE”，这是第一个能够从自然语言或音频序列生成人体动作序列的统一驱动引擎。具体而言，UDE由以下关键组件组成：1)基于VQVAE的运动量化模块，将连续运动序列表示为离散潜码；2)模态不确定transformer编码器，学习将模态感知驱动信号映射到关节空间；3)统一标记transformer(类似GPT)网络，以自回归方式预测量化潜码指数；4)将运动标记作为输入，并将其解码成具有高多样性的运动序列的扩散运动解码器。我们在HumanML3D和AIST++基准上评估了我们的方法，实验结果表明我们的方法达到了最先进的性能。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有