连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
我们在打游戏、看动漫的时候,遇到过不少这样的情况:
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s3.51cto.com/oss/202105/17/9fb04449ba507a0986210bb9f5ec32fa.jpg)
感觉哪里不太对……
现在,这些3D人体模型可以得到改进了~体态更逼真、褶皱更自然、肌肉更饱满:
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s2.51cto.com/oss/202105/17/94d17f21ae7ed32bbc9706c0ab854bc3.jpg)
连情绪都显得更投入了……
甚至肌肉颤动也清晰可见:
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s5.51cto.com/oss/202105/17/050865c2097f8a486408ac402834aeca.jpg)
这么一对比,差距很明显了~
不仅动画质量更高,这种新方法还大量减少了人工参与,制作速度更快了。
要知道,以前的动画需要繁琐的步骤,比如:搭建骨骼、蒙皮、刷权重等等……动画师往往要为此修炼数年,效果还常常不尽人意。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s4.51cto.com/oss/202105/17/949f958c9774b0481843806d3cde5162.jpg)
现在,只需一个神经网络就能搞定。
不仅如此,它还可以从形象中预测骨骼,并绑定权重,更容易地用运动捕捉来制作动画。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s4.51cto.com/oss/202105/17/75afbac8482483861db00de946141ad9.jpg)
这一研究成果,由北京大学、北京电影学院等高校和机构合作完成。
相关论文《Learning Skeletal Articulations with Neural Blend Shapes》在SIGGRAPH 2021上发表,代码现已开源。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s2.51cto.com/oss/202105/17/55760763ecdda885647710d532524e9b.jpg)
提出神经融合形状技术
团队开发了一套神经网络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。
它由两个部分组成:包裹变形分支(envelope deformation branch)和补偿变形分支(residual deformation branch)。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s4.51cto.com/oss/202105/17/0e44d3d26e9fe27a824a0525849a2e1e.jpg)
其中,包裹变形分支通过间接监督,学习由偏移量组成的特定骨架层次的装配参数,最后从输入角色中预测出骨架、蒙皮和权重绑定。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s6.51cto.com/oss/202105/17/5bed35b8dc564576e370b9511ee9d934.jpg)
你可能会说,常用的动画制作工具Mixamo中,也有绑定和蒙皮。
但是新方法能做的不只这些,它还可以准确预测与模型高度匹配的骨骼,并绑定权重。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s2.51cto.com/oss/202105/17/2ff8460d983faa8a76da02f0830a9428.jpg)
从而更容易进行动作捕捉,制作动画:
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s3.51cto.com/oss/202105/17/74d37c05f59d5a373524d7d5cc6d49be.jpg)
并且,利用一种神经融合形状(neural blend shapes)技术,补偿变形分支可以根据输入的网格连接,来预测对应的融合形状(blend shapes)。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s3.51cto.com/oss/202105/17/66e9437cd4c663eccce3c4dea38f7663.jpg)
与此同时,根据关节旋转预测融合系数,然后基于此插值得到补偿变形。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s2.51cto.com/oss/202105/17/d41c0d3e8e07e4bca8d4055dd1440597.jpg)
比如,神经混合形状会纠正肌肉的形状,准确保留鼓起的肌肉:
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s5.51cto.com/oss/202105/17/2eb95d8c67571a12a6bb5ba2fcd6a280.jpg)
与LBS(线性混合蒙皮)算法的效果相比,细节处理得更好:
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s3.51cto.com/oss/202105/17/308f8c725abdeb45eb11ddad2148356f.jpg)
与三维动画制作软件Blender的效果对比:(小肚腩被完美保留了)
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s3.51cto.com/oss/202105/17/8635d81ec143c4ab517db41f6ee2f3ef.jpg)
除此之外,研究团队还对神经混合形状系数进行了可视化,可以看到左侧输出的形象,与右侧相应的姿势绑定。
并且,通过颜色变化,表现各关节的混合形状系数激活程度。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s6.51cto.com/oss/202105/17/e7ede22ff42ab0834e072d18c78f37e3.jpg)
利用这一方法,神经网络只需观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方法有任何限制,极大扩大了适用范围。
最终实现了,实时、高质量的三维人物模型动画端到端自动生成。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s5.51cto.com/oss/202105/17/e02cfc76d71d8c52f5b954fbf9e360e3.jpg)
一作来自北大图灵班
团队由来自北京大学陈宝权教授研究团队、北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学,以及苏黎世联邦理工学院的研究人员组成。
论文一作,是来自北大图灵班的一名本科生——李沛卓。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s6.51cto.com/oss/202105/17/a36328b6c635e5ffd3c1640d462f0b7c.jpg)
他毕业于重庆一中,曾入选信息学竞赛省队,2017年高考以687分考入北大。
目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大学视觉计算与学习实验室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。
此前,他已有论文登上SIGGRAPH。在与量子位交流时,他曾表示对图形学特别感兴趣。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s6.51cto.com/oss/202105/17/1ec86d61660843482cfe7fac5c8e241a.jpg)
论文的更多细节,感兴趣的小伙伴,可以戳链接了解详情。
![连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班](https://s4.51cto.com/oss/202105/17/92ed54da4850c3c55cd691f6c2a3eca6.jpg)
项目主页:
https://peizhuoli.github.io/neural-blend-shapes/
论文地址:
https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击