神经渲染与AI生成框架结合,五倍提升游戏速度,英伟达是这样做的
此前,在一场直播活动中,英伟达 CEO 黄仁勋宣布推出 DLSS 3。DLSS 全名为 Deep Learning Super Sampling,它是英伟达发布的深度学习超级采样技术,其拥有开创性的光学多帧生成功能,其为游戏提供了不可或缺的三要素:提高帧率、最大限度地提升响应速度和改善图像质量。
在一系列游戏和引擎中,与传统渲染相比,DLSS 3 有助于将 GeForce RTX 40 系列的性能翻倍提高:
与此同时,英伟达副总裁 Bryan Catanzaro 也曾在 Twitter 上宣称:「神经渲染在 Ada 架构的 DLSS 3.0 加持下迈出了非常重要的一步!除了 DL 驱动的超分辨率,它还使用光流、运动矢量和 DL 来生成整个帧。DLSS 3 渲染的 8 个像素中有 7 个是来自神经渲染的。」这足以将渲染速度提高 5 倍。
尽管这项了不起的技术目前仅限用于几十款 3D 游戏,但神经渲染很快就会带来收益。这项技术将释放日常消费电子产品的新潜力。
在多数情况下,DLSS 3 在 4K 分辨率下比传统渲染技术性能提高两到三倍。虽然英伟达目前处于领先地位,但它也有竞争对手,比如英特尔 AI 驱动的高端软件 XeSS (Xe Super Sampling),以及 AMD 的 RDNA 3 图形架构。
游戏引领了神经渲染的浪潮,因为它们非常适合使用机器学习技术。谷歌高级研究员 Jon Barron 表示:「只看图像的小 patch,试图猜出图像缺失了什么,这非常适合机器来学习。机器善于识别帧之间的相似性,包括那些帧率高到足以掩盖运动中的微小错误。」
不过 DLSS 3 也存在不完美的地方,其在场景转换方面存在缺陷。但是 Barron 和 Catanzaro 认为在神经渲染模型中通过添加训练数据可以弥补这一缺陷。
英特尔图形研究副总裁 Anton Kaplanyan 认为,未来神经渲染技术会让 3D 内容创作变得更加触手可及。不难看出,现在的社交网络已经逐渐商品化了,人们只需点击一个按钮,拍一张照片,就可与亲朋好友分享。如果我们想把这种体验提升到 3D,我们就需要吸引那些不懂专业工具的人成为内容创造者。
2023 年,3D 神经渲染的改进速度关乎其未来的发展。但与传统渲染相比,研究者缺少更多的经验。Barron 指出:「计算机图形学很神奇,它的工作效果非常好,我们有很多方法来解决问题,而这些方法可能永远适用。」
接下来的问题是,图形行业会在何时接受 3D 神经渲染作为一种替代方案。这种过渡可能是令人担忧的,因为押注错误技术或错误架构的代价可不小。
尽管如此,Catanzaro 相信 3D 神经渲染已经势不可挡。他说:「我们将会看到许多更加不同凡响的神经渲染技术。这些技术有的能够做阴影、折射和反射,将来我们会考虑那些比 DLSS 更强的神经渲染方法,我认为未来的图形领域将会是多种方法并行的。」
神经渲染最大的好处是效率
神经渲染的魅力不仅在于它潜在的性能,还在于它潜在的效率。DLSS 3 通过 RTX 在 Portal 游戏中提供的 530% 增益可以提高帧速率——或者通过将帧速率限制在一个目标内来降低功耗。如此一来,DLSS 3 可以减少呈现每一帧的成本。
英伟达 DLSS 3
这可不容小觑,因为消费电子领域面临着一个重要问题,即摩尔定律大势已去,就算没有,也只是苟延残喘罢了。Catanzaro 说道:「正如你所知道的,摩尔定律已经失去了势头,我个人认为后摩尔图像就是神经图像。对于英伟达来说,神经渲染已然成为一种具有代表性的方法,它不需要成倍增加晶体管数量就可以为公司带来巨大收益。」
然而,英特尔的 Kaplanyan 并不认为摩尔定律会消亡,但他也赞同神经渲染可以提高效率。他说:「芯片的大小可以解决,我同意我们有着大好的机会,可以通过机器学习算法,更有效地利用这种能量和这一领域,产生新的视觉效果。」
AMD、英伟达和英特尔这三家公司都与设备制造商合作,来设计新的消费笔记本电脑和平板电脑,于是效率便成为了三家公司的必争之地。对于设备制造商来说,效率提高带来了更薄、更轻、电池续航时间更长的设备,同时也提升了用户使用设备的功能。
显然,2023 年将是消费设备中神经渲染的奠基年。支持 DLSS 3 的英伟达 RTX 40 系列将推出多种台式电脑和笔记本电脑;英特尔预计将扩展其 Arc 图形线与即将到来的 Battlemage 架构;AMD 将推出更多使用 RDNA 3 架构的变体产品。
这些产品的发布为图形革命奠定了基础。当然,这不是一蹴而就的,需要花些功夫——但随着消费者对视觉效果和内容创造的要求越来越高,通过更小、更薄的创新,神经渲染可能是最好的交付方式。
相关文章
- 金融服务领域的大数据:即时分析
- 影响大数据、机器学习和人工智能未来发展的8个因素
- 从0开始构建一个属于你自己的PHP框架
- 如何将Hadoop集成到工作流程中?这6个优秀实践必看
- SEO公司使用大数据优化其模型的5种方法
- 关于Web Workers你需要了解的七件事
- 深入理解HTTPS原理、过程与实践
- 增强分析:数据和分析的未来
- PHP协程实现过程详解
- AI专家:大数据知识图谱——实战经验总结
- 关于PHP的错误机制总结
- 利用数据分析量化协同过滤算法的两大常见难题
- 怎么做大数据工作流调度系统?大厂架构师一语点破!
- 2019大数据处理必备的十大工具,从Linux到架构师必修
- OpenCV中的KMeans算法介绍与应用
- 教大家如果搭建一套phpstorm+wamp+xdebug调试PHP的环境
- CentOS下三种PHP拓展安装方法
- Go语言HTTP Server源码分析
- Go语言HTTP Server源码分析
- 2017年4月编程语言排行榜:Hack首次进入前五十