OpenAI开源Point-E,可在Nvidia V100 GPU上1-2分钟生成3D模型
翻译&整理 | 杨阳
出品 | AI科技大本营
OpenAI的Point-E是3D模型的DALL-E,这个速度极快的系统可以从文本中生成3D点云。 在推出针对文本和图像的生成人工智能模型之后,OpenAI现在展示了下一步可能出现的东西:一个从文本到三维模型的生成器。通过文本描述,Point-E生成了3D点云,可以作为虚拟环境中的模型。除OpenAI之外,已经有其他用于3D生成的工智能模型,如谷歌的Dreamfusion或Nvidia的Magic3D。
Point-E生成展示
然而,据说OpenAI的开源Point-E速度明显更快,在一个Nvidia V100 GPU上可以在一到两分钟内生成3D模型。
OpenAI的Point-E生成点云
实际上,Point-E并不生成传统意义上的3D模型,而是代表3D形状的点云。相比之下,谷歌的Dreamfusion生成NeRFs(Neural Radiance Fields)——需要更多的时间,但与点云相比,NeRFs可以呈现出更多明显的细节。很显然,Point-E的质量相对较低,因而使得该系统的效率很高。
Point-E从文本描述中生成的点云的一些例子
当Point-E生成点云后,再由另一个作为三维建模和设计标准的模型将其转化为网格。根据OpenAI的说法,这个过程还不能完全避免出错:在某些情况下,云的某些部分会被错误地处理,导致生成错误的网格。
Point-E中的两个生成模型
具体来看,Point-E本身由两个模型组成:一个GLIDE模型和一个image-to-3D模型。前者类似于DALL-E或Stable Diffusion等系统,可以从文本描述中生成图像。第二个模型由OpenAI对图像和相关3D目标物体进行训练,学习从图像中生成相应点云。为了更好地训练,OpenAI使用了数百万个3D目标和相关的元数据。
通过GLIDE模型在 A corgi 中创建一个图像,然后通过点云扩散模型创建一个3D corgi
该团队报告说,“这两步过程可能会失败”。但它是如此之快,以至于生成目标的速度比Dreamfusion快近600倍。"这可能让它在某些应用上更加实用,或者发现更高质量的3D对象,"该团队表示。 “我们已经推出了Point-E,一个用于文本条件合成3D点云的系统。它首先生成合成视图,然后根据这些视图生成彩色点云。我们发现Point-E能够有效地产生以文本提示为条件的多样化和复杂的3D形状。” 据OpenAI称,Point-E是公司未来展开文本到三维合成业务的起点,目前已在Github上开放了源代码。Point-E 2可能最早在明年撼动3D市场。
参考链接:https://the-decoder.com/point-e-openai-shows-dall-e-for-3d-models/
相关文章
- Unity 3D 游戏引擎
- 有福利送书 | 3D对象检测检测概述
- Godot 2D 和 3D 游戏引擎[通俗易懂]
- 如何用python制作3d游戏_【教程】12个步骤让你快速学会制作3D游戏
- 3D机房效果图制作|创建步骤过程分步简述[通俗易懂]
- QQ群关系可视化3D查询搭建[通俗易懂]
- Cocos 3D开源游戏案例
- 3D版DALL-E来了!谷歌发布文本3D生成模型DreamFusion,重点是zero-shot
- 【SLAM】开源 | 3D LiDAR测距(几何法、深度学习法和混合法)方法的对比研究
- 虚拟现实 VR 碰撞 3D 可视化,图扑打造一体化管控平台
- 使用 SAP UI5 3D Viewer 控件显示 3D 模型效果试读版
- 3D建筑设计软件首选软件Vectorworks 2023|更快的工作流和更好的设计方法
- Revit三维建模软件下载 3D建模Revit2023安装绿色版
- 建筑师在威尼斯利用3D打印技术打造了一座美丽的混凝土桥
- 波纹效应:通过扭转3D材料激发新性能
- Linux下的3D软件开发挑战(3d软件linux)
- 英特尔下周推出开源的3D印刷机器人
- Sweet Home 3D:一个帮助你寻找梦想家庭的开源工具
- Zen3性能再提升15% AMD研究3D缓存多年:带宽超2TB/s
- HUD的3D显示技术在路上