[Arxiv 2022 | 论文简读] 用于三维形状生成的隐点云扩散模型

简读分享 | 王豫 编辑 | 赵晏浠

论文题目

LION: Latent Point Diffusion Models for 3D Shape Generation

论文摘要

去噪扩散模型(DDMs)在三维点云合成中取得了很好的效果。为了改进3D DDMs并使其对数字艺术家有用，人们需要(i)高生成质量，(ii)操作和应用的灵活性，如条件合成和形状插值，以及(iii)输出光滑表面或网格的能力。为此，作者引入层次潜点扩散模型(LION)来生成三维形状。LION被设置为具有层次潜空间的变分自编码器(VAE)，该潜空间结合了全局形状潜表示和点结构潜空间。对于生成，作者在这些潜在空间中训练两个分层DDM。与直接在点云上操作的ddm相比，分层的VAE方法提高了性能，而点结构的隐藏层仍然非常适合基于DDM的建模。在实验上，LION在多个ShapeNet基准上实现了最先进的生成性能。此外，作者的VAE框架允许作者轻松地将LION用于不同的相关任务:LION擅长于多模态形状去噪和体素条件合成，它可以适用于文本和图像驱动的3D生成。作者还演示了形状自动编码和潜在形状插值，并使用现代表面重建技术增强了LION，以生成光滑的3D网格。由于其高质量的生成、灵活性和表面重建，作者希望LION能够为艺术家提供一个强大的工具来处理3D形状。

论文链接

https://arxiv.org/pdf/2202.03036v1.pdf