使用 Python 从图像生成 3D 网格,将深度学习与 3D 数据处理相结合以生成网格(基于 Open3D和 transformers)
2023-09-11 14:18:29 时间
几年前,从单个 2D 图像生成 3D 网格似乎是一项非常艰巨的任务。如今,由于深度学习的进步,已经开发了多种单目深度估计模型,它们可以从任何图像中提供精确的深度图。通过这张地图,可以通过执行表面重建来生成网格。
介绍
单目深度估计是在给定单个(单目)RGB 图像的情况下估计每个像素的深度值(相对于相机的距离)的任务。单目深度估计模型的输出是深度图,它基本上是一个矩阵,其中每个元素对应于输入图像中相关像素的预测深度。
深度图中的点可以看作是具有 3 轴坐标的点的集合。由于地图是一个矩阵,每个元素都有x和y分量(它的列和行)。而z分量是它的存储值,即点(x, y)中的预测深度。在 3D 数据处理领域,一列(x, y, z)点称为点云。
从非结构化点云开始,可以获得网格。网格是由一组顶点和多边形组成的 3D 对象表示。最常见的网格类型 是三角形网格,它由一组通过共同边或顶点连接的三维三角形组成。在文献中,有几种方法可以从点云中获得三角形网格,最流行的是 Alpha 形状¹、Ball pivoting² 和 Poisson 曲面重建³。这些方法被称为表面重建算法。
本指南中用于从图像生成网格的过程由三个阶段组成:
- 深度估计——输入图像的深度图是使用单目深度估计模型生成的。
- 点
相关文章
- Python脚本写端口扫描器(socket,python-nmap)
- python matplotlib绘制 3D图像专题 (三维柱状图、曲面图、散点图、曲线图合集)
- python魔法方法之-Python __repr__()方法:显示属性
- python是否存在某个字符串 效率最高_Python中判断子串存在的性能比较及分析总结...
- Word处理控件Aspose.Words功能演示:在 Python 中从 Word 文档中提取图像
- 超全Python学习路线图+14张思维导图,让python初学者不走弯路
- Python分享:python爬虫可以用来做什么?
- 利用 Scikit Learn的Python数据预处理实战指南
- python实现K-Means算法
- 【Python】【PyPI】twine模块打包python项目上传pypi
- Python编程-基础知识-python项目包和文件的管理以及如何引用相对路径的包和模块
- Python 相对路径和绝对路径--python实战(九)
- 《Python Cookbook(第2版)中文版》——1.23 对Unicode数据编码并用于XML和HTML
- python学习之OpenCV-Python模块的部分应用示例(生成素描图和动漫图)
- Python 中的作用域
- PyBullet:一种用 Python 构建的开源 3D 物理模拟工具(教程含源码)
- Python 教程大全之使用 python 获取唯一单词的计数
- 可视化运行Python的神器Jupyter Notebook
- Python 基础 之 网络 socket 使用 tcp (SOCK_STREAM)实现简单 文件下载 的 客户端、服务端
- 【Python爬虫】:使用高性能异步多进程爬虫获取豆瓣电影Top250
- 【Linux学习笔记】解决:yum install python-dev 报错(CentOS安装Python-dev库)