3D点云的深度学习
使用卷积神经网络(CNN)架构的深度学习(DL)现在是解决图像分类任务的标准解决方法。但是将此用于处理3D数据时,问题变得更加复杂。首先,可以使用各种结构来表示3D数据,所述结构包括:
1 体素网格
2 点云
3 多视图
4 深度图
对于多视图和深度图的情况,该问题被转换为在多个图像上使用2D CNN解决。通过简单定义3D卷积核,可以将2D CNN的扩展用于3D Voxel网格。但是,对于3D点云的情况,目前还不清楚如何应用DL工具。但是之前也已经有几种解决办法了,具体可以参看 http://www.cnblogs.com/li-yao7758258/p/8182846.html
以及最近某大学研究者们提出的PointCNN,对于pointCNN 这篇论文是一种为基于点云的特征学习提出了一种简单且通用的框架。CNN成功的关键是要能利用数据中以网格形式密集表示的空间上的局部相关性(比如图像)。但是,点云是不规则和无序的,因此在这些点关联的特征上直接求核的卷积会导致形状信息的丢失,同时还会因顺序不同而不同。为了解决这些问题,提出了根据输入点学习一种X变换,然后将其用于同时加权与点关联的输入特征和将它们重新排列成潜在隐含的规范顺序,之后再在元素上应用求积和求和运算。我们提出的方法是典型CNN向基于点云的特征学习的泛化,因此将其称为PointCNN。
实验表明,PointCNN能在多种有挑战性的基准数据集和任务上实现与之前最佳方法媲美或更好的表现。
PointCNN与其他方法的对比
其次,图像的可用数据比较多,尽管最近3D数据集的数量有所增加 。但是,对于3D情况,可以容易地生成合成数据。
下面附有在3D数据上使用DL工具的论文列表
1、Voxel Grid – Volumetric CNN:
(1) Voxnet: A 3D convolutional neural network for real-time object classification
(2) Volumetric and multi-view CNNs for object classification on 3d data – compared volumetric CNNs to Multi-view CNNs for object classification. They showed that the multi-view approach performs better, however, the resolution of the volumetric model was limited
(3) 3D shapenetes: A deep representation for volumetric shapes
2、 Multi-View CNNs:
(1) Volumetric and multi-view CNNs for object classification on 3d data
(2) Multi-View Convolutional Neural Networks for 3D Shape Recognition
3、Point clouds:
(1) Volumetric and multi-view CNNs for object classification on 3d data
(2) Multi-View Convolutional Neural Networks for 3D Shape Recognition
4、Hand-crafted features + DNN :
(1) 3D deep shape descriptor – fed heat kernel signatures (HKS) descriptor into an NN to get an Eigen-shape descriptor and a Fischer shape descriptor.
备注:
点击下面链接,进入奥比中光开发者社区,了解更多3D视觉技术信息:
https://developer.orbbec.com.cn/
或扫描下方二维码,进入奥比中光开发者社区:
相关文章
- Unity 3D本地公布WebPlayer版时"Failed to download data file"解决方式
- 《3D打印:三维智能数字化创造(全彩)》
- 262Echarts - 3D 路径图(Flights on Geo3D)
- 220Echarts - 3D 地球(Animating Contour on Globe)
- 《Unity 3D NGUI 实战教程》一1.1 游戏UI开发介绍
- 《Unity 3D NGUI 实战教程》一2.4 制作第一个UI字体
- 基于Go(echo)+mongoDB实现(Web) 3D 太空模型展示【100010437】
- 使用 Python 从图像生成 3D 网格,将深度学习与 3D 数据处理相结合以生成网格(基于 Open3D和 transformers)
- Look Further to Recognize Better: Learning Shared Topics and Category-Specific Dictionaries for Open-Ended 3D Object Recognition
- HTML + CSS实现图片3D旋转效果
- 3D点云数据分析与处理-传统方法与深度学习
- 3D相机技术调研(飞行时间TOF+双目+结构光)
- 【深度学习】:一文入门3D计算机视觉
- 东芝、西数宣布新BiCS 3D NAND闪存明年上市:64层堆栈
- 浩辰3D运动「颜色变化」,让仿真运动一目了然!
- 如何通过3D软件来更高效地进行工程图设计?
- 3D设计软件中怎么将零件转换成钣金?浩辰3D有高招!
- 3D设计软件中怎么创建风扇叶模型?浩辰3D基础教程
- 3D制图软件中如何在钣金件上构造平板特征?
- TiG-BEV:Multi-view BEV 3D Object Detection via Target Inner-Geometry Learning——论文笔记