点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

原文链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

德国波恩大学StachnissLab最新工作，基于自监督学习的未来三维点云预测，被CoRL2021录用。论文及代码都已开源！

论文标题：Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks

论文作者：Benedikt Mersch， Xieyuanli Chen， Jens Behley， Cyrill Stachniss

论文链接：http://www.ipb.uni-bonn.de/pdfs/mersch2021corl.pdf

开源代码：https://github.com/PRBonn/point-cloud-prediction

视频链接：点云可以预测未来？波恩大学最新开源：自监督的三维点云预测

随着自动驾驶技术的发展和对安全性能要求的提高，大多数无人车会搭载 三维激光雷达，即所谓的 LiDAR，来感知周围的环境。LiDAR可以生成无人车周围场景的局部三维点云。这些三维点云数据可以被广泛用于众多机器人和自动驾驶任务，例如定位、物体检测、避障、三维重建、场景理解和轨迹预测等等。

“对于这些任务而言，如果能够对未来的观测进行预测，将会带来很大好处。

预测传感器未来的观测可以帮助无人车更好地进行下一步决策。例如将预测得到的未来点云用于路径规划任务就是一个有很前景的应用，预测得到的点云可以很好地辅助规划算法进行避障和可通行区域识别等等。与传统预测车辆轨迹不同的是，直接预测未来点云观测不需要任何先验知识和复杂的前期准备工作，包括对车辆进行检测、定位或跟踪来预测未来场景。此外，直接对未来点云观测进行预测不会被局限于单一的车辆行为预测任务，因为基于原始点云观测可以实现以上提到的众多。

给定过去连续多帧观测（红色点云），所提出的方法可以对未来点云观测进行预测 （蓝色预测所得点云）

从机器学习的角度来看，点云预测也是一个非常有趣的方向，因为一旦采集了连续的数据集，在训练的过程中，某一时刻的未来观测值也是已经采集好的。这一连续时空属性使得神经网络可以通过自监督的方式学习对未来点云进行预测。因此，在训练神经网络过程中无需昂贵的人工标记，可以在线评估网络预测性能，从而很好的在未知环境中进行使用。

右上角展示的是T时刻的当前观测，剩下五幅图像依次展示的是接下来 五个时刻的未来点云。红色显示的是点云真实观测，蓝色显示的是所提方法预测得到的点云观测。

这篇工作实现了利用过去多帧LiDAR观测对未来原始点云进行预测。其使用 三维卷积神经网络来联合编码空间和时间信息。该方法采用一种新的基于连接范围图像的时空四维描述作为输入。其可以联合估计未来范围图像和对应每个三维点的分数，用以确定多个未来时间步长的三维点的稳定度。该方法通过使用跳跃连 接和球形填充的水平一致性来获取环境的结构细节，并提供比其他基准方法更准确的未来点云预测。

该方法可以实现全尺寸（full-size）点云预测并且在线实时运行。上图所展示的是所提出的用于未来点云预测的神经网络结。

— 版权声明 —

本公众号原创内容版权属计算机视觉life所有；从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料，版权属原作者。如果侵权，请联系我们，会及时删除。