日本立命馆大学开发出创新方法 通过结合3D LiDAR和2D图像数据更稳定地检测小物体

盖世汽车讯 机器人和自动驾驶汽车是技术领域中增长最快的领域之一，或将使工作和交通变得更安全、更高效。由于机器人和自动驾驶汽车都需要准确感知周围环境，因此3D物体检测方法研究领域备受关注。

大多数3D物体检测方法都采用LiDAR传感器来创建其环境的3D点云。简而言之，LiDAR传感器使用激光束快速扫描和测量源周围物体和表面的距离。然而，由于激光雷达对噪声的高敏感性，单独使用激光雷达数据可能会导致错误，特别是在降雨期间等恶劣天气条件下。

为了解决这个问题，科学家们开发出多模态3D物体检测方法，将3D LiDAR数据与标准摄像头拍摄的2D RGB图像相结合。虽然2D图像和3D LiDAR数据的融合可以带来更准确的3D检测结果，但它仍然面临着一系列挑战，精确检测小物体仍然很困难。由于校准不精确或遮挡等问题，如何充分对齐从2D和3D数据集中独立提取的语义信息很难。

据外媒报道，在此背景下，由日本立命馆大学（Ritsumeikan University）Hiroyuki Tomiyama教授领导的研究团队开发出创新方法，使多模态3D物体检测更加准确和且具有鲁棒性。相关论文已发表于期刊《IEEE Internet of Things Journal》，该方案名为《动态点像素特征对齐网络（Dynamic Point-Pixel Feature Alignment Network，DPPFA−Net）》。

图片来源：立命馆大学

该模型由三个新颖模块的多个实例组成：基于内存的点像素融合（MPPF）模块、可变形点像素融合（DPPF）模块和语义对齐评估器（SAE）模块。

MPPF模块的任务是在模态内特征（2D与2D以及3D与3D）和跨模态特征（2与3D）之间执行显式交互。使用2D图像作为存储库降低了网络学习的难度，并使系统对D点云中的噪声具有更强的鲁棒性。此外，它促进了更全面和更具区分性的特征的使用。

相比之下，DPPF模块仅在关键位置的像素处进行交互，这些像素是通过智能采样策略确定。这允许以低计算复杂度进行高分辨率特征融合。最后，SAE模块有助于确保融合过程中两种数据表示之间的语义对齐，从而减轻特征模糊的问题。

研究人员通过将DPPFA−Net与广泛使用的KITTI Vision Benchmark的最佳表现进行比较来测试DPPFA−Net。值得注意的是，所提出的网络在不同噪声条件下平均精度提高了7.18%。为了进一步测试模型的功能，该团队通过将降雨形式的人工多模态噪声引入KITTI数据集，创建了一个新的噪声数据集。

结果表明，所提出的网络不仅在面对严重遮挡的情况下，而且在各种级别的恶劣天气条件下都比现有模型表现更好。“我们对KITTI数据集和具有挑战性的多模态噪声案例进行的广泛实验表明，DPPFA-Net达到了新的最先进水平，”Tomiyama教授说。

值得注意的是，准确的3D物体检测方法可以通过多种方式改善生活。依赖此类技术的自动驾驶汽车有可能减少事故并改善交通流量和安全性。此外，机器人领域的影响也不应被低估。“我们的研究可以促进机器人更好地理解和适应其工作环境，从而更精确地感知小目标，”Tomiyama教授解释道。

“这些进步将有助于提高机器人在各种应用中的能力。”3D对象检测网络的另一个用途是为深度学习感知系统预先标记原始数据。这将显著降低手动注释的成本，加速该领域的发展。