MIT新型计算机视觉技术可看到被遮挡物体 提升自动驾驶安全性

盖世汽车讯 想象一下，你驾驶着一辆自动驾驶汽车穿过一条隧道，但你不知道的是，前方发生了一起交通事故堵塞了交通。通常情况下，你会依赖前方的车辆告知自己需要开始刹车。但是，如果你开的车可以看到前方车辆的情况，并且更早地踩下刹车呢？

计算机视觉技术看到被遮挡物体（图片来源：MIT）

据外媒报道，美国麻省理工学院（MIT）与Meta公司的研究人员合作研发了一项计算机视觉技术，希望将来可以让自动驾驶汽车实现上述类似功能。

研究人员研发了一种方法，可以利用单个摄像头位置的图像创建出有关整个场景、十分精确的3D模型，其中包含视线被遮挡的区域。该项技术利用阴影确定被遮挡区域内的物体。

该项技术被研究人员称为“PlatoNeRF”，基于希腊哲学家柏拉图《理想国》（Republic）一书中的洞穴寓言（allegory of the cave）而研发。该寓言讲述了被囚禁在洞穴里的人如何通过观察投射到墙壁上的影子来感知外界的真实情况。

PlatoNeRF通过将激光雷达（Lidar，光探测与测距）技术与机器学习技术相结合，可以生成比现在某些AI技术更精确的3D几何重建结果。此外，PlatoNeRF更擅长顺畅地重建出阴影难以被看到的场景，比如具有高环境光或暗背景的场景。

除了可以提升自动驾驶汽车的安全性，PlatoNeRF 还可以通过让用户无需四处走动进行测量，对房间的集合模型进行建模，从而让AR/VR头显更高效，以及帮助仓库机器人更快地在杂乱的环境中找到物品。

揭示问题

从单一摄像头视角重建完整的3D场景是一个复杂的问题。有些机器学习法会采用生成式AI模型，以试图推测被遮挡区域内的物体，但是此类模型也会造成错觉，而实际情况可能根本就没有物体。其他方法则尝试通过彩色图像中的阴影来推断被隐藏物体的形状，但是此类方法在阴影难以被看见的情况下可能会遇到困难。

对于PlatoNeRF，MIT的研究人员则采用了一种称作单光子激光雷达的新型传感方式实现了此类方法。激光雷达通过发射光脉冲并测量反弹回传感器所需的时间，以绘制3D场景。由于单光子激光雷达可以探测单个光子，因此可以提供分辨率更高的数据。

研究人员采用一个单光子激光雷达照亮场景中的一个目标点，有些光会从该点反射回来，直接反射回该传感器。不过，大多数光线会散射，并在反射回至传感器之前从其他物体上反射回来。PlatoNeRF主要依赖此类二次反射回的光线。

该激光雷达依次照亮16个点，捕捉多张图像，用于重建整个3D场景。

一个成功的组合

PlatoNeRF的关键是结合了多重反射激光雷达以及一种名为神经辐射场（NeRF）的特殊机器学习模型。NeRF将场景的几何结构编码成神经网络的权重，让该模型具有强大的插值或估计能力，能够生成场景的新颖视图。

研究人员将PlatoNeRF与两种场景的可替代方法进行了比较，其中一种只使用了激光雷达，而另一种只使用了含有彩色图像的NeRF。

研究人员发现，他们的方法在性能方面优于上述两种技术，特别是当激光雷达传感器的分辨率较低的情况下，因此其方法在现实世界中更具实用性，因为在商用设备中，低分辨率的传感器很常见。

未来，研究人员希望可以尝试追踪光线的多次反射，以进一步改善场景重建能力。此外，他们也对应用更多的深度学习技术应用以及将PlatoNeRF与彩色图像测量结果相结合以获取纹理信息表现出浓厚兴趣。