奈良先端科学技术大学院大学深度创新聚焦/散焦技术 为更强大的计算机视觉系统铺平道路

盖世汽车讯 在计算机视觉的一些应用中，例如增强现实和自动驾驶汽车，估计物体和相机之间的距离是一项重要任务。聚焦/散焦深度是利用图像中的模糊作为线索来实现这一过程的技术之一。聚焦/散焦深度通常需要一堆以不同焦距拍摄的同一场景的图像，这种技术称为“焦点堆栈”。

在过去的十几年里，科学家们提出许多不同的聚焦/散焦深度方法，其中大多数可以分为两类。第一类包括基于模型的方法，使用数学和光学模型根据清晰度或模糊度来估计场景深度。然而，此类方法的主要问题是它们无法处理无纹理的表面，而无纹理的表面在整个焦点堆栈上看起来几乎相同。

第二类包括基于学习的方法，可以训练这些方法以有效地执行聚焦/散焦深度，即使对于无纹理的表面也是如此。然而，如果用于输入焦点堆栈的摄像头设置与训练数据集中使用的摄像头设置不同，这些方法就会失败。

据外媒报道，日本研究人员克服了这些限制，开发出创新的聚焦/散焦深度方法，可以同时解决上述问题。该相关研究由日本奈良先端科学技术大学院大学（Nara Institute of Science and Technology，NAIST）的Yasuhiro Mukaikawa和Yuki Fujimura领导，且已发表在《International Journal of Computer Vision》上。

图片来源：日本奈良先端科学技术大学院大学

新技术被称为“焦点堆栈深度”（DDFS），将基于模型的深度估计与学习框架相结合，以实现两全其美。受立体视觉中使用的策略的启发，DDFS涉及根据输入焦点堆栈、摄像头设置和镜头散焦模型建立“成本量”。

简而言之，成本量代表一组深度假设（每个像素的潜在深度值）以及根据焦点堆栈中图像之间的一致性计算的相关成本值。“成本量在散焦图像和场景深度之间施加了限制，作为中间表示，可以在训练和测试时使用不同的摄像头设置进行深度估计，”Mukaigawa解释道。

DDFS方法还采用了编码器-解码器网络，这是一种常用的机器学习架构。该网络以从粗到细的方式逐步估计场景深度，在每个阶段使用“成本聚合”来自适应地学习图像中的局部结构。

研究人员将DDFS的性能与其他最先进的聚焦/散焦深度方法的性能进行了比较。 值得注意的是，所提出的方法在多个图像数据集的各种指标上都优于大多数方法。 对研究团队的摄像头捕获的焦点堆栈进行的其他实验进一步证明了DDFS的潜力。与其他技术不同，即使输入堆栈中只有少量输入图像，DDFS也很有用。

总体而言，DDFS可以作为需要深度估计应用的一种有前景的方法，包括机器人、自动驾驶车辆、3D图像重建、虚拟和增强现实以及监控。“我们具有摄像头设置不变性的方法可以帮助扩展基于学习的深度估计技术的适用性，”Mukaikawa总结道。