宾夕法尼亚大学开发通用计算工具 补全事件相机与机器人视觉之间的缺失环节

盖世汽车讯 几十年来，事件相机（event camera）——通过持续监测光强变化来模拟生物视网膜——一直被寄予厚望，有望彻底改变机器人感知世界的方式；与传统相机相比，它能让机器人做出更迅速的反应，运行也更加可靠。

然而，解读事件相机产生的数据并非易事——这些数据看起来就像是一连串令人眼花缭乱的点，而非人们所熟悉的图像序列。因此，长期以来，处理这类数据往往需要依赖多种专用算法的组合，而每种算法通常都仅针对单一任务而设计。

图片来源：宾夕法尼亚大学

据外媒报道，宾夕法尼亚大学（University of Pennsylvania）的工程师们开发出了一种名为“快速特征场”（Fast Feature Field，简称 F3）的通用计算工具。该工具能够高效地将事件相机每秒产生的数千万个信号，转化为各类机器人均可使用的数据信息。

这一工具的出现有望彻底改变机器人领域：它首次使得事件相机能够在自动驾驶汽车、无人机等平台上得到广泛应用，从而显著提升机器人在多种光照条件下识别物体、估算距离以及感知运动的能力。

“我们预计这将成为事件相机发展史上的一个分水岭，它展示了如何实现可靠、高速且具有广泛应用价值的事件相机数据处理，”电气与系统工程系（ESE）副教授、计算机与信息科学系（CIS）兼聘教授 Pratik Chaudhari 说道。他是发表在期刊《科学-机器人学》（Science Robotics）上的一篇新论文的资深作者。“‘快速特征场’（Fast Feature Field）技术能够帮助机器人更准确地感知世界，从而让那些日益频繁出现在我们天空和街道上的机器人变得更加安全。”

宛如眼球的相机

与传统相机不同——传统相机以固定时间间隔（例如每秒 30 帧）记录完整图像——事件相机则会对入射光做出持续响应。该论文的合著者、计算机与信息科学系（CIS）的Ruth Yalom Stone讲席教授Kostas Daniilidis表示：“事件相机就像哺乳动物视网膜中的视杆细胞和视锥细胞；它们能够感知光线的变化，并能指出视野中哪些区域变亮了或变暗了。”

然而，与生物眼不同的是——生物眼拥有额外的细胞层来解读这些信息——事件相机此前一直缺乏一种通用的方法，从其产生的数据中提取出有意义的模式。该论文的第一作者、计算机与信息科学系（CIS）的博士生Richeek Das补充道：“视网膜中除了视杆细胞和视锥细胞外，还有许多其他类型的细胞。例如，神经节细胞负责感知运动和色彩，而无长突细胞等结构则有助于抑制冗余信息。”

由于缺乏能够承担此类额外处理任务的软件，事件相机在研究领域之外的应用一直受到严重阻碍。Chaudhari指出：“如果无法剔除冗余信息，事件相机所产生的数据就会包含过多的噪声，且数据量极其庞大，根本无法直接使用。”