3D图像传感器助力提高安全性和便利性

本文作者系英飞凌科技股份公司产品营销经理  Martin Lass

在实现自动驾驶的发展进程中，当务之急是要收集关于车内及车身周围所发生情况的所有信息。除驾驶员状态监测外，获取车内3D数据会推进全新的人机界面（HMI）概念。

在高级辅助驾驶系统中及在实现自动驾驶汽车的发展进程中，关于驾驶员的注意力以及车内情况的精确信息是基本要求。通过利用高级3D摄像头，汽车可以捕获驾驶员的行为信息，并将该信息转发到高级辅助驾驶系统。如果驾驶员闭上眼睛或没有直视前方，那么可能会触发警报。如果驾驶员没有作出反应，就会激活紧急制动辅助系统。与此同时，3D摄像头芯片可提供直接测得的深度数据，而不必先从角度信息计算这些数据，譬如，这对于立体相机就是必要的，需要很大的计算输入量。借助来自英飞凌的图像传感器REAL3™，我们可在最小的安装空间（室内和室外应用）内实现支持3D视觉的系统。

目前已开发出用于获取3D信息的各种技术。譬如，通过立体视觉，两个普通的2D摄像头可以从各种角度记录场景，从而计算距离（深度）。这种方法带来的优势是可以使用低成本的普通图像传感器。不过，需要进行耗时的物理调整和校准。而且，有必要使用计算强度很大的高度复杂的算法。最后，在状况不佳和不断变化的照明条件下，这种方法就会受到限制。

另一种3D技术利用结构光，即已知模式投射到场景，并从模式的分布计算得出深度。尽管这种方法可以在多路径干扰的情况下带来诸多优势，但是，除镜头与图案投影仪之间精确和稳定的机械调整外，仍需要具备专用自动照明功能的高科技摄像头。校准所需的输入相应地也非常高。此外，反射的模式对光学干扰和结构很敏感。

测量每一个像素的图像深度和幅度

基于飞行时间（ToF）成像的图像传感器，如来自英飞凌的图像传感器REAL3（图1），带来了支持3D图像获取的紧凑、精确的通用解决方案。它们可以测量调制照明源与反射之间的相移，会将其转换成距离信息。借助相应的ToF摄像头，场景通过调幅红外光获得自动照明，并且，摄像头和/或图像传感器可以测量针对每一个像素的相移，从光抵达对象然后返回所需的时间计算得出。同样地，摄像头针对每个像素提供所描绘对象的深度和幅度。ToF方法的其他优势包括：摄像头外形设计紧凑，能在所有照明条件下使用，及简易校准。

图1：支持3D ToF应用的高度集成的REAL3图像传感器单芯片，采用感光像素阵列、高级控制逻辑、带ADC的数字接口和数字输出端口

ToF技术是高度可扩展的。这意味着，假如提供相应的大功率照明，摄像头可以在只有几厘米到20米及以上的对焦范围内使用。相应距离的1%左右的深度分辨率是很典型的，横向分辨率目前达到最高352×288像素，摄像头最多可提供每秒100张图片。ToF摄像头一般由以下几个组件组成：照明单元、光学系统、传感器、电子控制和评估级（图2）。

图2：图像传感器REAL3利用ToF原理直接测量针对101,376像素中每一个像素的深度和幅度

照明单元利用LED或激光二极管，能以足够的速度（LED，如最高30MHz）进行调制，使传感器能够完美测量飞行时间。照明单元大多在近红外范围内发射，这样可以最大限度减小由摄像头造成的环境的任何干扰。

光学系统（镜头）收集从环境反射回去的光，并在传感器上映射场景。光学带通滤波器仅允许照明单元也使用的波长通过。这有助于消除很大一部分的背景光干扰。

ToF摄像头的核心是3D图像传感器（图2），可以测量每个像素的深度和幅度值。照明单元和传感器必须通过高级电子系统进行控制，以实现尽可能高的精度。图像传感器REAL3已采用这些电子装置。

为促进高性能图像识别，除针对特定应用进行优化的摄像系统外，也需要相应的计算单元来处理数据以及用于处理3D数据（如手势识别）的软件（中间件）。

尽管大部分背景光已受到光学滤波器的抑制，但像素依然必须应对非常大的深度动态范围。制造商提出了不同的传感器设计策略，使背景信号可以在很大程度上得到抑制。

高度集成的3D ToF图像传感器

英飞凌与来自德国锡根的pmdtechnologies公司合作开发高度集成的高性能3DToF摄像头芯片。pmdtechnologies对该芯片系列的主要贡献在于，采用获得专利的抑制背景照明（SBI）的ToF像素矩阵。SBI扩展了传感器芯片的动态能力，并帮助在环境的强光下防止饱和，如，在户外的阳光直射下使用时。搭载SBI电路的传感器可在150klx的明亮阳光下在相应设计的摄像系统中使用。3D图像传感器将高性能ToF像素矩阵与经优化并得到量产检验的 CMOS制造工艺和系统级芯片（SoC）的结合在一起。这样，使得感光区同混合信号电路集成于紧凑芯片上。图像传感器REAL3能实现对各种功能的最大程度的集成：感光像素阵列、智能控制逻辑、模/数转换器、像素矩阵调制、自动相位测序和数字输出接口。

这进而带来了众多优势。经优化的CMOS技术支持红外范围内的高灵敏度。获得专利的像素级SBI电路可确保在所有照明条件下的可靠运行，无论是在明亮的阳光下或黑暗中，还是在建筑和/或车辆内外。直接测量每个像素的深度和幅度，使得计算量减小。ToF单芯片采用标准的摄像头接口，易于集成。得益于单眼摄像头系统架构，无需机械基准，照明单元可独立于传感器进行定位，而且，不必进行机械调整或角度修正。另外也无需由于振动或热影响而进行重新校准。

图像传感器REAL3支持在1毫秒到4毫秒内快速读出数据，并支持100fps及更高的帧速率（每秒的帧数）。图像传感器也可通过I²C接口进行动态配置。这样，可以随工作期间的测相次数和曝光时间简单调整帧速率，而这反过来可以根据照明和工作条件并结合最大限度降低功耗，促进功能优化。此外，智能电源管理系统可确保低功耗。

英飞凌的合作伙伴pmdtechnologies还设计出在制造工序结束时快速可靠地对图像传感器进行校准的方法。每个ToF摄像头进行一次性校准需要不到10秒时间——这是对量产的关键要求。

面向汽车应用的3D图像传感器

借助图像传感器REAL3，我们可以生产超紧凑型高精度单眼3D摄像头系统。这类系统可用于计算机、家庭电子设备中涉及手势识别的应用，更不用说在工业人机界面和创新汽车中的广泛应用。

汽车使用3D图像传感器可以提高驾驶员的安全性和便利性。要实现自动驾驶和确保更大安全性，当务之急是获得关于车内及车身周围所发生情况的所有信息。除前面提到的驾驶员状态监测外，获取汽车内部的3D数据还支持全新的较少分散驾驶员注意力的人机界面概念。譬如，3D摄像头可确定驾驶员头部的确切位置。该信息可用于优化平视显示器的可视度，或实现支持扩增实境应用的投影，无论头部位置是否始终位于真实环境中，还是无缝嵌入真实环境中。另外它还支持对信息娱乐、导航和HVAC系统的非接触式手势控制。更不用说针对预设置相应偏好的面向乘客的分类服务，如座椅位置、镜子调整、安全气囊触发力等。设计紧凑的高性能3D摄像头也是支持驻车辅助系统全方位视场和检测障碍物及更为普遍的自动驾驶其他方面的关键组件。

它们适用于汽车的主要原因包括：REAL3图像传感器对于环境影响的抗干扰能力很高，外形设计紧凑，设计复杂性低，以及很高的动态可配置的可扩展性。除此之外，还有较之其他3D技术的较低计算输入量，所需的CPU功率相应较低。

产品、参考设计和演示

REAL3图像传感器产品系列目前包括两个成员：横向分辨率为160 x 120像素的IRS1010C（QQVGA）和352 x 288像素的IRS1020C（CIF），使用的像素数量通过软件自由可选。面向消费电子市场的芯片已开始批量提供裸片。除面向消费类应用的其他型号外，目前正在进行开发面向汽车市场的采用光学BGA封装的图像传感器产品。封装符合AEC-Q100标准，其尺寸为10mm x 10mm，并专为-40°C到105°C的环境温度而设计。

除3D传感器芯片外，全新CamBoardpicoflexx（图3）也可用作支持3D摄像头的参考设计。分辨率为224 x 172像素的pmdtechnologies开发的USB2.0摄像头通过端口加电，基于来自英飞凌的最新推出的3D图像传感器芯片。其外形尺寸仅68mm x 17mm x 7.25mm，是市场上最小巧的深度传感器摄像头。CamBoardpicoflexx利用红外激光作为照明单元，并可在不同的帧速率灵活利用，使用距离长达4米，而3D图像传感器芯片和照明单元的平均功耗为300mW。

图3：图像传感器REAL3可用于设计非常紧凑的高性能3D ToF摄像头

在图像传感器REAL3的基础上，科世达公司还开发出3D摄像头（图4），用于驾驶员状态监测，作为提供集成式图像处理的生产质量原型。摄像头甚至能在各种不同照明条件下通过49个参考点可靠获取驾驶员的面部轮廓。结合3D深度数据，这样能够实现对头部位置（x、y和z方向）、头部方向（偏转、俯仰和侧倾角）和眼睑闭合的检测。摄像头支持352 x 288像素（CIF）的分辨率，帧速率高达50fps，并以达到1cm的深度分辨率在长达1.5米的距离处扫描对象。科世达在第66届法兰克福国际车展（法兰克福车展，2015年9月15-27日，德国美茵河畔的法兰克福）上展示了智能ToF摄像头。

图4：基于图像传感器REAL3的驾驶员状态监测演示仪

可扩展的产品组合

英飞凌凭借3D图像传感器服务于各种应用。除最初针对消费类应用推出的型号外，未来还将提供面向工业和汽车电子的解决方案。例如，相应的REAL3图像传感器已经以裸片的形式用于Google ATAP项目Tango。Tango项目包括可扫描3D环境的配备额外传感器和摄像头的智能手机和平板电脑，譬如，以便促进室内导航和扩增实境应用。对于汽车应用，英飞凌正在努力开发工作温度范围更大、采用可靠封装和通过AEC-Q100认证的版本。