保隆科技IMS舱内监测系统

2023年12月12日，在2023第五届智能座舱与用户体验大会上，据保隆科技IDS技术交流中心总经理孙路介绍，保隆科技IDS板块智驾产品十分丰富，涵盖前视单目摄像头、前视双目摄像头、环视摄像头、舱内雷达、前向毫米波雷达等。2018年保隆科技开始致力于舱内产品研发，发展至今也已形成完善的产品矩阵。其中，保隆科技IMS系统是整合包含了DMS、OMS、 FACE ID和DDAW的座舱内综合智能视觉辅助系统。

围绕DMS和DDAW、OMS和座舱雷达以及两种FACE ID的主要功能与应用，孙路结合具体的案例进行了详细分享。而关于从IMS到舱驾一体，孙路表示，“我们可以借助丰富的产品种类进行灵活的产品组合，通过舱内做舱泊一体，也可以做舱驾一体，以不同的组合去满足车厂的不同要求。”

孙路 | 保隆科技 IDS技术交流中心总经理

以下为演讲内容整理：

产品概述

座舱这块保隆科技最早于2018年就启动了相应DMS的产品开发，包括当时的功能实现人脸注册、识别驾驶员的脸部、头部、行为。2019年我们进一步把产品做了深化，把一些危险动作的驾驶都加入进去了，包括抽烟、喝水、玩手机、系安全带等都可以识别。2020年，由于疫情的原因，口罩会把脸遮住，这种情况下还需要进一步提升产品的识别能力，我们做了戴口罩的人脸识别和特征的聚焦，2020年已经有相应的产品落地。 

图源：保隆科技

2021年，我们开发了OMS系统，主要包括对宠物、儿童的遗留物体监测。2022年，我们开发了手势识别对车上的设备进行控制，比如音响、空调、车窗等可以通过手势的方式进行控制。2023年，DMS做了追踪，对驾驶员注意力监测。最早我们用双目试验过立体活体监测，到2023年我们单目识别也能够识别人体活体监测。

保隆的IMS系统包括几大部分，一部分是DMS，主要有疲劳、危险驾驶、分心和系统自诊断。OMS包括儿童遗留、物品监测、乘客入座监测和手势识别。FACE ID主要是对人脸的比对，看车主是否有权启动车辆，包括智能控制，比如参数的保存，根据车主身份的识别恢复到之前驾驶的习惯。保隆科技产品的欧盟标准基本完成，通过了相应的权威机构检测。

DMS的产品主要是红外的，可以避免可见光对目标识别的干扰。国内外对DMS认知度越来越高，所以法规的建设在近几年不断完善。首先是国外有了强制的要求，出了相关的标准，欧盟从2022年7月已经强制必须要配置DMS系统。DMS系统组成主要是摄像头和控制器两大模块，保隆的算法是自研的独立知识产权的算法。我们合作的方式比较灵活，有自己的控制器，也搭建了不同的平台和算力芯片，同时我们也可以部署，比如车厂域控制器会逐渐完善，可以利用它的算力芯片和相应的资源，把我们的算法部署进去。我们有相应合作的车厂，实现了相应的SDK提供。

我们的产品主要是红外灰度图，可以把940纳米以外的可见光都过滤掉，避免产生识别的误判，所以我们额外增加了滤波的过滤片，实现滤波的效果。打造的多层软件架构，可以适应多平台部署运行，应用层功能丰富，还可以不断叠加，在内核层中可以做定制化功能，包括报警、疲劳监测和危险驾驶行为监测等。DMS功能包括疲劳磕睡监测、驾驶员离岗检测，离岗类似于故障的检测，看驾驶员面部是否被遮挡，识别他的面部状态，对他进行疲劳辨别。

更多功能有本地人脸识别、本地人注册，我们授予管理员的权限，车主就有权在车上设置其他能够进入或者驾驶车辆的权限，并给予授权。疲劳的监测功能主要提取面部的体征、眼部信号和头部运动性等来判别驾驶员的疲劳程度。还有注意力不集中监测，驾驶员驾驶车辆的时候，车慢慢偏离或者他的行为有危险可以认为驾驶过程当中存在一定的风险，我们也会报警。额外的目标识别包括抽烟、喝水、打电话等，把这些叠加到产品的功能里面，可以不断向客户提供更多功能。

因为我们必须对国标进行解读，深度解读了以后按照国标的内容进行开发，产品准确度才能提升更高的层次。国标里面明确规定一些行为必须要输出，包括闭眼、头部姿态异常、接打电话、打哈欠、抽烟，内容包括什么样的情况下是闭眼，就是眼睛完全闭合，头部姿态异常，上下的角度和左右的角度，打电话任意点与头部的距离，同时后面还有一些判定条件，我们做了一定的解读之后会按照之前的算法进行参数的调整和设置，保证产品首先要满足国标。   

因为欧盟做过调研，大概20%的事故是由于疲劳，甚至死亡率达到25%，于是2019年法规就已经在研讨当中，2022年7月就已经颁布了DDAW的法规，做了相应9级分级的报警，我们有一套完善的策略来满足法规要求，并可以设置它的灵敏度，比如在测试的时候有些车厂会要求不希望太灵敏，动不动就报警，那么就可以降低它的灵敏度。

DDAW的启停按照DDW在欧盟的标准做了很多的分析。开机以后，尤其定时状态的检查，最重要的一点是要求70公里时速以上必须要起动。可选项包括车主关闭了DDAW，DMS报警，是否下次还要启动，什么时候启动，是不是需要恢复等逻辑欧盟当中也有建议，所以我们根据这些建议设置了软件的流程图，包括驾驶侧的车门打开，可能意味着DDAW会重新设置重新复位。比如之前关闭了，它会重新打开，欧盟规范的要求就是为了避免车主长时间关闭造成DMS失去它有效的作用。这是强制的要求，不允许车被关闭以后下次就不会自动打开，它要随时打开。

灵敏度计算方法是我们比较核心的内容，也是标准里面参照出来的，是为了区别判定你是不是真正的疲劳睡眠的依据。可以把灵敏度认定为一个标准，真正驾驶员已经疲劳了，系统能够判定的概率大概是多少，这个指标很重要。下面还有一个平均的灵敏度和标准差，都是为了辅助我们分析和判定驾驶员是不是真的疲劳。每个人的脸部和头部的形象都不一样，有的人眼睛比较小，特征差距也比较大。怎么判断这个人是不是真的进入疲劳状态，甚至亚洲人跟欧美人、印度人等都有很大的差异。    

这样一个差异怎么避免产生误报，因为我们的产品要出口，于是我们有自己的一套算法，包括各种各样的参数指标进行比对。我们的结果判定依据有相应的资质标准，判定认证机构会按照流程执行步骤，包括开放性道路和相应的间隔时间。按照流程判定产品是不是符合DMS、DDAW等相应的标准，我们的产品现在完全可以出口到欧盟。

OMS和座舱雷达    

OMS和座舱雷达是我们同时布局的智能座舱监控产品，OMS主要的功能是监控后排座，儿童是否遗留，包裹行李是否遗留和宠物的识别，防止车主把宠物遗留到了车上，同时还研发了手势识别。产品由摄像头加控制器组成，摄像头进行了相应的防水处理和外观的处理，手势识别的功能可以根据车上的要求把不同的手势做相应的控制车内设备的定义，严格按照人体工程学和人性化的设计开发。 

图源：保隆科技

通过手势识别可以对车上的任何设施控制，同时也实现人的行为识别，比如有后排乘客在打电话，这时候音响声音比较大，当OMS自动识别有后排乘客打电话的时候会自动把音量关闭或者减小。同时欧美国家对摄像头比较敏感，因为它容易暴露隐私，所以我们针对特别用户开发了舱内摄像头，除了有站位的功能测试以外，还有相应的人体特征，比如呼吸心跳我们也能进行监测。人体生命体征的场景包括座位脚位是否有物体存在占位的情况，车外有人或者物体经过时会不会产生误报，我们都会做相应的测试。

FACE ID功能

我们的FaceID跟摄像头电子架构差不多，主要功能是两部分：一是装在车外，用于解闭锁的，不用带手机也不用带钥匙直接带一个脸就能把车门打开。不用带手机就可以开车，坐在驾驶位上DMS或者FaceID摄像头就能识别我的身份，知道我有权启动引擎。 

图源：保隆科技

FaceID这块通过大数据模型的训练，提高了它的精准度。舱内的FaceID会调整之前驾驶员相应的设置参数，比如座椅位置、倒车镜的位置、音响等都可以定制化。外部是为了解闭锁，目前产品已经量产，在车外驾驶员的门侧有一个液晶屏会提示驾驶员面部是否落到可识别的区域，因为这个属于低功耗，一般需要手挥一下，热感应就会启动识别的流程。

活体检测目前比较多，大家知道手机上有的时候活体检测会有绿光、白光、黄光闪，但我们不能这么干，这么干的话人的感觉度会非常差，我们通过自己比较固定的算法识别人的纹理，检测是不是活体。人的皮肤跟照片屏幕差异是很大的，通过这些特征就能识别是不是一个真正的3D活体，这样可以对抗相应的攻击。

（以上内容来自保隆科技IDS技术交流中心总经理孙路于2023年12月12日—13日在2023第五届智能座舱与用户体验大会发表的《舱内的DMS与OMS 》主题演讲。）