小鹏汽车副总裁刘凡凡：车内智能体系演进

6月4日，“2020首届软件定义汽车云论坛”以网络视频直播的形式顺利召开。本次论坛主要围绕“软件定义汽车”趋势下企业的思考与战略选择展开探讨，为业界搭建一个沟通、学习的平台。下面是小鹏汽车副总裁刘凡凡在本次论坛上的发言：

我今天讲的题目是车内智能系统的演进，车内的系统智能到底是什么，分几个方面来介绍，第一个想讲的就是车内的交互差异是什么，我们是怎么来看待交互。第二个想分享的内容是智能驾驶舱的定义是什么，大家谈了很多智能驾驶，定义是什么。第三个分享的是OS能给汽车来什么，为什么我们在车内要做OS。

先从车内的交互来讲。首先从一个例子开始，我觉得比较典型的，大家可以看到屏幕上有三个设备，最左侧是一个IPOD，第一个是物理按键的按纽，第二代交互方式开始做了一些变化，把整个物理按纽变成触摸屏。我们再看最右侧的苹果电脑，苹果电脑最新的macpro是触摸方式进行操控，两种不同的交互模式交融的时候会衍生出很多产品。大家可以看到中间，这也是我们现在比较常见的摇控器，会有很多模式的组合，有物理按纽的，有触摸版的，还有触摸屏的方式。

革命性的产品，往往是对交互模式做一些改变，同时会引发技术的巨大变化，包括相应的技术发展和延伸。我们再往下看车内的交互是什么，最右侧的图见的比较多了，传统的车，或者是比较旧的车的交互都是这样的模式，由大量的物理按键来进行操控，每一个功能可能在车内都可以找到一个对应的操控按纽，我们看到屏幕中间，只有一个收音机在那里，从空调到音量到播放到调台，每个都有一个对应的实体按纽，可能我们大家都知道这个方式好像已经过时了，好像已经是非常传统的交互方式。我们再看左侧这张图，这是一个概念车的模型，新的交互模式已经完全没有了物理按纽，变成座椅就是一个屏幕，可以进行交互。我们在车上的交互方式跟最传统的方式已经完全不一样了。

当然左边这是一个概念车，是我们理想中的模式。很多还处于概念阶段，或者是处于一个初步的预言的阶段。两者结合起来，实际上在落地的，或者现在大家都认为还是比较先进的交互模式，可以看到中间是一个单触屏的，一方面对传统的技术做了变化，第二方面把我们一些新的概念，一些理念引入到车上，是一个结合实际的技术变革量产的产品。

我们可以看这个车机交互，基本上是取消了所有的物理按纽，所有的操控都是通过屏幕的触摸来进行。当这样的产品出现的时候，第一大家会感觉巨大的变化，跟传统车不一样，第二个不习惯，怎么用，车上怎么可以没有仪表，没有物理按键，只有一个屏幕进行操纵，实际上在大家适应这个交互的方式之后，已经离开不了，觉得这个方式可能才是车上正确的方式，大家已经觉得再回到物理按键很怪，显然就是一个即将会被淘汰的方式。我们可以看到车内的变化是非常快的，我们如何从交互模式考虑车内智能怎么演进。

我们看到的一个变化，这个图是讲的交互量化的过程，最下边L1，L2，L3的定义并不是自动驾驶级别的定义，是我们对于交互代级的定义，第一代交互，第二代交互，大家可以看到在早期，或者是五年前，十年前是通过物理按键的方式进行交互，大家可以看到最上边的曲线，一开始市场上90%以上的车都是通过物理按键，大家觉得这是一个标准的交互方式。触屏有少量的车开始有这样的产品上线使用，但是非常少，可能会有各种各样的问题，技术不成熟，成本过高，或者用户不习惯使用。大家常规的想法是这两条曲线会比较平缓地交叉和替代。实际上我们看到这个变化非常大。到了今天，旧款车不算，如果是新设计的车出来，绝大部分车上的交互都选用触摸屏的方式进行交互。因为大家觉得这才是现在智能汽车应该有的样子。所以我们看到这两条曲线，触摸的交互方式替代物理按键的交互方式，这个变化翻天覆地，一夜之间就过来了，和我们想象的平稳替代不一样。我相信未来一两年市面上绝大部分新车都会变成触摸的方式。我们想说的是我们的汽车还没有准备好，触屏时代就到了，小孩子都很喜欢IPAD，可能更是符合人的使用习惯。

两者之间我们觉得还有一些新的形态会出现，是什么呢？因为在车上和你平时生活中不一样，在日常生活中，大家都习惯用智能手机，触摸屏，IPAD，双手是可以拿住，捏住手机或者屏幕，你的眼睛看着屏幕进行交互，车上可能不一样，车上在自动驾驶到来之前，作为一个开车的状态，你一定是双手握住方向盘，眼睛看着路，安全第一，可能没有那么多的焦点，包括操作使用这块屏。那怎么办呢？我们觉得云的交互可能是一个重点，可以极大地解放你的手和眼睛，帮助你实现想做的事情。

触屏加上语音系统才是车上好的使用方式，语音从音响的进化到现在的智能语音设备也有一个变化。很早以前，包括几年前出的亚马逊的音响，更多是解决听和说的问题，你问他什么他答什么。当语音结合触屏，可以做的事情就更多了，不光能听，能说，还能看，还能触摸，整个交互方式是全新的业态，可以做很多的事情，功能也比原来有大的拓展。

做了那么多铺垫，我们车上的交互方式会变成什么？我们小鹏在设计汽车交互的时候，觉得触屏很重要，第一代产品的驾驶舱，如果了解我们车的都知道我们是一个大的中控屏在中间，所有的操纵都以触屏的交互模式为主。当然我们觉得仅仅触屏也不够，功能还要继续加强，加强什么呢？我们希望在车上，用户是真正不用手和车交互，点来点去，查来查去，点哪个按键，实现什么功能，我们希望通过语音的方式进行，我们在下半年会通过OTA发布全场景语音，支持唤醒词的自定义，可见即可说，屏幕上任何功能按纽，你说就可以帮你操控。所有的领域都会进行覆盖，从导航、音乐、车控，看到的功能，想说的都可以跟小P说，他都可以帮你操作。同时我们会做一些事情持续的倾听，大家知道更多的交互方式是你说他做，举个例子，我们现在在车上的交互，如果我跟他说你好小P，我要去东方明珠，他会带我去。下次我如果还有一个新的指令得重新唤醒小P，我们往下去拓展的时候，应该持续倾听，有个连续对话的过程，更接近人的使用习惯，用起来更方便。同时还有抗干扰，你在车上锁定是主驾说话还是副驾说话，还有主动服务的推荐。

下面我有一个小小的视频，可能有的朋友看过，大家可以看看我们理解的车上语音应该是什么样。

（VCR）

这个功能是一个连续对话，基本上是车上的功能打通，全场景的语音，会在今年下半年通过OTA的方式推送到所有P7的车上，怎么去实现呢？从交互来说，我们认为在车载环境里是一个VUI和GUI融合的绝佳场景，为什么呢？一方面是从交互便捷性和需求上来说。第二个，我们也在小鹏G3车上做了大量测试和数据积累，我们发现用户刚开始的时候更习惯用GUI界面操控做这样的事情，到了后面逐渐习惯跟小P交互做一些事情的时候更习惯用VUI的方式进行交互，早期如果是一轮对话结束，再启一轮，这样的效率就不够，我们觉得实现了持续倾听和连续对话，整个效果会好很多。同时我们会通过OTA的方式进行迭代，能力是可以逐渐进化的。

第二个是智能座舱，如何定义驾驶舱是什么。对于智能化汽车，大家都是做汽车的朋友，其实会想到很多，可能不同的人对于智能化有很多理解。我们看很多的车展，包括很多厂商概念的展示，大家会看到每个人对智能的理解不一样，有的人说屏幕越多越好，车上到处都是屏，车看起来很酷，很智能。还有一种是跟虚拟现实的结合，HUD的投屏，我们觉得有一个前挡风的投屏，这个很智能。也有人觉得应该是更科技，应该有个虚拟现实投屏的小机器人跟你对话，我觉得对于智能来说其实有不同的理解。

从车内来说，车是比较复杂的场景，车会有很多输入源，环境的影响非常大，如果从车内的输入来说，可以看到影响有几方面，一个是用户本身对车辆的输入。第二个方面是从车辆本身有很多输入。像我们的P7有摄像头，还有毫米波雷达和超声波雷达，很多信息会进来。第三个方面是周围环境因素的影响以及输入，最后输出是一个用户的交互。

如果再细化，我们可以看到整个输入和输出，整个状态和我们用普通智能设备差别很大，我们之所以说智能座舱非常复杂，天气、位置、路况、电池、环境、附近车辆、路灯的状态、车窗的状态、大灯的状态，包括车内的温度、主驾的状态，这些都是一个输入。我们看到整个车内的影响，输入源和输出，整个定义和传统智能设备的交互是不一样的。很多时候我们会遇到一个很好玩的题目是什么叫做车内智能，车内智能是不是IPAD的功能足够强大就行，可能解决的是娱乐功能，实际上真正做到智能座舱是远远不够的。

我们看到所有的环境影响，车辆的影响，用户状态的影响，实际上是整个车内环境，车内和车外环境的拓展。要做到这些，很重要的一点是如何把车内的所有数据，所有的平台能够打通，在我们看来这是智能座舱，智能车的基础。小鹏汽车投了大量的人力和研发团队来做这块事情，我们之所以要做自己的OS的平台，实际上是我们把车内数据全部打通，所有的数据、环境的数据、感知的数据，通过车内的网络把所有的数据都可以集成到我们的中控屏进行决策，可以给用户推荐，你要如何进行各种各样的车控的操作，首先底层能力打通是我们要做的事情，你有这些数据能力，才有可能在上面构建一些好玩，或者我们觉得可以让用户更愉悦的东西。

有一个小小的案例给大家看一下。这是我们小鹏P7，是一个全贯的灯带，前面是多个LED组成的，我们可以用它跟车身音乐结合，可以做出很好玩的功能。

（VCR）

刚才是一个好玩的小视频，实际上是我们灯舞的功能，刚才为什么给大家看这个小视频，比较好玩的地方是我们打通了车内的数据，车控的功能，这是一个典型的拿音乐和车灯的控制做了这么一个娱乐的功能，好玩的地方是你发现这个车好像懂音乐，包括我们的前灯带可以呈现出钢琴弹奏，演奏的效果。

这些在我们看来，很多能力的拓展都是基于底层的数据和能力打通，包括我们的整车OTA，全车ECU都可以通过OTA进行升级。只有把硬件能力打通，硬件和软件能力做了充分的融合，我们才可以在一些场景让软件为硬件赋予更多能力，可以做更多的功能和能力的拓展。刚刚大家看到是一个车外的灯，实际上我们在车内的氛围灯也是可以根据我们的音乐效果来进行编程，做一个编程的效果，这些都是依赖于车身的数据才可以做，把软件和硬件的能力进行融合，才会发现我们的硬件好像变得更聪明了，可以做一些不一样的事情。

延伸到刚才的话题，为什么我们车上装个IPAD不行，为什么车上需要OS，刚才展示了一些好玩的效果需要打通整个能力才可以做，IPAD只是一个平板设备，跟整个汽车是割裂的，并不是整个智能座舱一个有机的组成部分。我们做了这么多OS以后，OS是我们汽车的大脑，他来指挥汽车做各种各样的事情，进行各种各样的操作，你会发现车内的各种传感器，各种功能变成了大脑、手和脚，智能座舱系统才会完整，是一个整体。

讲到我们的OS，对于人机的交互部分，大家看到的是屏上好像是在屏上交互和IPAD上交互没有什么太大区别，拿一个冰山模型做演示，看到的只是冰山上的部分，车的OS跟IPAD智能设备放到车上最大的差别就是山下边的东西是什么，其实最典型的就是对域控制器的整合，还有一个是自动驾驶能力如何去融合，如何打通。水面以下的冰山是汽车的基础和应该具备的智能能力，通过上层来表现出来，这个里面看到的东西，可能交互的模式比较类似，但实际上呈现出的内容是完全不一样的。

下面是一个很好玩的例子，我们做的一个小游戏，大家可以看看。

（中断）

从OS的角度来说，为什么车上不能装IPAD，还是要从顶层做研发，做车机交互的系统。核心看到冰山上这一部分，大家觉得语音交互跟IPAD没有区别，实际上下面的能力在冰山之下，包括智能驾驶能力的整合，对各个域控制器的整合，所有车身的数据和能力的数据整合，在OS层面再去表现，可能大部分的能力大家看起来和IPAD差不多，但很多能力IPAD的做不到。

下面给大家看一个小小的例子。

（VCR）

这个视频展示的实际上是车控的能力和大屏交互模式。如果能力没有打通，这个游戏体现的效果就实现不了。这是一个狂野飙车的游戏，好像真的可以用开车的方式玩赛车游戏，虽然是小小的游戏，但需要能力打通才可以做。

从环境的感知到软硬互动到多模互动，整个车内的交互模式会不太一样。想多分享一点事情，小鹏汽车一直的定位是做智能化，智能化是我们的标签，我们研发团队一直想什么叫智能车，如何让我们的车跟别人的车不一样，车内智能到底指的是什么。

可以给大家多分享一下我们自己研发团队的心路历程，包括我们摸索的一些方向。在2019年的时候，我们做了大量的车内创新，在我们的G3车上上线了很多功能，如果有人开过G3，我们最高的时候平均每个月都会做OTA，每一次OTA都会上一些新的功能。很多功能可能是按照我们互联网的节奏，或者我们从互联网产品的需求来定义，我们觉得这些功能对用户是有帮助的。

我们发现整整一年的OTA，上线了大量功能，更新的节奏很快。但实际上通过我们的观察和数据分析，很多功能用户感知度并不强，他的车内模式和手机不太一样，手机上了一个新功能，马上就有大量用户去感受这个功能。车内的交互模式和用户使用习惯与手机不一样，并不会太用，车的状况用户更多是握着方向盘往前开，没有太多的机会去玩这个车，我们思考的是如何让车内的智能功能对用户更有帮助，如何把软件和硬件能力打通，让用户在车内方便对车辆进行操控，做不一样的事情，用户才会觉得这个车真正可以帮到他。

我们刚才给大家展示的全场景语音的视频，其实也是基于这么一个考虑，我们做了很多事情，其实还不如想想从交互层面用户到底需要什么，如何让用户的感知体验更好，更方便，更便捷，这是我们的心路历程，我们做P7的研发，包括做后面车辆的研发，我们想的不是更多做加法，而是想到重大的创新点，如何做精做深，做成真正用户需要的、好用的、体感不一样的功能，都是需要交互模式的设计，包括能力的打通，包括车内系统的构建和研发，能力平台之上找到用户最需要的点，才能把我们的车做的不一样，变成一个真正用户接受，喜欢而且爱用的车。

分享一点数据，我们对G3的智能功能做了一些统计，2020年3月份，小P智能语音助手的月渗透率达到99.66%，几乎所有的用户都会用。导航3月份渗透率是88.29%，这是用户的刚需功能。同时用户对我们OTA的方式非常接受，96%以上的用户都会通过OTA升级系统。我们提供的自动驾驶辅助系统功能也有74%的用户会用，自动驾驶辅助泊车的功能有51%的用户会用，这是G3大致的使用状况，我们也会在这个基础之上再研究，再思考，如何继续往前走，让我们的车做的更好。

这是我们今年推出的P7，4月27号做了线上发布会，现在我们在全国各地都在展开试驾工作，车不多宣传了，实际上我们希望更多朋友能来看，来参加我们的试驾，看看我们的车，给我们提供一些参考意见，希望跟大家共同成长，真正打造好中国的产品。

我今天的演讲就到这里，谢谢大家。

问：请问当时做灯带互动的时候考虑的应用场景是什么？

答：首先说明这是一个娱乐功能，我们的车灯是希望车看起来更智能，更好玩。灯舞的功能是我们灯语的一部分，我们给车灯设计很多交互模式，会给你打招呼，主人走过来的时候会给你say hi，充电的时候会有灯的电量显示，我们给车灯做了很多设计，我们希望车能看起来更聪明，更可爱，更有年轻化的感觉，这是我们做的事情，灯舞只是其中一个效果。

问：请问智能座舱如何考虑行驶安全，如果OS发生非预期的指令，导致危害发生，这方面小鹏做了哪些考虑？

答：这个问题问的挺不错，我们从汽车的角度来说有两个功能，一个是安全功能，一个是娱乐功能，娱乐功能在行驶中可以做，但是安全功能有安全的限制，比如说开车过程中座椅是不能调的，挂到D档哪些事情可以做，哪些场景可以做哪些操作有区别，我觉得可能要强调一点，并不是把所有的功能全部开放给OS在大屏上去做各种事情，本身要做安全功能和娱乐功能的区分，这是一个基本的要求，车首先是安全的，是交通工具，不可能做的像玩具一样。

问：人机交互OS基于什么开发的？

答：我们目前是基于高通820A的平台，基于安卓系统做的深度定制化，从底层的硬件驱动我们的DFT包括整个层级的定义，包括上面的开放平台定义，去做深度定制，你可以理解为从安卓平台上延伸出来的。

问：可不可以把IPAD或者手机通过某个APP与车机OS打通？

答：这个问题问的很有意思，我们也想过这个事情，你可以做什么，你要做什么。如果说APP跟车机OS打通有点怪，因为APP没法跟车打通，只是车机OS被开放某个接口，开放一些接口，提供一些能力，APP可以通过远程的调用做这个事情。

我们也做了类似的事情，小鹏有个小鹏APP，支持简单的车控功能，对我们内部是打通的。外部的APP，可不可以做这个事情，理论上是可以的，但也是有安全方面的考虑，我们计划逐步开放这个平台，会把车身一部分能力开放出来，在安全符合车规的基础上，包括隐私保护的基础上支持第三方做一些定制的开发，可以在车上上线一些小功能，将来是可以做的事情。

问：后排可以用IPAD操控车上非安全功能吗？

答：这些事情理论上可以做，但实际上在我们车上你跟小P说就好了，你说温度调低他就调低了，干嘛要自己做一个应用，你干什么跟小P说就可以了，他都可以帮你做。

问：你们现在做的是高通820A吗？

答：是的。

问：渗透率是指什么指标？

答：这是互联网常用的运营指标，指有多少用户使用我们的功能。

问：小鹏现在的BMS是自己研发的吗？在动力域控制器方面怎么规划的？

答：BMS是我们自己做的，但这个问题细节主要涉及到电池技术，具体细节要相关专家来回答。

问：能否介绍一下小鹏云端平台及功能规划？

答:这个问题比较大，不是很好答，我们云端实际上是为车机服务的，并不是云端主导，目前典型的云端服务就是小P的智能推送，我们有重要的信息，节日的信息，包括天气，重大事件都是通过小P推送，这样的信息推送也有一些，实际上是智能数据的分析，采集，进行一些反馈。

我们会考虑的一个点是不要对用户产生太多的干扰，不要打扰用户行车的安全，可能会做一些这样的事情，云端是服务于车机的，可以做一些不一样的事情。举个例子，还有一个比较实用的功能就是哨兵模式，当车内无人状态时遇到碰撞或异常，会打开车内摄像头，把摄像头的状况传到你的APP上，都是云端做的功能，云端功能都是围绕车辆的安全服务来做的。

问：请问小鹏对新软件功能包会考虑单独收费吗？

答：好问题，我们并没有把收费这件事情看得很重，核心想法还是如何让用户觉得真正好用，现在的智能系统还是属于比较早期的阶段，让用户接受、使用并喜爱这些好用的功能，先把这个做到，至于收费的事情还是后面的事情，不是说收费不重要，而是说先做出大家喜爱的东西，然后才有后面的事情，如果你做的东西没人用，再谈收费也没太大意义。

问：小鹏对车载软件的安全性是如何考虑的？主动安全，被动安全方面如何考虑？

答：我们是两方面的安全，一个是主动安全和被动安全，这是整车方面的功能，实际上有些功能对车机是开放的，有些不开放，有些功能是做区分的，什么状态下可以做什么样的操作，其实跟物理按键的操作是一样的，没有什么特别。

第二个层面的安全是系统安全，车机会不会被黑掉，这部分我们有专门的安全团队及完整的安全体系，我们会专门去验证如何保证我们车机的安全不会出很严重的问题，所以是两个区隔，一个是主动安全和被动安全和整车安全和娱乐功能的区分，第二个是车机系统的安全。

问：针对驾驶员行为和其他乘客的监测功能有什么？

答：我们不会去做特别的监控。你如果要问有什么监控，一个是安全带有没有系上，一个是打开ACC和LCC的时候，监控你手握没握着方向盘，如果没有我们会提醒你，除了这个并不会去监控驾驶员和乘客。可能还有一个就是语音监测，当你唤醒语音功能，小P会去分析是主驾跟我说话还是副驾跟我说话。

问：小鹏自动泊车使用率50%左右，你认为是什么原因？感觉自动泊车是一个很能改善用车体验的功能。

答：对，这个问题很好，为什么是50%，我觉得几方面的原因。3月份的时候，疫情还比较严重，很多车都没开。第二个问题，本身这个功能并不会100%地用。所以期望100%也不太可能。