地平线张宏志：AI芯片赋能座舱智能化

12月1日-2日，由盖世汽车主办的“2020第二届车联网与智能座舱大会”隆重召开。本次会议主要围绕车联网、座舱域控制器、车载操作系统OS、OTA、座舱显示等车联网及智能座舱领域热门话题展开探讨，共谋产业未来发展之路。下面是地平线智能座舱产品总经理张宏志在本次大会上的演讲。   

地平线智能座舱产品总经理 张宏志 

听了今天很多的分享，我觉得对于未来的期待现在的认知已经越来越收敛了，比如说我PPT的这一页，也没有跟前辈去聊，但其实结论是这样的，这是为什么呢？汽车会越来越成为一个服务产业，它已经不再是从A点到B点出行工具行业，它是一个服务行业。   

在这个服务行业中，就像手机打电话和发短信是最基本的功能，我们把它当成了照相机、游戏机。被叠加的这些功能，典型的标签是要个性化、智能化，要有足够的体验化，这样它才会满足我们在1982年的科幻电影中所期待的一样，像个机器人一样去帮助人，把人的价值发挥到更大，去做正义的事情。   

我们每次看到机器人，继而对未来充满期待的时候，其实更多的可能是期待自己不完美的那一面能够被机器补偿。人天然有一种特性就是懒，所以我们对车有一种期待就是它能够主动提供智能化服务，所以无论是产品、业务规划和技术，发展到最后无非都要回答一个收敛性的问题，怎么样让机器主动性更好地去服务人？   

现在大家谈到的更多时候是多模的交互，多模本身来讲是偏学术的概念，就是多种异质数据融合在一起输出一个融合性的结果，那我们为什么加一个交互呢？就是因为机器不够智能，解决不了人期待的很多部分，需要和人协作一起去交互。  

我们再往后走的时候希望机器变得更加主动，人变得更加懒惰，减少参与感。再往后我们希望机器所承担的智能化的功能要越来越多，不仅仅是和人进行一些交互，而是能够独立承担人能做的一些事情，典型的案例就是自动驾驶。这一点其实就是一个非常大的改变，他把人的时间给释放出来了，我们在智能座舱里面可以提供足够好的服务和应用去满足人的喜好，把人的时间价值发挥到更大。再往后随着自动驾驶的演进，车就变成了基于人工智能所驱动出来的一个更像机器人内涵的载体。   

我们目前为什么处于人和机器还是要不断交互才能完成一件事情的原因呢？语音的识别槽点太多，手势的识别很差，人脸识别受到环境工况影响，HUD不够成熟等问题比比皆是。眼下的情况就是我们已经想到了很多想要的功能，但是对不起，技术上暂时还难以实现。  

还有一点就是当车真正做到自动驾驶时，和人如何进行交互？现在所有的交互都是基于一个前提——司机是抓着方向盘的，那我们把这个前提条件去掉，如果人在一定的时间和一定工况情况下把手从方向盘上拿开，那人和车的交互应该是什么。车要不断和人进行交互，让车本身的短板暴露出来，保证人的安全，而不是说让人天然地去相信机器能够足够安全的从A点到B点。当不好的情况发生的时候受伤的永远是人，我们要让机器学会像保姆一样去照顾人，甚至去批评人说你不要这么相信我，这是从交互设计上来讲把人变得更安全的一种方法，因为它的前提是人已经把安全这一点完全交给了机器。   

那我们最后想呈现给用户的是什么？在一个场景下足够智能地提供服务给用户，升级体验。所以我认为接下来各个车企、车型需要将用户时间分段，并罗列出每个时间段里我到底能提供一个什么样的智能化服务。当一款车它把用户的时间、场景切分的足够细，它所能提供的功能足够智能的时候，那一款车是最满足用户期待的。  

我们接下来就要看怎么样把用户的时间、功能切的足够细，这里我们的路径是值得参考的。因为所有投资的钱大部分都投向了自动驾驶技术，这就意味着我做智能座舱人机交互要顺着那个技术路线走，因为它的资本是最充裕的，所产出的技术相关经验是最值得参考的，而自动驾驶技术的难度又大于座舱，大于人和机器的交互，因为人在交互中可以不断去修正机器。   

路线确定了以后要设计一些足够个性化的特性放进去。例如在所有的神经网络训练里头加一个ID，代表一个具体的人。你还要在里面加一些主动化的部分，典型来讲就是要将其输出变得分散化。此外，还要把一些情感因素放进去，并添加一个强连接。如果你做的是一个单点、不连通的功能，这个功能很快就会被替代掉。所以如果你做功能设计的时候是不连接的，那么这个功能是不值得去做的，因为会被另外一个功能所满足。 

再往下一点就是要去找这种应用场景。比如，这么多年来一直没有解决掉的疲劳驾驶，未来如何在疲劳的情况下保证安全这也是一个需要去解决的问题。还有就是车本身是一个产品，它本身的控制和操控如何变得智能化，你可以一直往里面投入资源、时间、钱，用AI的方法改变它，还有就是娱乐和服务类的等等。   

机器和人的纽带关系，还需要重新定义。对于当下时代来讲，我认为汽车有非常强的心智的占领，它把我们的思想、大脑，通过一个智能化的车作为一个载体连接到世界万物中去，能够帮人主动做到一些重复的、低附加值、足够安全的事情。   

以前我们做了很多的尝试，比如说把芯片和认知、感知做了一些推理应用到车上，然后对这款车的用户进行调研，询问他们的体验。我们得出了超出想象的结果，他们最喜欢的其实是主动化的连接。虽然这只是其中一个小点，但量变将促成质变，我们最终的目的是机器主动服务于人。   

这是我们的思路，我们用强计算芯片，把语音、视觉、车身的信号输入融合在一起，用一个异构数据的前融合神经网络数据去进行计算，得出感知结果，并进行推理。根据用户的习惯，为其提供个性化的服务，我们做了几个功能，像疲劳驾驶监测、自动开车窗等。   

我们现在的思路并没有演变成为从技术驱动的角度变成一个足够智能化的整车载体，我们现在还是把它分为主驾、副驾、前排和后排几个区域来做的，但未来我认为会用更强的计算芯片和神经网络结构统一去计算，而不是像以前解决问题时一样，去进行拆解、分类、分层。    

但是恰恰这一点AI并不是这样思考的，AI的思考方法是将很多冗杂没有规律的数据放在一起，经过足够强的AI计算资源进行暴力求解，得到答案，那个答案或许是人难以理解的。所以人对于数据所采取的分层、分类的方法并不一定满足人工智能将来的思考方法。   

我们看到有一个技术路径，有一个我们已经尝试过的经验。我们把座舱里面的感知结果和车外的感知结果放在一起进行融合思考，它会呈现出来一个中台。   

我们在地平线5代芯片的时候会用96 TOPS的算力，将车内外摄像头、雷达、麦克风等整个感知的结果输出到上层应用，这时你再做一个APP的开发，你看到的将不再是一个业务逻辑流而是一款数字化的车。 

这一款车把车内外的环境全部给你，你在里面做一个AI的算法，在数字化的世界中挑选出自己这一款应用所需要的数据，并且按照自己以前积攒的一些数据和算法的经验给出一个反馈，这个反馈就是此时此刻我这个应用为当前车内能提供的最有价值的服务。   

也就是说这个里面搭载的每一款应用都会去全面接收到这个数字世界连接的一个结果，并且每一个细胞、每一个个体找出来说我在这个数字世界中存在的价值是什么，结果是什么，如果有一个应用不断接收迎面而来的数据，但是它一直都找不到自己的价值和自己能提供的服务，这个应用就会被取消掉。当每一个应用都能够拿到足够丰富的数字化世界，并且能够提供价值，这个数字化的世界就会变得丰富多彩起来。   

还有一点，软硬件为什么要分离？因为两个的速度不一样，硬件是慢的，软件是要不断持续迭代的，当你把一个快的和一个慢的放在一起时，两个要互相将就，都非常痛苦。   

为什么这么困难呢？当我们看产品定义和未来场景的时候我们都是乐观的，但是当我们做技术决策的时候都是悲观的。谁都知道，我们将来的AI算力需要几百个TOPS，那我们现在就做这样一款芯片吧，技术架构研发工程师会说不行，我们还是要分步走，所以这个时候我们就会知道在所有硬件设计的时候我们都是悲观的，我们都会想先问清楚软件、产品的人说你能帮我把需求再确定一点吗？   

我把这个设计尽量合理一点，不要让它过于复杂，不要延期，不要加大测试难度，大多数的结果是大家互相将就，最后硬件出来了，软件和产品的人想清楚了说没问题，我们迭代吧，每天/每周发个版本吧，像互联网一样去改变这个世界，没跑几天说对不起，半年前的硬件做不到了。所以这是不断循环的事情，我们在做软件的时候对未来充满了期待，但是这些期待不能被定义下来，所以说现在更多时候是什么？我们在做硬件设计的时候尽量把它做得超前一点，你要相信软件和产品的人，他会很快把它用满的。软件和产品的进步会对芯片的需求越来越大，而两者分离这是必然的，但是要把硬件做得足够强，满足将来软件的需要。   

还有一点值得分享的就是确实是硬件驱动了软件的不断创新，因为硬件是一次成形的，当它一次成形的时候尽量足够强大，因为它是实实在在的一点，它足够强大的时候就能够承担起来后面软件的快速迭代。   

我们看到了AI的发展、芯片的发展、硬件的发展、软件的发展，这些生产力以外我们需要来看另外一个事情，生产关系是什么？我们可以看到说，不管在PC时代还是移动时代，包括AI时代，其实本质来说所有的生产关系都是一个圈子，只是你被混到了哪一个圈子，在圈子里的地位如何而已，这也决定了你在行业中的收益情况。  

现在我们看到进入AI时代时，会发现做芯片的企业，做软件的企业，做中间件的企业，还有这些做产品的，我们要合在一起。而站在地平线的判断来讲，我们认为这个窗口期比预想的窄得多，也就是三五年。我们看这三个时代可以看到，每个时代是一个十年的周期，分为先后两个阶段，前面的阶段一定是技术突破，属于创新公司的时代，因为这个时代进步了，它的对于技术有新的要求，比如说操作系统，像整个端上的计算，像CPU的计算，像Windows、LINUX，前面5年都是技术进步的时代。

技术的进步满足了应用和产品的需求，后5年更多是场景、功能、入口、商业模式的发展期。而AI从2014、2015年开始被大家所认知，现在5年过去了，技术红利积攒起来的可能能够解决我们很多现实问题，那么后5年更多的是什么？是生产关系、应用和商业模式，是入口，是这样的一个时代了。   

所以说我们都可以看到，车企和一些掌握自动驾驶关键技术的企业在过去5年里头形成了某些圈子，而这个圈子对于中国来讲，中国的OEM也需要快速地形成自己的圈子向前迭代，然后去拼抢场景、应用、入口和新商业模式的创新。   

最后，收敛之后要解决的是什么呢？是一个规级生命的进化问题，我们要放一个足够强的芯片，放足够强的传感器……这些基本要素组合起来之后，这些社会协作能给它提供什么？   

让一个规级生命足够快速去进化，现在我们还没有体会到AI带给我们所有更多的价值，是因为现在还没有太多机器和云端服务器每时每刻不停得计算。我们现在很多算法和AI开发都是人工参与的部分太多，一个机器数据AI算法，并且能够自动部署到很多终端上去，很多终端再次采集数据给一个机器进行训练，当一个机器完成整个闭环的时候它的进化速度是超越我们这些人类的。但是人类是需要休息的，我们是需要时间才能把自己迭代得更好，而机器不一样，机器可以快速不停地去进行迭代。   

所以在这个角度上来讲就是我们需要把它限制在一个合理的范围内，把它变成正向价值然后进行迭代。

过去几年，地平线也做了一些尝试，所有的这些尝试都是基于对AI的认知。我们永远把AI作为一个新时代的发动机，作为一个新时代的驱动力，理解这个驱动力，并且用好它。今天就是这么多，谢谢大家！