商汤绝影-商汤绝影智能汽车平台丨确认申报2023金辑奖·中国汽车新供应链百强

申请技术丨商汤绝影智能汽车平台

申报领域丨人工智能

产品描述：

寓意“模型迭代速度和处理问题的能力可以日日更新”，商汤大模型体系在其“大模型+大装置”的AGI战略布局下，正进行着高速迭代。

作为千亿级参数的自然语言处理模型，商汤商量SenseChat 2.0版本突破了大语言模型输入长度的限制，并推出不同参数量级的模型版本，可完美适配移动端、云端等不同终端及场景的应用需求，降低部署成本。商汤的自研生成式大模型商汤秒画SenseMirage 3.0的模型参数从今年4月首次发布以来的10亿提升至70亿量级，能够实现专业摄影级的图片细节刻画。

不仅如此，商汤如影SenseAvatar 2.0数字人生成平台相较1.0版本的语音和口型流畅度提升30%以上，实现4K高清视频效果，并带来AIGC生成形象及数字人歌唱功能。此外，商汤琼宇SenseSpace 2.0的空间重建效率提升20%，渲染性能提升50%，每100平方公里场景的建图时间仅需38小时即可完成（1200 TFLOPS/秒算力支持）；而商汤格物SenseThings 2.0对小物体的纹理及材质还原达到毫米级精细度，并突破对高反光和镜面物体的采集难题。

具体而言，在智能汽车领域，商汤绝影智能座舱、智能驾驶、车路协同等行业应用也已在大模型的加持下突破创新边界。

在智能座舱里，商汤通过视觉、听觉等多模态融合，全方位感知用户需求，通过标签化数据记录用户习惯和偏好，提供专属个性服务。同时，商汤还通过大模型强大的环境理解、逻辑思维和内容生成能力，带来更懂用户的“车舱大脑”，以及可支持形象、语音快速定制的数字人进行拟人化交互，带来集安全、娱乐、教育及效率于一体的智能座舱体验。

通用人工智能使我们基模型具备空间环境的理解、用户状态的感知，多模态的指令，还有多轮对话，内容生成等一系列的能力。它就可以去赋能，作为我们情绪的感知，智能助手，基于情感的对话、创意、内容的生成，个性的交互等等这一系列功能，不断地去提升我们的个性化的体验。也使我们的场景从上车、行车、停车、离车，进而拓展到娱乐、办公、购物、休息，这里面有很多的可以去探索的应用的场景。

车舱外，依托 “大模型+大装置”的强大能力，商汤绝影部署端云协同，统一流量入口，支持私有化部署及千万量级的应用需求。在近期的CVPR 2023中，商汤及联合实验室还首个提出感知决策一体化的自动驾驶通用大模型UniAD，开创了以全局任务为目标的自动驾驶大模型架构，并斩获最佳论文奖，为自动驾驶技术与产业的发展提出了新的方向。

借助于商汤超大模型+超算中心，绝影自研搭建了数据闭环平台，实现了感知和决策的数据的闭环。在车端，可以源源不断地获取大量数据，这些数据如果用手工标注，效率是非常低的。有了大模型，就可以自动进行数据的标注再反馈，去更新车端的模型，让系统的能力更加强大。绝影已建立高价值数据获取能力。商汤AI大装置为数据闭环研发体系的高效运转提供有力保障，以长尾数据挖掘为起点和终点的数据闭环模式，可持续驱动算法的优化，赋能智能汽车行业。

基于大模型能力，商汤绝影还打造了车路云协同的交通体系，凭借多模态多任务通用大模型开发路侧视觉感知大模型，结合琼宇2.0及格物2.0构建智能交通孪生与仿真，并利用商量2.0的感知推理和人机交互能力推动车路云共同向大模型对话式交互的演进。

独特优势：

核心技术突破：

大装置和高性能计算：SenseCore AI大装置基于2.7万块GPU的并行计算系统实现了5.0 exaFLOPS的算力输出，可支持最多20个千亿参数量超大模型（以千卡并行）同时训练。

计算机视觉：成功研发了320亿参数量的全球最大的通用视觉模型，实现了高性能的目标检测、图像分割和多物体识别算法，并在自动驾驶、工业质检、医疗影像等多个领域得到广泛应用。

AI生成内容（AIGC）：实现了多个文生图大模型的训练，对文字生图的理解、出图画质与推理速度等任务具备出众的能力，尤其在中国传统文化的理解方面具备独特优势。

自然语言处理：成功研发了千亿参数量预训练大模型，显著提高了文本生成、人机对话等任务的性能。

语音识别和合成：语音识别模型在多种场景下实现了高准确率、低延迟的语音转文本能力；语音合成模型能够根据用户需求生成具有不同语调、音色的语音，为公司数字人、智能车舱等产品提供强大支持。

强化学习和决策智能：成功研发一系列高效的决策智能模型，在机器人控制、游戏AI、自动驾驶决策系统等领域取得显著应用成果。

AI芯片和硬件加速：成功研发了数款高性能、低功耗的AI推理芯片及AI ISP芯片，在数据中心、边缘计算等场景下展现出强大的计算能力。

“大模型+大装置”技术路径奠定发展根基，SenseCore支持AGI行业发展

SenseCore已支持了超过10个大模型训练项目，包括语言大模型、文生图模型、视觉大模型、多模态模型等自研模型和客户自定义模型。

其中，SenseCore服务8家客户进行大模型训练，总共提供7,000多张GPU卡；对外提供的AIaaS具体包括了计算基础设施服务(IaaS)、深度学习平台服务(PaaS)、模型部署及推理服务(MaaS)三大部分的能力。

随着智能汽车对人工智能的功能和需求不断提高，场景不断丰富，也对通用人工智能提出了要求。不同于以往的单一智能，单个AI模型输入的数据类型是单一的，只能完成单一任务、适应单一场景。利用通用人工智能技术，一个模型能够输入语音、图像、文字，还有激光雷达的3D点云等多种类型的数据，并完成各种各样的任务。通用模型的出现，能够帮助我们实现不同行业之间的融合，实现产品和场景应用的创新。

基于SenseCore商汤AI大装置强劲支撑，打造绝影核心能力。通过超级算力和超大模型，SenseCore商汤AI大装置可为智能汽车构建通用智能的能力，推动智能汽车与各个产业相互融合，不断创新驾乘体验。

SenseCore商汤AI大装置是支撑商汤软件平台的通用人工智能基础设施，AIDC是SenseCore商汤AI大装置的重要算力基座，可实现批量的算法模型生产、部署和迭代升级，支持超大参数通用大模型训练。通过超级算力和超大模型，SenseCore商汤AI大装置可为智能汽车构建通用智能的能力，推动智能汽车与各个产业相互融合，不断创新驾乘体验。 

在智能汽车领域，健全的质量体系意味着行车安全、交互流畅；意味着功能可靠、软件过硬；意味着复杂系统的稳定。商汤自2016年开始探索智能汽车领域以来，便不断执行严苛的质量管理。例如在2016年，商汤率先通过ISO9001认证；2019、2020年先后通过ASPICE（汽车软件过程改进及能力测定）CL1和CL2等级认证，是亚洲最早拿到ASPICE认证的AI平台公司。

应用场景：

截至目前，商汤绝影已与全球范围内超过30家车企合作，拥有超50个生态合作伙伴，商汤绝影智能驾驶和智能座舱产品累计前装定点数量超3100万台。未来，还将持续推动跨场景智慧产业生态融合，打造商汤绝影创新新范式。

以2023年上海车展为例，从智驾到智舱，绝影扎实助力车企智能化落地。

2022年，绝影智能驾驶和智能车舱产品完成了27款车型的适配和量产交付，新增汽车定点数估计超过800万台，覆盖30多家车企的80多款车型。本届车展上便有近30款搭载绝影产品的合作车型展出。通过与合作伙伴共同深挖车载感知数据的价值，绝影致力于将商汤智慧产业生态向智能汽车服务输出，实现与汽车产业和生态共生共赢。

在智能驾驶领域，绝影领航驾驶产品在广汽埃安AION LX Plus、哪吒S等多款车型上完成落地，递交量产答卷。商汤绝影也是国内率先服务车企量产L2+功能的Tier-1技术供应商。车展现场，商汤绝影展台展示了搭载绝影量产智能驾驶的广汽埃安AION LX Plus。通过稳定的环视BEV感知能力和强大的通用目标感知能力，绝影助力该车型实现了高速NDA辅助驾驶功能，可完成众多高难度的感知任务。未来，城市场景也将进一步实现拓展与覆盖。此外，合作车型哪吒S也在车展期间亮相，商汤绝影全栈智能驾驶解决方案将为消费者带来安全可靠、高效舒适的高速领航辅助驾驶体验。

在智能车舱板块，商汤绝影以极“智”感知能力，带来高安全、智交互、个性化的驾乘体验。绝影此次展出的蔚来ES7支持出行场景下对驾驶员的疲劳状态进行实时提醒，同时助力提供Face ID、儿童遗忘检测系统（CPD -Child Presence Detection）等乘员感知技术。尤其值得一提的是，通过领先的视觉AI技术，绝影对驾驶员注意力检测升级为3D空间建模方案，应对不同驾驶员身高、坐姿习惯及环境光照等干扰，长尾场景下播报准确率提升53%；同时针对特定模型持续优化，针对小眼睛用户、睁闭眼及逆光等复杂场景下播报准确率提升47%。绝影还助力实现了基于方向盘管柱位置的感知能力，实时感知效果不受方向盘转动、位置变化影响。这些功能也同样应用于基于蔚来NT2.0平台的ET7、ET5等车型，未来还将延伸至蔚来更多核心车型中。

商汤绝影还为本次车展的重磅新车极氪X行业首个智能B柱交互系统提供软件的解决方案，让用户可以无感进入，轻松解锁和落锁车辆。在本届车展亮相的东风猛士917，广汽传祺E9、影酷以及M8宗师等车型也会搭载商汤绝影驾驶员感知和乘员感知的多项功能。高合HiPhi也与绝影智能车舱的多项先进功能进行了合作，将智能温馨的驾乘体验带给驾驶员和乘客。上市即热销的长安逸达亦搭载了绝影健康检测产品，可在不到半分钟内检测出车舱乘员的多种健康指标，带来车载健康管理新体验。

根据相关调研数据显示，2023年1-3月中国市场（不含进出口）乘用车前装标配搭载IMS（含Face ID、DMS、OMS等视觉交互类应用）交付38.21万辆，渗透率为9.32%。其中，商汤绝影在IMS（不含芯片自带算法、车企自研）算法前装市场份额为17.03%，持续领跑。

未来前景：

在智能涌现的全新技术浪潮下，商汤科技以大算力和大模型构建了AGI时代的长期竞争力和创新基石，不仅推出了面向不同领域的多任务通用大模型，同时也为基础科研的创新，以及生成式AI的规模化应用奠定长期发展的新路径。面向未来，大模型的根本价值就是重构生产力模式，并且为人工智能的产业落地带来范式革新，商汤科技致力于通过日复一日的高效技术研发和场景赋能，在AGI时代不断跳跃出认知的局限，拥抱变化，主动创新，智胜未来。

随着商汤大模型体系的持续建设，绝影也将伴随通用人工智能技术的浪潮，实现技术研发效率和产品化能力的不断提高，不断拓展智能车舱的交互边界以及智能驾驶的适用场景，共同奔赴人车共驾、人车共智新时代。