思必驰：AR-HUD重新定义汽车HMI

思必驰是一家专业的对话式人工智能平台型企业，以沟通万物、打理万事为使命，基于自研的全链路智能语音语言交互技术，打造有对话系统定制开发平台、人工智能语音芯片、对话式语言大模型DFM。思必驰的大模型于7月12日发布，已覆盖智能汽车、智能家居等领域。

2023年10月20日，在第十一届汽车与环境创新论坛暨第十五届全球汽车产业峰会上，思必驰科技股份有限公司HUD业务负责人苗顺平介绍，思必驰的技术力量主要有四项，一是全链路语音及语言交互技术，二是开发自有产权的DFM对话式语言大模型，三是软硬一体化人机对话系统构建的能力，四是大规模的对话系统定制开发平台。

思必驰的AR-HUD对车载HMI带来了诸多改变，一是有更大的画面和视场角，使座舱HMI有更多自由度，二是有更远的距离，三是创新的交互形式。苗顺平表示，深耕HUD行业多年，思必驰有自己HUD、HMI原则，一是HMI界面要做立体化升级，二是简约地显示关键信息，三是更轻便的交互方式。

思必驰科技股份有限公司HUD业务负责人

以下为演讲内容整理:

思必驰公司介绍

思必驰是一家国内专业的对话式人工智能平台型企业，我们以沟通万物、打理万事为使命，基于自研全链路技术，打造了对话系统定制开发平台、人工智能语音芯片、对话式语言大模型，围绕“云+芯”方案进行布局，目前已经覆盖智能汽车、智能家居以及数字政企等领域的智能化服务。

目前思必驰已经入选人工智能国家队，在2022年7月获批建设语言计算国家新一代人工智能开放创新平台，涵盖“语音+语言”全场景对话技术，是国内仅有的两家语音语言类国家级人工智能开放创新平台承建者之一。目前思必驰拥有近100项全球独创技术，已授权知识产权近1400件，其中已授权专利近700项，软件著作权近400项，累计牵头/参与制定了近50项国家级/行业级/团体级标准。

目前我们公司的技术力量主要分为四项。一是全链路语音及语言交互技术，这项技术可以做到全链路定制，在云端定制好后可以直接在端侧用。二是大模型能力，我们开发了自有产权的通用语言大模型，针对垂域领域。三是软硬一体的人机对话系统构建能力，一些特殊场景需要软件和硬件一体化设置方案才能提供最优的系统体验。四是大规模对话系统定制开发平台，我们为主机厂和其他行业的客户提供了一系列服务。

图源:演讲嘉宾素材

思必驰一直是以“云+芯”支撑整个产品的方案升级和垂直行业覆盖。我们服务有智能汽车领域、智能家电、消费电子领域和数字政企类客户。我们提供有软件方案、一体化模组以及整机方案。今年大模型发布后，我们的DUI平台升级为DUI2.0，可以为各领域客户提供更智慧的解决方案。

就汽车业务而言，我们已经服务了超30家车企，“上车”量超700万。数据显示，2022年车载语音的渗透率超70%，预计在2025年语音技术在车上的覆盖率会超过90%，高阶的人机对话技术将逐渐成为主流。

根据2022年的市占率统计，我们在车载语音领域的市占率达14%，在新能源的覆盖率达70%。伴随新能源的发展，思必驰在新能源车企实现市场覆盖率达70%的同时，提升了整个电动汽车座舱的智能化水平，并且开始探索国外客户，已经实现批量落地。在产品能力方面，我们的语音技术在信通院“可信AI评测”中获L9级别证书，是目前国内唯一最高智能认证的车载语音产品。

我们的语音技术有几大优势。一是全时免唤醒全双工。以往我们在使用智能语音时需要先喊其名字进行唤醒，比如要先喊一声“嘿siri”，它才能听我们的后续指令。但我们的智能语音不需要进行唤醒就可以直接发布指令。二是极速响应，250毫秒就可以响应。三是可见即可说，车机界面显示的可见内容均可通过语音进行操控。四是一句话多意图，支持一句话里包含多个执行指令。五是情感化的交互，支持情感识别，进行语音情感分析，并进行多情感回复，不再是很机械的机器人回复。此外，我们在国内某车厂上发布的车型已经实现了声音复刻功能，还有多模态的交互。第六个优势是多音区，能够满足主驾、副驾以及后排的语音交互。此外通过声音的声纹识别，可以利用声音的信息实现个性化的设置。

图源:演讲嘉宾素材

我们在智慧出行领域主要有四条产品线。智能语音产品线获得了国家L9级认证，与大模型技术融合，打造全链路智能人机对话系统。智能座舱产品线包括智能收放机、智能仪表amp;中控、智能车载机器人以及虚拟数字人等。HUD产品线有W-HUD和AR-HUD，2017年和2018年在后装HUD占有率为第一，目前有超300项专利。骑行产品线则主要是智能仪表和头盔以及其他两轮车产品方案。

图源:演讲嘉宾素材

不论是中控大屏、智能收放机、语音仪表还是AR-HUD，最终都是为了在车内提供更便利、更安全的人机交互体验。我们坚信AR-HUD增强现实的抬头显示，会成为人工智能多模态交互技术完美融合的产品，它兼顾了信息的输出和驾车安全。

思必驰HUD介绍

就思必驰HUD而言，我们在2015年就孵化了车萝卜HUD。2016年发布第二代产品，并创造了京东车品类众筹金额的历史纪录。2018年成为后装的第一品牌。2019年和东风汽车合作的侧窗投影是我们HUD技术的下放，实现东风自动驾驶车辆上车的量产。2019年为国内某车厂实现了AR-HUD首款POC项目交付。2022年我们自己的AR-HUD实现装车量产。在HUD领域，我们有300多项专利，其中HUD核心专利超150项。

AR-HUD相比于W-HUD有许多变化。首先，AR-HUD的虚像更大。W-HUD可能只有7-9寸或11~12寸，而AR-HUD一般是55寸起。W-HUD虚像距离为2-3米，AR-HUD为7米。就视场角FOV而言，W-HUD约为6*3°或5*5.25°，AR-HUD最低为10*4°或9*3°，更大、更宽、更广。W-HUD分辨率为480*240，高清W-HUD分辨率在800*480，AR-HUD分辨率最低是800*480。AR-HUD的体积也比W-HUD更大，且AR-HUD显示画面可做双焦面，同时亮度更高。

AR-HUD给车载HMI带来了诸多改变。一是有更大的画面和视场角，使得座舱HMI有更多的自由度。二是有更远的距离，车上的人机交互不论是基于按键、触屏还是语音，在显示层面往往是一个平面2D，AR-HUD拉远使得整个交互变成3D立体方案。三是更直观的信息展示，之前的信息提示是图标，而AR-HUD可以在驾驶员的视野中直接叠加车辆信息、导航信息等，使信息展示更直观、更自然。这样可以降低视觉离焦时间，提高驾驶安全，保持驾驶员对道路的注意力集中。四是创新的交互形式，除了语音，还可以和DMS结合，实现创新的交互方式以及拓展的可能性。

思必驰HUD的HMI设计原则

我们深耕HUD行业多年，有自己的HUD、HMI原则。首先，HMI界面要做立体化升级，立体化升级不是立体化按钮或立体化显示，更多是通过立体化布景整个UI、UE、UX，利用距离纵深显示，在开车的时候更有代入感和立体感。第二，我们有如此大的面积和高分辨率，是否要全部占满？于我们而言，会尽可能简约地显示关键信息。三是更轻便的交互方式，驾驶员头部往哪看，眼球向哪里聚焦，我们的内容就向哪里倾斜。

图源:演讲嘉宾素材

目前AR-HUD已经打通了六个场景。分别是车辆偏离预警、ACC自适应巡航、AR导航、盲区监测与BSD结合、前车碰撞预警、行人监测。

我们的系统方案包括三个方面。首先，感知层面通过车身ADAS系统获取，ADAS可以基于摄像头、雷达、NOA相关信息。第二，我们有自研的实时渲染的AR渲染系统，将需要显示的信息通过立体3D方式显示出来。第三，我们会给DMS做眼球跟踪系统，目的是实现眼球位置、虚像位置和实景三点一线打通。