2024北京车展丨商汤绝影真·端到端自动驾驶解决方案UniAD上车首秀

    近日，商汤科技发布全新升级的“日日新SenseNova 5.0”大模型，广受好评！

    6000亿参数的“日日新5.0”采用混合专家架构（MOE），具备更强的知识、数学、推理及代码能力，成为国内首个全面对标甚至超越GPT-4 Turbo的大模型，多模态能力领先GPT-4V。基于端云结合的架构，商汤端侧大模型大幅超越同量级大模型，越级比肩7B、13B大模型，更适合车端部署。

    依托“日日新SenseNova 5.0”行业领先硬核实力，商汤绝影打造了一系列大模型车端产品，并在2024北京车展“上车”首秀。

    本届车展，商汤绝影参展的核心关键词是：原生态大模型、真·端到端自动驾驶UniAD“上车” 、多模态场景大脑和全新3D交互，带来AGI时代的全新出行体验。

    智驾方面，商汤绝影首次向公众展示了面向量产的真·端到端自动驾驶解决方案UniAD(Unified Autonomous Driving)的道路测试表现。

    作为全球首个提出感知决策一体化自动驾驶通用模型的公司，商汤绝影的技术落地速度也“绝速引领”。

    商汤绝影还带来了以多模态场景大脑为核心的AI大模型座舱产品矩阵以及全新座舱3D交互演示，以通用人工智能（AGI）技术，驱动灵活自适应、深度个性化、安全可信赖、有人文关怀的未来出行全新体验。

    商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚表示：“未来汽车智能化的竞争，本质上是通用人工智能技术融合应用的比拼。商汤绝影致力于成为加速智能汽车驶入AGI时代的核心技术伙伴，给智能汽车产业带来生产效率和交互体验的双重革新，将携手合作伙伴提供通用人工智能技术驱动的智能汽车全新体验，共同定义未来出行。”

像人一样开车！真·端到端自动驾驶解决方案UniAD上车首秀

    2023年，商汤及其联合实验室提出的行业首个感知决策一体化自动驾驶通用模型UniAD荣获CVPR 2023最佳论文，引发行业轰动！

    仅一年后，UniAD已经“上车”！

    真·端到端，无需高精地图，仅靠视觉感知。

    无论是复杂城市道路还是无中线的乡村道路上，车辆都能搞定一系列高难度操作——大角度左转上桥、避让占道车辆、施工区域、绕行跑步行人……做到“像人一样开车”！

    今年以来，受特斯拉FSD V12版本的端到端自动驾驶方案影响，行业号称“端到端”智驾方案不断涌现，但大多由感知和决策两个模型组成的 “两段式”架构，存在信息传递过滤或丢失的问题。

    UniAD将感知、决策、规划等模块都整合到一个全栈Transformer端到端模型，实现感知决策一体化的真·端到端自动驾驶。

UniAD真·端到端：感知决策一体化的通用模型

    为什么端到端智驾方案如此重要且紧迫？

    一方面是智驾场景（尤其城区场景）计算的复杂度呈指数级增长，另一方面传统方法人力成本高且难以应对长尾路况(corner case)，而端到端技术可高效、低成本应对这些问题。

    具体而言，商汤绝影端到端模型泛化能力强、迭代效率快，可以帮助车企低成本快速开城，纯视觉感知的无图方案，进一步降低系统的软硬件成本，助力智驾普及。

    在端到端系统基础上，商汤绝影还在车展期间带来了新一代自动驾驶大模型DriveAGI，推动自动驾驶从数据驱动向认知驱动的跃迁。

新一代自动驾驶大模型DriveAGI：可感知、可交互、可信赖

    依托多模态大模型，DriveAGI将是目前最贴近人类思维模式、最能理解人类意图并有最强解决驾驶困难场景能力的技术方案，向完全无人驾驶迈出重要一步。

    多模态场景大脑 让智能座舱“真”懂你！

    前不久上市的小米SU7将AI大模型带进座舱，而商汤“日日新”大模型也全面助力小爱同学车载语音场景应用。

    本次车展，商汤绝影展示了以多模态场景大脑为核心的一系列全景感知、主动关怀且富有创造力的大模型座舱产品。

    多模态场景大脑让智能汽车可以高效准确地全景感知和深度理解用户需求和周围环境，打通不同应用，将离散的单点功能聚合在一起。

多模态大模型可以准确感知并识别车外信息

    比如，可以基于地理位置推荐符合用户喜好的餐厅，介绍用户感兴趣的外部自然景物，准确感知识别车型、标志性建筑物等车外信息，打破座舱本身的限制，让用户享受更为自由无束缚的出行体验。

    以商汤“大医”医疗健康大模型为桥梁的“旅医”，让用户在座舱内就可以获得专业及个性化的健康管理服务，让出行更安心。

    而基于AIGC大模型技术的“神笔”，可以把用户简单的绘画线条转变成具有美感的艺术作品，增添驾乘乐趣。

    去年Apple Vision Pro的问世展现了3D交互的创新体验和应用潜力，本次车展，商汤绝影将3D Gaze高精视线交互和3D 动态手势交互这两大全新座舱3D交互演示带到现场，带来如同“Vision Pro”裸眼上车、更符合人类直觉的自然交互体验。

3D

Gaze高精视线交互是商汤绝影全球首创的能够通过视线定位与屏幕图标进行交互的智能座舱技术，让用户无需点按屏幕，通过眼神即可精准控制中控图标，完成多种交互操作

3D 动态手势交互是行业领先的支持动态手势和手部微动作识别的智能座舱技术，用户通过手势“隔空”实现各类座舱精细化的交互，打破传统按键和屏幕触控方式的繁琐和局限

    商汤绝影还在进一步探索舱驾融合，实现智能驾驶和智能座舱在硬件、软件及应用层面的全面融合，提升用户体验、降低系统成本，进一步打破舱内外的界限和束缚，涌现更多创新功能，带来更安全、更加全方位，更具人文关怀的新体验。

    加速智能汽车驶入AGI时代 商汤绝影与哪吒汽车全面深化战略合作

    AGI的突破掀起技术范式的革新，坚实的核心研发能力成为行业竞争的关键。商汤绝影率先构建了四大技术基座，正在成长为加速智能汽车驶入AGI时代的核心技术伙伴。

    SenseCore商汤大装置是行业领先的AI基础设施，能够以高达12,000 petaFLOPS的丰沛算力支持商汤绝影系列原生态大模型的高效迭代；

    商汤绝影为智能汽车前瞻构建了UniAD、DriveAGI以及面向座舱的多模态场景大脑等系列原生态大模型，加速端到端自动驾驶和大模型在智能座舱场景的落地；

    端云协同和舱驾融合的创新软硬件架构，让智能汽车降本增效、涌现创新功能；

    全栈的数据生产管线，实现大模型的高质量训练。

    车展上，哪吒汽车官宣与商汤绝影全面深化战略合作，双方将开启合作新篇章。商汤绝影将以大算力和原生态汽车垂类大模型更好地助力哪吒汽车智能化发展，共同探索更前沿的智能驾驶技术以及多模态场景大脑带来的全新智慧出行体验。

    未来一到两年，智能汽车处在一个关键的时间节点，它与通用人工智能的深度融合将开启一个全新的时代，车企需要强有力的核心技术伙伴携手共进。商汤绝影正是行业稀缺的同时具备“算力+算法+量产经验”全栈技术领先的核心供应商，是一匹应势而跃的千里马，能够助力合作伙伴在AGI时代持续领先。