自动驾驶数据标注教学（自动驾驶 数据）

智驾系统全栈模型化开发，会给数据闭环带来哪些变化呢？

随着自动驾驶引入软件2.0、端到端技术，智驾开发模式从基于规则的分任务模块，进化到以数据驱动的AI 2.0阶段，目前正逐步向着AGI通用人工智能的AI 3.0迈进。

在今年北京车展上，商汤绝影就展示了其下一代自动驾驶技术：DriveAGI的前瞻预览，它是基于多模态大模型对端到端智驾方案进行改进和升级。DriveAGI是自动驾驶大模型从数据驱动向认知驱动进化，超越司机的概念，加深其对于世界的理解能力，具备更强的推理能力、决策能力以及交互能力，是目前自动驾驶中最贴近人类思维模式、最能理解人类意图并有最强解决驾驶困难场景能力的技术方案。

数据闭环是AI 1.0以后自动驾驶研发必不可少的一环，但是AI在自动驾驶应用的不同阶段，对数据闭环各环节的需求大不相同。

智驾系统全栈模型化开发，会给数据闭环带来哪些变化呢？

数据采集方式从采集车规模化采集转向量产车长尾场景采集为主，更加注重数据的高质化

从数据流转的环节看，首先智驾数据采集目前有多种方式，包括专用采集车、量产车数据采集回传、路侧数据采集融合、低空无人机采集交通数据、以及仿真合成数据等，实现覆盖范围最大化、场景最泛化、数据种类最齐全，最终配满数据的三个要素：海量性、完备性、准确性。其中量产车数据是主流方式。

部分车企智能驾驶数据累计对比

来源：佐思汽研

从上表可以看出，车企通过量产车不断累计海量的智能驾驶数据，并持续提炼有效高质数据以训练AI算法，例如理想汽车通过对超80万车主驾驶行为的评分，其中约3%驾驶行为分在90分以上的车主，可以称为「老司机」，而车队老司机的驾驶数据正是端到端模型训练的燃料，预计2024年年底理想汽车端到端模型学习预计可能超过500万公里。

那么有了足够的海量数据，如何充分提取有效场景数据、挖掘出更高质化的训练数据呢？可以透过以下例子来了解一下：

在数据压缩方面，车端收集的数据通常来自车载系统和各种传感器的环境感知数据，在用于分析或模型训练之前，必须经过严格的数据预处理和清洗，以确保其质量和一致性。车端数据可能来自不同的传感器和设备，每种设备可能都有其特定的数据格式。以RAW格式（即未经ISP算法处理的摄像头原始数据）存储的高清智驾场景数据，将成为未来高质量场景数据的趋势之一。这里以昆易电子为例，其“基于相机RAW数据压缩采集方案”不仅提高了数据采集的效率，也最大限度地保留了原始数据的完整性，为后续的数据处理与分析提供了可靠的基础。与传统的ISP后压缩数据回灌相比，RAW压缩数据回灌避免了ISP处理过程中导致的信息损失，可以更准确地还原原始图像信息，提高算法训练的准确性和智驾系统的性能。

RAW压缩数据回灌方式链路示意图

来源：昆易电子

在数据挖掘方面，基于离线3D点云大模型的数据挖掘案例值得关注，比如基于离线点云大模型，轻舟智航可进行高质量的3D数据挖掘，不断提升目标识别能力。不仅如此，轻舟还创新构建了基于文字到图像的多模态模型，只需通过自然语言文字描述，便可在无监督的情况下自动检索相应场景图像，挖掘出很多在平常数据使用中很难发现的、生活中也很难遇到的长尾场景，提高了挖掘长尾场景的效率。例如，输入“夜间雨天行驶的大卡车”、“躺在路边的人”等文字描述，系统就能自动反馈相应的场景，便于专项分析和训练。

基于离线3D点云大模型的数据挖掘

来源：轻舟智航

数据标注正向AI自动化的高精度标注发展，未来趋向少量标注或无需标注

随着大模型的广泛应用和深度学习技术的进步，对数据标注的需求呈现爆炸性增长。大模型性能在很大程度上取决于输入数据的质量。因此，对数据标注的准确性、一致性和可靠性的要求也越来越高。为应对大规模的数据标注需求，许多数据标注公司开始研发自动化标注功能，进一步提高数据标注效率。例如，

此外，2024年7月27日，蔚来正式发布中国首个智能驾驶世界模型 NWM（NIO World Model），即可以全量理解信息、生成新的场景、预测未来可能发生的多元自回归生成模型。值得注意的是，作为生成式模型，NWM 可将3秒钟的驾驶视频作为Prompt（提示词），生成长达120秒的视频，NWM通过自监督的过程，已经做到无需数据标注，更高效。

仿真测试在智驾开发中日益重要，高精准、高还原能力是提升场景覆盖质量的关键

高阶智驾需要在各种复杂和多样的场景中进行测试，这不仅需要高精准的传感器感知还原能力，还需要强大的3D场景重建能力，以及场景覆盖的泛化能力等。

• 沛岱汽车全物理级传感器模型能够仿真细致的物理现象，例如电磁波的多路径反射、折射、干涉、多路径反射等，或动态传感器性能，例如探测丢失率、目标分辨率、测量不准度和“鬼影”物理现象等，从而获得传感器模型所需的高保真度。基于沛岱PlenRay物理射线技术的全物理级传感器模型，目前仿真还原率95%以上。
• dSPACE的AURELION （3D场景及物理传感器的高精度仿真）是一款灵活的传感器仿真和可视化软件解决方案。基于游戏引擎的物理级渲染对摄像头传感器像素级原始数据进行仿真；AURELION的毫米波雷达模块利用光线追踪技术对射线类传感器的信号级原始数据进行仿真；考虑特定材料对激光雷达的影响，输出的点云包含近真实计算的反射率值 ；对于每条射线提供逼真的运动失真效果与可供配置的时间偏移值。
• 昇启科技旗下的千行仿真平台加入了丰富逼真的行人模型，支持行人微观轨迹的自定义，行人批量生成等功能。此外，平台还提供不同的高保真行人行为风格模型，涵盖了人车交互、横穿马路、斜穿路口等场景。对三类驾驶风格的驾驶员（保守型驾驶员，常规型驾驶员，激进型驾驶员）进行建模，并通过一定的概率分布对各参数进行细化，使得环境车辆的驾驶行为多样化、随机化。
• 作为生成式仿真模型，蔚来NSim可以对NWM 推演的每一种轨迹与对应的仿真结果做对比。原本只能在和真实世界中唯一轨迹里做比对，加入NSim后，变成了在千万世界共同地验证，给到更多数据给到NWM训练。让输出的智驾轨迹和体验更安全更合理，更高效。

生成式仿真案例：NSim

来源：蔚来

在自动驾驶领域，端到端方案对于高保真场景的需求更加迫切，由于端到端系统需要能够在各种复杂场景中自如应对，需要将大量标注有自动驾驶行为的视频投入自动驾驶训练。目前，在3D场景重建方面，3D高斯泼溅技术（3DGS）在汽车行业正加速渗透应用，这是因为3DGS在渲染速度、图像质量、定位精度等方面呈现出了非常优异的表现，全面补足了NeRF的短板。同时，基于3DGS的重建场景能够1:1复刻在真实智驾上发现的边缘场景（Corner Case），通过动态场景泛化，提升端到端智驾系统应对Corner Case的能力。例如，

• 51Sim创新性地将3DGS通过AI算法融合到传统图形渲染引擎中，在拟真度方面取得了突破性进展。51Sim融合方案具有高质量和实时渲染的能力，高保真的模拟场景不仅提高了自动驾驶系统的训练质量，还显著提升了仿真的真实性，使其几乎可以达到肉眼难辨的程度，大幅提升了仿真的置信度，并弥补了3DGS在细节和泛化能力的不足。
• 此外，理想的仿真场景重建也利用了3D高斯泼溅。理想汽车的智驾方案是由三个系统构成，即端到端（快系统） + VLM（慢系统） + 世界模型。其中世界模型结合了重建和生成两种技术路径，将真实数据通过3DGS技术进行重建，并使用生成模型补充新视角。在场景重建时，其中的动静态要素将被分离，静态环境得到重建，动态物体则进行重建和新视角生成。再经过对场景的重新渲染，形成3D的物理世界，其中的动态资产可以被任意编辑和调整，实现场景的部分泛化。生成模型具有更强的泛化能力，天气、光照、车流等条件均可被自定义改变，生成符合真实规律的新场景，用于评价自动驾驶系统在各种条件下的适应能力。

3DGS重建场景

来源：网络

BEV多摄像头视频生成

来源：网络

简言之，重建和生成两者结合所构建的场景为自动驾驶系统能力的学习和测试创造了更优秀的虚拟环境，使系统具备了高效闭环的迭代能力，确保系统的安全可靠。

OEM全栈自研能力的“快速跑”，促使数据闭环技术提供商持续提升服务能力

数据闭环分感知层和规控层，它们各自都有独立的闭环流程。在两个方面，数据闭环相关技术提供商服务能力均有能力深化的进步，比如：

• 感知方面，在项目开发的过程中，自动驾驶系统会定期发版，将感知、规控、通信、中间件等所有内容整合打包，而有的智驾方案商，比如Nullmax会将感知部分先行单独发版，然后通过自动化工具和测试人员进行测试，输出具体报告，评估前期问题的修复情况。如果感知版本存在问题，那么也还有时间继续修改和测试，这样可以极大程度避免上游的感知问题影响系统整体，而且更利于问题的定位和系统的改进，将系统发版和项目开发的效率大幅提升。
• 规控方面，以轻舟智航为例，其自研的“时空联合规划算法”同时考虑空间和时间来规划轨迹，在三维中同时对行驶路径和速度求解，而非先单独求解路径，在路径基础上再求解速度从而形成轨迹。 将“横纵分离”，升级为“横纵联合”意味着路径和速度曲线将同时作为优化问题的变量，得到二者的最优组合。

数据闭环技术提供商，一般提供整套数据闭环解决方案或分离式数据闭环产品（即模块化的工具服务，如标注平台、回灌工具、仿真工具等等）给主机厂和Tier1。对于数据治理能力较强的车企通常会外采自身能力不足的工具模块，集成到自己的数据处理平台体系；而对数据治理能力偏弱的主机厂则会考虑紧耦合式数据闭环产品或定制化服务，比如福瑞泰克的全新一代紧耦合式数据闭环平台产品—福嘉FUGA已经积累了超过800万公里的真实量产数据，以及超过100款量产车型的算法闭环迭代的经验，可以做到100倍以上的算法迭代效率，每月管理的高价值场景数据片段超3000组等。目前，FUGA数据闭环平台产品已在多家头部OEM的量产车型项目中展开实际的部署和应用，可以支持按天级的测试数据问题分析，以及按周级的数据清洗和统计报告分析。