去年，人工智能（AI）技术开发平台Hugging Face推出了LeRobot，一套开放式人工智能（AI）模型、数据集和工具，旨在帮助打造现实世界的机器人系统。据外媒报道，当地时间3月11日，Hugging Face与AI初创公司Yaak合作，为LeRobot扩展了训练集，旨在训练能够在诸如城市街道等环境中自主导航的机器人和车辆。

多模态数据可视化（图片来源：Hugging Face）

新数据集命名为Learning to Drive（L2D），大小超过1PB，包含安装在德国驾校汽车上的传感器收集的数据。L2D捕捉了驾驶教练与学员在施工区域、交叉路口、高速公路等道路环境下的摄像头、GPS和“车辆动态”数据。作为全球最大的多模态数据集，L2D旨在为汽车行业打造开源空间智能系统，为Hugging Face的LeRobot训练管道和模型提供一流的支持。

受源代码版本控制最佳实践的启发，Yaak还邀请了AI社区成员对整个数据集（>1PB）进行探索，并识别新片段。此类新片段合集经过排队审核，将会集成至未来的版本（R5 ）中。

L2D数据集是在为期三年的时间内，通过在德国30个城市的驾校中部署于60辆电动汽车上的统一传感器套件收集而来，其中的策略被分为两类：由教练执行的专家策略以及由学员执行的学生策略。两类策略都包含与驾驶任务有关的自然语言指导，专家策略因不存在驾驶错误，被认为是最佳策略，而学生策略被认为为次优。两组策略都全面涵盖了在欧盟（德国版）获取驾照所需完成的所有驾驶情境，包括但不限于超车、环形交叉路口以及铁路道口驾驶等。

目前，市场上已有多个开放的自动驾驶训练数据集，包括Alphabet的Waymo和Comma AI。但是，据L2D数据集的创建者所说，许多数据集都关注于物体探测和跟踪等规划任务，此类任务通常都需要高质量的标注，因而很难得到扩展。相比之下，L2D数据集旨在支持端到端学习的开发，通过传感器的输入信息（如摄像头捕捉的画面），直接学习预测动作（如行人可能要穿过街道）。

Hugging Face和Yaak计划于2025年夏天利用L2D数据集和LeRobot开展现实世界“闭环”模型测试，测试车辆将配备安全驾驶员。两家公司呼吁AI社区成员提交希望对模型进行评估的模型和任务信息，例如绕环岛行驶和在泊车位附近行驶等场景。