DAT-001 Dataset

定位

OpenScene 是 nuPlan 数据集（PPR-2106.11810）的再分发工件：保留相关标注与传感器数据、降采样到 2Hz、体积缩减逾 10 倍，覆盖 120+ 小时（Boston / Pittsburgh / Las Vegas / Singapore），并附带 occupancy 标签。本库语境下它是 BMK-006（NAVSIM）的数据底座——NAVSIM 论文引用的即是本 repo（OpenDriveLab/OpenScene）而非其配套论文；它是库中第一个“多消费者数据资源”的实例化（D25 dataset 类型转 live）。

关于配套论文：数据发布有配套论文 PPR-2211.15654（“OpenScene: 3D Scene Understanding with Open Vocabularies”, CVPR 2023, arXiv:2211.15654），其主题是开放词表 3D 场景理解（CLIP 空间 2D→3D 特征蒸馏，任务为零样本语义分割/查询，非占用预测）——与数据血缘正交互补：论文卡承载其论题（方法重建见 FRM-2211.15654），本卡（DAT）锚定数据工件的 provenance（split 构成、尺寸、与 nuPlan 的关系，锚定 repo 文档与 navsim devkit 文档）。两个节点都存在是“数据集论文自带 benchmark”常态下的标准布局。

事实锚点

以下事实锚定 cache/sources/openscene/（repo @ version）与 cache/sources/navsim/docs/splits.md（消费方文档）：

• 内容：nuPlan 数据的紧凑再分发——annotations + 传感器数据 2Hz 降采样；120+ 小时；四城（Boston/Pittsburgh/Las Vegas/ Singapore）；附 occupancy 标签。
• 数据 split（docs/dataset_stats.md）：trainval 1310 logs、test 147 logs、mini 64 logs；标准 split 场景不重叠。尺寸：trainval logs 14 GB / 传感器数据 >2000 GB；test logs 1 GB / 传感器数据 217 GB（navsim docs/splits.md）。trainval 过滤前共 723,019 帧级 scene（1310 logs 全量实测，2026-09-07 集群完整性扫描）。
• pkl 工件格式要点：navsim Scene 序列化（list[dict]，帧级，字段含 token/frame_idx/log_name/cams/anns/ego2global 等）。⚠️ 两套 token 命名空间：lidar 文件名（MergedPointCloud/ <token>.pcd）= scene 的 token；相机文件名（CAM_*/<token>.jpg）是独立命名空间，与 scene token 交集为 0——按 scene token 找相机文件必然失败，必须走 cams[相机名].data_path（2026-09-07 集群全量实测确认）。
• 官方下载无文件级 checksum；完整性校验链 = HuggingFace tgz 的 sha256（取自 HF tree API lfs.oid，manifest 本身不含 hash）→ gzip 流 CRC → 结构检查（jpg FFD8 / pcd 头）。缺失文件可经 manifest 分片映射精确定位并从 HF 源补齐（2026-09-07 实测链路可行：168 文件恢复、端到端复检通过）。
• 角色：CVPR 2024 E2D 与 Predictive World Model tracks、CVPR 2025 NAVSIM-v2 E2D track 的官方数据；NAVSIM v1/v2 的唯一数据底座。

与 NAVSIM 的关系（筛选语义，实现权威 COD-002）

NAVSIM 的 train/test split 不是数据 split，而是 OpenScene logs 之上的场景筛选器（docs/splits.md）：navtrain ⊂ trainval，navtest 与 navhard_two_stage ⊂ test；NAVSIM split 的场景** 允许重叠**（与标准 split 的不重叠相反）。筛选规则（恒速基线 PDMS（CPT-017）>0.8 剔除等）属协议层，锚定 BMK-006。navtrain 提供单独的精简传感器数据下载（只含所需帧），logs 本身始终是完整 split。

下载面（研究使用的实际数据量）

nuPlan 系数据为三层结构（nuplan-devkit docs/dataset_setup.md）：logs（.db 元数据，含全部标注与轨迹，按 split 分）、maps（每城每版本 map.gpkg，小）、sensor_blobs（8 路相机 + MergedPointCloud 点云——体积大户）。下载规划由 planner 是否读传感器决定（以下尺寸锚定 navsim docs/splits.md）：

要点：

• 闭环仿真与指标计算只吃 logs + maps（PDM/IDM/规则/轨迹 planner 消费标注与轨迹，不读相机/点云）——KB 主线（指标口径、闭环对比）的下载量是 GB 级，传感器数据仅 E2E agent 需要。

• navtrain 提供独立于全量 trainval 的帧级传感器下载（只含所需帧；300 GB 是不含 history 的版本）——这是 OpenScene 相对 nuPlan 原生 >2 TB 的核心减负。

• nuPlan 原生侧的对应尺寸（原生 20Hz logs、原生 sensor_blobs）devkit 文档未给出数字，本库未锚定；devkit FAQ 的官方建议（特征预处理 limit_total_scenarios=0.1 降至 2Hz）正是 OpenScene 存在的理由——预执行的官方降采样。

• 未锚定项：metric caching 预处理在本地生成的缓存目录体积（仿真前需预留磁盘，量级未记录）。

• nuPlan 原生 v1.1 分发是另一工件，不属本卡：其 archive 清单与尺寸锚定见 DAT-002（OpenScene 是对它的再分发，血缘经 PPR-2106.11810 表达）。

Provenance 与 Review Log

• 原文缓存：cache/sources/openscene/（git clone，gitignored；version = repo commit SHA，同 COD-001 裁决）。数据 blob 本体不下载（>2000 GB，无论证需要）。
• 2026-09-07 provenance 独立复核：U20024 集群 /share/home/u20024/data/nav_sim/ 实测（1310/147/64 logs、14 G/2.1 T/218 G/152 G、四城地图）与本卡锚定的官方口径零偏差；trainval 完整性扫描后 100% 补全。操作状态（缓存/配额）记录于该集群 reports/DATA_STATUS.md，不入 KB。
• 2026-09-07 初建。catalog 状态变更：D25 §1 中 dataset 类型 defined-empty → live（本卡为首个实例）。data-from 边随本卡激活（此前 future），指向 PPR-2106.11810（nuPlan 论文是其数据的最近锚点；nuPlan 数据本身未立卡，见 DAT 准入判据讨论 2026-09-07：单一消费者不立，多消费者才立）。