DAT-002 Dataset

定位

nuPlan 论文（PPR-2106.11810）对应的官方原生数据分发（nuscenes.org，CloudFront /public/ 直链，经注册/条款门控）。格式为 20Hz SQLite .db logs + 原生传感器 blob——与 DAT-001（OpenScene 2Hz pkl 再分发）是不同工件：navsim 仿真管线吃 pkl，nuPlan devkit run_simulation.py 吃 .db，不可互换。本卡的存在理由：BMK-003 口径（devkit 闭环、Test14、reactive IDM）的实测复现只能用本工件。

事实锚点（官方 archive 清单，2026-09-08 锚定）

.db logs（metadata）：

• 训练集高度向 Las Vegas 倾斜：单 vegas ≈ 914 GB，其余三城合计 ≈ 104 GB——nuPlan train split 的数据分布事实，采样/分片设计需考虑。
• nuplan-maps-v1.0.zip 0.97 GB（与 DAT-001 集群侧同源）。
• sensors：train 43 相机 + 43 lidar 分片、val/test 各 12+12、mini 6+9，合计 ≈ 16.6 TB（单分片 46–219 GB）；闭环仿真不需要。

访问通道分档（2026-09-08 实测）：mini/maps 为 CloudFront /public/ 匿名直链；test/val 匿名 400，须走授权 API（/v1/archives/...）取得源站 S3 直链（motional-nuplan.s3.amazonaws.com/public/...，无签名参数、公网可 GET）——两通道都是公开 HTTP，区别仅在 URL 的发现方式。下载校验以 Content-Length 逐字节比对为准（error page 恰好可“自证”大小，勿以 4xx 页长度为 expect）。

最小下载组合：devkit 闭环评测（BMK-003 口径）= test.zip + maps ≈ 97 GB；冒烟 = mini 8.55 GB + maps。devkit 文档称“download all archives”——分发粒度上 metadata 按城市/用途分片，可按需选取，无需 16.6 TB 传感器。

与 DAT-001 的关系

OpenScene（DAT-001）是对本工件的紧凑再分发（2Hz、>10× 缩减）。两者的尺寸换算互洽：mini 侧 8.55 GB（20Hz .db）vs 1 GB（2Hz pkl）≈ 采样率之比。集群（U20024）自 2026-09-09 起存有本工件四件（~/data/nuplan_v1.1/，与 3090-C 下载副本同源，见 Review Log）。

Provenance 与 Review Log

• 原文缓存：数据本体未下载（截至 2026-09-08）；archive 清单锚定自 nuscenes.org 下载页官方数据（浏览器会话 + 站点 JS 结构化清单，2026-09-08）。

• 2026-09-10 train 分片下载（用户指令：一次只下一个文件、下完即推 U20024 并删本地）：脚本 dl_train.py（Cognito 认证 + 授权 API 换源站直链 + aria2c 16 分片；凭据按规则 8 存根 .env）维护于 /mnt/data/nuplan_v1.1/。已完成分片（均经本地逐字节校验、rsync 推送、远端 size + sha256 复核、哈希行追加远端 SHA256SUMS.txt，本地不留副本）：

  分片	大小（B）	sha256
  nuplan-v1.1_train_pittsburgh.zip	30,620,248,893	70bfb1fd…f8593e
  nuplan-v1.1_train_singapore.zip	34,959,594,178	fd29dc9f…5c4cdea
  nuplan-v1.1_train_boston.zip	38,161,149,300	444cdb40…1d53690
  nuplan-v1.1_train_vegas_1.zip	154,406,370,335	17b29418…01282fb
  nuplan-v1.1_train_vegas_2.zip	152,025,130,331	1112ed43…977121f
  nuplan-v1.1_train_vegas_3.zip	151,596,886,608	0a5f74f7…eb1dc11
  nuplan-v1.1_train_vegas_4.zip	143,595,811,311	56dce8a5…463d968
  nuplan-v1.1_train_vegas_5.zip	136,371,675,016	d932fb24…1e0904c
  nuplan-v1.1_train_vegas_6.zip	175,541,219,902	f570a52a…a8a0c6982

  九片合计 1,017,278,085,874 B（2026-09-13 远端 ls 逐文件求和），与“官方 archive 清单”一节按发布页估算的 train 总量（38.2+30.6+35.0+913.6 ≈ 1,017 GB）一致；远端与本地 SHA256SUMS.txt 各 13 行（原四件 + train 九片）。train 分片下载至此完结。节点选择实测：站点 API GET /v1/regions 只提供 US 与 Asia 两项，但 nuPlan v1.1 归档在 region=us 与 region=asia 下返回同一 URL（train_singapore / mini / maps / sensor blob 四种取样一致），其余取值 HTTP 400——即 nuPlan 侧无可切换的 Asia 节点（该选择器对同站点其他数据集可能有效）。

• 2026-09-14 下载工作完结 · 交付第三方实施 unpack：UNPACK-PLAN.md 已升级为交接版（U20024 ~/data/nuplan_v1.1/UNPACK-PLAN.md，217 行，sha256 efc2b1044e27cdcc917fc305d4e616018b107ccc5303fa00dbb8644b56e54789；KB 仓库内留只读快照 sources/design/nuplan-v1.1-unpack-plan.md，内容一致）。交接版补齐了第三方复查所需的知识：来源与复取配方（官方 API 两步：Cognito USER_PASSWORD_AUTH（公开 ClientId）取 IdToken → GET /v1/archives/ nuplan-v1.1/<name>?region=us&project=nuPlan 换直链；凭据在 KB 仓库根 .env 的 NUSCENES_EMAIL/NUSCENES_PASSWORD，公开化前须轮换）、13 行 sha256 完整嵌入 （文档自足，不依赖 SHA256SUMS.txt 存活）、 devkit 硬判据的版本锚点（nuplandb_wrapper.py::get_db_filenames_from_load_path 的 iterdir() 非递归，对 commit e9241677…）、逐工件流程与验收命令（含 devkit 冒烟）、单一副本风险提示（U20024 为唯一完整副本，3090-C 仅存 maps+mini）、以及展开后的回写要求。集群上同时更新了下载器副本 dl_train.py（sha256 fe52fbd1a5d34f99070cc62a14bb62aa5c530b7d1ccd1baa8d3dab6851aebc29，此前副本为旧版本）。交接版末尾另有 §12 交接时点现状核对（13 工件齐全与合计字节、各工件校验状态与全量复验留待实施方的边界、本目录既有文件清单、执行用户与工具、配额确认提示、单一副本提示）；KB 仓库内的只读快照 sources/design/nuplan-v1.1-unpack-plan.md 与集群文件经 sha256 比对逐字节一致（同一哈希）。

• 2026-09-14 展开计划已记录（未实施）：~/data/nuplan_v1.1/UNPACK-PLAN.md（U20024，本日写入；sha256 714e3026…9e2f60a5）。要点：① 判据——nuplan-devkit 的 get_db_filenames_from_load_path 对本地目录只做 iterdir() + suffix=='.db'（不递归），故九个 train_<city> 的 payload 必须合并进同一扁平目录（目标 splits/trainval/，另有 splits/{test,mini,val} 与 nuplan-maps-v1.0/maps/）；② 完整性两级链——archive 级 sha256（SHA256SUMS.txt，保留作历史锚点，删 zip 后不可再验）+ 内容级逐文件清单 EXTRACTED-SHA256SUMS.txt（删除每个 zip 之前生成，供日后 sha256sum -c 复核），清单自身的 sha256/行数/合计字节回写本卡（git 作外部锚点）；③ 空间——archived 合计 1,219,676,500,022 B → 预计 extracted 2,047,840,817,743 B（各 zip 压缩比 1.46–1.81，unzip -l 实测），当前可用约 3.1 T，逐工件“先解后删”使峰值 ≈ 2.05 TB；④ 每个工件展开后即时核对条目数与字节数（各 zip 的 unzip -l 合计），仅在全通过后才删该 zip，中断可重跑且不丢 zip；⑤ 明确不做：传感器 blob、删除 SHA256SUMS.txt、本阶段创建/执行解包脚本。

• 2026-09-10 目录注记修正：原句“集群（U20024）只有 DAT-001，无本工件”已过时——3090-C 下载的四件于 2026-09-09 经 rsync 上传 U20024 ~/data/nuplan_v1.1/（3090-C 留有 rsync.log）；同日应用户要求删除 3090-C 上的 test/val 压缩包（maps/mini 留存）。本日 ssh 实测：四件尺寸与下方下载记录逐字节一致（maps 971,557,640 / mini 8,550,100,030 / test 95,919,476,643 / val 96,957,279,835 B），簇上 SHA256SUMS.txt 四行哈希与 3090-C README 前缀一致（未重算 96 GB 级哈希，以同源副本 + 尺寸一致为据）。

• 2026-09-08 下载完成（3090-C /mnt/data/nuplan_v1.1/）：四工件尺寸逐字节一致（maps 971,557,640 / mini 8,550,100,030 / test 95,919,476,643 / val 96,957,279,835 B），sha256 全量计算存于远端 SHA256SUMS.txt（mini 独立前缀校验与终检哈希前缀一致，交叉印证）；访问通道：mini/maps 走 CloudFront 匿名直链，test/val 走 S3 源站 + aria2 16 分片并行（塌速对策，均速 ~9MB/s vs 单流 0.94）。写入载体为多 agent 并行下载，实验侧直接取用远端路径。

• 2026-09-08 初建。erratum 记录：此前（2026-09-07 对话）曾外推“nuPlan 原生 .db 为 MB–GB 级”，与本清单相差一个数量级以上——规则：外推必须携带“外推”标签，禁止以数字量级形态表述。

• 目录注记：本卡经用户裁决从 DAT-001 中拆出（DAT-001 曾误将本工件清单并入其下载面节）。