FRM-2311.16038 Formalization

0. Overview

OccWorld（PPR-2311.16038，Zheng 等 2023）提出在 3D 占据空间里学习驾驶世界模型。论文的诊断：理解 3D 场景如何演化对自动驾驶决策至关重要，但既有方法多通过预测物体框的移动来达成，无法捕捉更细粒度的场景信息。OccWorld 同时在 3D 占据空间中预测 ego 的运动与周围场景的演化。论文给出选 3D 占据（而非 3D 包围框或分割图）的三条理由：表达能力（可描述更细粒度的 3D 结构）、效率（更经济地获得，如从稀疏 LiDAR 点得到）、通用性（可适配视觉与 LiDAR）。为便于建模世界演化，论文在 3D 占据上学习一个基于重建的场景 tokenizer，得到描述周围场景的离散 token；随后采用 GPT 式空间-时序生成 transformer 生成后续的场景与 ego token，再解码为未来占据与 ego 轨迹。

本重建覆盖 Abstract 与 §3（Proposed Approach：世界模型定义、3D 占据场景 tokenizer、空间-时序生成 transformer、OccWorld 本体），版本锚定 arXiv:2311.16038v2。

1. Definitions

入库概念（→ CPT）：

• nuScenes → 候选：评测数据集（4D 占据预测与规划）。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 3D 占据作为场景表示 \(\mathbf y\in\mathbb R^{H\times W\times D}\)：把 ego 周围三维空间分为 \(H\times W\times D\) 体素，每体素赋予标签 \(l\)（是否被占据及占据材质）；可由稀疏 LiDAR 标注学习，也可能由时序帧自监督得到，且与模态无关（单目、环视相机或 LiDAR 均可获得）。
• 3D 占据场景 tokenizer：因 3D 占据只提供低层级理解、难以直接建模演化，故以自监督方式将其 token 化为高层 token。做法：先把占据 \(\mathbf y\) 转为 BEV 表示 \(\hat{\mathbf y}\in\mathbb R^{H\times W\times DC'}\)（每类别一个可学类嵌入 \(\in\mathbb R^{C'}\)，沿高度维拼接），经轻量 2D 卷积编码器得下采样特征 \(\hat{\mathbf z}\in\mathbb R^{\frac Hd \times\frac Wd\times C}\)；同时学习含 \(N\) 个 code 的码本 \(\mathbf C\in\mathbb R^{N\times D}\)，做向量量化得离散 token；用解码器重建输入占据，并以重建目标同时训练自编码器与码本。
• 世界模型形式化：\(w(\mathbf T^T,\dots,\mathbf T^{T-t})= \mathbf T^{T+1}\)，其中 \(\mathbf T=\{\mathbf z_i\}\) 为场景 token，并聚合一个 ego token \(\mathbf z_0\in\mathbb R^C\) 以编码 ego 空间位置。
• 空间-时序生成 transformer：因 GPT 每次预测单个 token，而世界模型需预测一组 token \(\mathbf T^{T+1}\)，直接逐 token 预测既低效又无效，故采用：对世界 token 施加空间聚合（如自注意力）以建模场景 token 与 ego token 的交互；再在每个 \(2\times2\) 窗口、步长 2 上合并场景 token（下采样 4 倍）并重复 \(K\) 次，得层次化尺度的世界 token \(\{\mathbf T_0,\dots,\mathbf T_K\}\)；用若干子世界模型 \(w=\{w_0,\dots,w_K\}\) 在不同空间尺度上预测未来。
• 联合建模：与传统方法把场景演化预测与 ego 规划分开处理不同，OccWorld 用一个世界模型联合建模二者的分布，并解码出未来占据与 ego 轨迹。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（演化理解的重要性）：理解 3D 场景如何演化对自动驾驶决策至关重要。
• AX-2（框预测的粒度不足）：通过预测物体框移动来表示场景演化，无法捕捉更细粒度的场景信息。
• AX-3（占据的三原则）：场景表示应满足表达能力（含 3D 结构与语义）、效率（经济可学，如弱/自监督）、通用性（适配视觉与 LiDAR）；3D 占据同时满足三者。
• AX-4（低层级需再 token 化）：3D 占据只提供场景的低层级理解，难以直接建模其演化，故需以自监督方式 token 化为高层 token。
• AX-5（逐 token 预测不可行）：世界 token 数量庞大，直接沿用 GPT 逐 token 预测下一个未来既低效又无效。
• AX-6（空间与时序关系并重）：须同时考虑同一时间戳内 token 的空间关系与跨时间戳的时序关系，才能完整建模世界演化。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为世界模型方法型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：nuScenes 上的 4D 占据预测指标与规划指标（与把两任务分开的基线对比）、场景 tokenizer 的重建质量、层次化尺度与子世界模型的消融。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-1 + AX-2 + AX-3 推出表示选择）：以 3D 占据而非包围框或分割图作世界模型的场景表示。
• AR-2（由 AX-4 推出 tokenizer）：以 VQ-VAE 式自监督 tokenizer 把占据压成离散高层 token，并以重建目标训练。
• AR-3（由 AX-5 + AX-6 推出生成架构）：以空间聚合 + 层次化下采样 + 多尺度子世界模型取代逐 token 预测，同时建模空间与时序关系。
• AR-4（联合建模）：把 ego token 与场景 token 聚合，在同一世界模型中联合预测场景演化与自车轨迹。
• AR-5（经验支撑）：4D 占据预测与规划结果支撑 AR-1..AR-4（属 Evidence，非证明）。

6. Commentary

作者评论

• 结论：以 3D 占据为状态空间的世界模型可同时预测场景演化与 ego 运动，且在表示选择上兼顾表达力、效率与通用性。

本库评论

• 与 DriveWorld 的轴差异（承重）：DriveWorld（PPR-2405.04390）把 3D/4D 占据当作预训练 pretext（预测目标），OccWorld 把占据当作世界模型的状态空间（自回归生成的对象）。两者都围绕占据，但一个是表示学习任务、一个是生成式动力学，引用时不得混同。
• 与视频世界模型（GAIA-1/Vista）的分野：OccWorld 的生成对象是占据体素与 ego 轨迹，不是像素视频；其优势主张（更细粒度、更经济、模态无关）正相对像素生成而言，跨轴比较生成质量指标（FID/FVD）无意义。
• 层次化下采样的代价：为把“预测一组 token”变可行，场景 token 被多次下采样（每层 4 倍、共 \(K\) 层），粗尺度预测的空间分辨率下降；该取舍对细粒度演化预测的影响须查原文消融。
• 通用性主张的边界：从稀疏 LiDAR 学习占据的“经济性”是相对完整体素标注而言；论文未检验自监督占据（如 SelfOcc）路径下世界模型的表现。
• 评测域：nuScenes（占据与规划指标），与 NAVSIM 线不同。

7. Traceability

原文位置	层元素
Abstract	AX-1、AX-2、AX-3、AR-1
§3.1 World Model for Autonomous Driving	Definition（世界模型形式化）
§3.2 3D Occupancy Scene Tokenizer	AX-3、AX-4、Definition（占据表示、tokenizer、码本）
§3.3 Spatial-Temporal Generative Transformer	AX-5、AX-6、Definition（空间聚合、层次化下采样、子世界模型）、AR-3
§3.4 OccWorld	Definition（联合建模与 ego token）、AR-4
§4 实验	AR-5 的经验支撑

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 32 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。