FRM-2603.14482 Formalization

0. Overview

V-JEPA 2.1（PPR-2603.14482，FAIR at Meta）是 V-JEPA 系列的训练配方改进 ，目标是学习高质量的稠密视频特征，非驾驶专用。其诊断：V-JEPA 2 在需要像素级理解的稠密任务上严重受限；而可靠的深度、物体摆放与动力学估计对机器人与自主系统是必需组件，稠密任务性能因此是通向能感知并与物理世界交互的 AI 系统的关键挑战。V-JEPA 2.1 给出四项关键要素：（i）稠密预测损失——基于掩蔽的目标函数中所有 token（可见上下文与掩蔽 token）都参与损失，鼓励显式的空间与时间接地；（ii）深层自监督——在多个中间编码器层分层施加自监督目标以提升表示质量；（iii）多模态 tokenizer ——支持在图像与视频上统一训练；（iv）有效的模型与数据缩放。这些设计显著提升稠密特征质量，使表示具有空间结构、语义连贯与时间一致。论文报告在多项基准上达最优。

本重建覆盖 §Abstract 与 §1（Methodology），版本锚定 arXiv:2603.14482v1。

1. Definitions

入库概念（→ CPT）：

• 本卡不属驾驶线：评测域为稠密视觉理解与机器人，与库内 NAVSIM（BMK-006）/CPT-017（PDMS）无口径关系。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• 稠密预测损失（Dense Predictive Loss）：掩蔽式目标中全部 token（含可见上下文）都计入损失，而非仅在被掩蔽位置计算——这是相对 V-JEPA 2 的关键改动，用以强制显式的空间与时间接地。
• 深层自监督（Deep Self-Supervision）：把自监督目标分层施加于多个中间编码器层，以提升表示质量。
• 多模态 tokenizer：使模型可在图像与视频上做统一训练。
• 模型与数据缩放：第四项要素，属工程性扩展。
• 稠密特征的评估抓手：PCA 图的空间连贯与时间一致性被用作稠密特征质量的直观指标（论文以之佐证改进）。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（观察式理解的落差）：动物与人类通过被动观察环境获得对世界的深入理解，而现代 AI 对物理世界理解有限，缺乏视觉语义、运动与动力学、物体交互等基本能力。
• AX-2（视频自监督是路径）：从视频做自监督学习是弥合该能力差距的有前景途径。
• AX-3（稠密任务的关键性）：可靠的深度、物体摆放与动力学估计是机器人与自主系统的必需组件，故稠密任务性能是关键挑战。
• AX-4（损失与深度的设计）：让可见上下文与掩蔽 token 都参与损失、并在多个中间层施加自监督，可显著提升稠密表示质量。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为表示学习型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点（论文自报）：稠密任务——Ego4D 短期物体交互预判 7.71 mAP、EPIC-KITCHENS 高层动作预判 40.8 Recall@5、NYUv2 深度 0.307 RMSE（线性探针）、Pascal VOC 图像分割 85.0 mIoU、Youtube-VOS 视频分割 72.7 \(\mathcal J\&\mathcal F\)-Mean；导航——Tartan Drive 5.687 ATE；全局理解——Something-Something-V2 77.7%；真机抓取成功率相对 V-JEPA 2-AC 提升 20%。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-1 + AX-2 + AX-3 提出问题）：为物理世界模型提供更好表示，须先解决稠密任务上的表示质量问题。
• AR-2（由 AX-4 推出两项损失设计）：稠密预测损失（全 token 参与）与深层自监督（多层分层）共同提升稠密特征。
• AR-3（工程要素）：多模态 tokenizer 与模型/数据缩放支撑统一训练与规模收益。
• AR-4（经验支撑）：稠密任务、导航与机器人抓取结果，且全局任务性能未退化，支撑 AR-1..AR-3（属 Evidence，非证明）。

6. Commentary

作者评论

• 摘要结论：V-JEPA 2.1 推进了稠密视觉理解与世界建模的技术水平，同时保持强全局视频理解。

本库评论

• 与 V-JEPA 2 的关系（承重）：本卡是同一系列的训练配方改进（对象见 PPR-2506.09985），不是新任务或新域。库内引用驾驶条目（Drive-JEPA PPR-2601.22032、Auto-JEPA PPR-2607.29031）时若涉及“V-JEPA 权重”，须核对是 2 还是 2.1 的版本（两版能力侧重不同：2 偏全局理解，2.1 补稠密特征）——版本的差异会直接影响驾驶侧的感知质量归因。
• 与驾驶的相关点与不相干点：深度估计与稠密分割等能力与驾驶感知相关，但本卡无任何驾驶实验，其数值不可用于支撑驾驶结论（A5 scope 纪律）；引用时应作为“表示来源”而非“驾驶证据”。
• “全 token 参与损失”是一个可迁移的方法要素：该改动与“仅在被掩蔽位置计算损失”的对比属方法层面的可复用设计，若后续驾驶条目采用，应作为跨卡承重引用。
• 无 NAVSIM 口径：与库内 NAVSIM 线数值不可比。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 46 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。