FRM-2506.09985 Formalization

0. Overview

V-JEPA 2（PPR-2506.09985，Assran 等 2025，FAIR at Meta）是一个通用的物理世界世界模型，非驾驶专用。论文的核心主张：现代 AI 的一大挑战是主要通过观察学会理解世界并学会行动；为此探索一种自监督路线——把互联网规模的视频数据与少量交互数据（机器人轨迹）结合，得到能在物理世界中理解、预测与规划（planning）的模型。三块内容：① 在含逾 100 万小时互联网视频（及图像）的数据集上预训练一个无动作的联合嵌入预测架构 V-JEPA 2，其在运动理解（Something-Something v2 上 77.3 top-1）与人类动作预判（Epic-Kitchens-100 上 39.7 recall-at-5）上表现强劲；② 把 V-JEPA 2 与语言模型对齐后，在 80 亿参数规模上于多项视频问答任务取得最优（如 PerceptionTest 84.0、TempCompass 76.9）；③ 用不足 62 小时来自 Droid 数据集的无标注机器人视频，后训练出一个潜动作条件世界模型 V-JEPA 2-AC ，把其在两个不同实验室的 Franka 机械臂上零样本部署，以图像目标做物体抓放——无需在这些环境采集任何数据，也无需任务特定训练或奖励。

本重建覆盖 §1（V-JEPA 2 的扩展）、§2（V-JEPA 2-AC）、§3（规划：零样本机器人控制）、§4–§6（理解与预测探针、视频问答），版本锚定 arXiv:2506.09985v3。

1. Definitions

入库概念（→ CPT）：

• 本卡不属驾驶线：评测域为视频理解/预测与机器人操作，与库内 NAVSIM（BMK-006）/CPT-017（PDMS）无口径关系。

论文内定义（未入库概念，标 CANDIDATE，不新建 CPT）：

• V-JEPA 2（无动作联合嵌入预测）：在互联网视频上进行自监督预训练，目标是预测被掩蔽区域的潜表示（而非像素），不依赖动作标签。
• V-JEPA 2-AC（潜动作条件世界模型）：在预训练表示之上，用少量无标注机器人视频后训练出动作条件的潜世界模型，可用于“给定目标图像 → 规划动作序列”的推理。参数与训练细节见附录（§Appendix：预训练与后训练两节）。
• 零样本部署设定：在与训练数据不同的实验室、不同机械臂环境上直接部署 V-JEPA 2-AC，做图像目标下的抓放；不采集目标环境数据、不做任务特定训练、不用奖励。
• 三类探针评估：理解（基于探针的分类）、预测（基于探针的动作预判）、视频问答（与 LLM 对齐后评估）。

2. Axioms（作者公理：论文接受而未证明的前提）

• AX-1（观察式学习）：现代 AI 的主要挑战是主要通过观察学会理解世界并学会行动。
• AX-2（数据组合）：互联网规模视频 + 少量交互数据（机器人轨迹）足以训练出能在物理世界中理解、预测与规划的模型。
• AX-3（潜空间预测优于像素预测）：在潜空间做联合嵌入预测（而非重建像素）是获取可迁移表示的有效途径。
• AX-4（零样本可迁移性）：以图像目标做规划的能力可跨环境迁移，无需在目标环境采数据或做任务特定训练/奖励设计。

3. Theorems（作者可推导命题；本层薄）

骨架阶段占位。本文为通用模型/系统型，未提出独立命题层。P3 投影时若识别出值得保留的定性命题，再实体化为 CLM 并回填 ID。

4. Evidence（实证 → CLM/EVI 映射）

骨架阶段占位（待 P3）。可用观察锚点：SSv2 运动理解 77.3 top-1、Epic-Kitchens-100 动作预判 39.7 recall-at-5、视频问答（PerceptionTest 84.0 / TempCompass 76.9，8B 规模）、以及在两个实验室 Franka 机械臂上的零样本抓放演示。均为论文自报，无库内 EVI/VER。

5. Argument（论证结构）

• AR-1（由 AX-1 + AX-2 推出路线）：以无动作视频预训练 + 少量交互数据后训练的组合，兼顾理解、预测与规划。
• AR-2（由 AX-3 推出预训练目标）：在潜空间做联合嵌入预测，避免像素重建带来的表示浪费。
• AR-3（动作条件后训练）：以少量无标注机器人视频把无动作表示升级为潜动作条件世界模型。
• AR-4（由 AX-4 推出零样本规划）：以图像目标做规划并在未见环境直接部署。
• AR-5（经验支撑）：理解/预测/问答的探针结果与零样本操作演示支撑 AR-1..AR-4（属 Evidence，非证明）。

6. Commentary

作者评论

• 摘要结论：以网页规模自监督学习 + 少量机器人交互数据，可得到能在物理世界中规划的世界模型。

本库评论

• 库内引用价值在“权重来源”（承重）：Drive-JEPA（PPR-2601.22032）与 Auto-JEPA（PPR-2607.29031）都明确以 V-JEPA 2 权重初始化其视觉编码器。引用这两条驾驶条目时，其视觉表示能力的来源应回溯到本卡；反之，本卡不含驾驶实验，其结论不可用作驾驶场景的证据（A5 scope 纪律）。
• 与驾驶世界模型的层别差异：本卡是通用潜世界模型（视频理解 + 机器人操作），与驾驶专用的世界模型条目（LAW、Drive-JEPA、Auto-JEPA、World4Drive、Vista 等）在域与任务上都不同；“潜空间预测”这一方法要素相较、任务与数据相较不可混。
• 零样本部署的边界：其机器人结论为“同一机械臂族（Franka）跨实验室”，非任意形态机器人；引用时应保留该条件。
• 无 NAVSIM 口径：与库内 NAVSIM 线数值不可比。

7. Traceability

Review Log

• 2026-09-14 骨架起草（Tier-1 展开批次，第 45 篇）。G1 忠实度审核待人工签发（DA7）。G1 未过，P3 不得开始。