時間的距離JEPA: 潜在世界モデル予測制御のための計画認識表現学習

要旨

Joint-Embedding Predictive Architectures（JEPA）は、ピクセルを再構成するのではなく、表現空間での予測を通じて世界モデルを学習し、オフラインのデモンストレーションログからの潜在モデル予測制御の自然なバックボーンとなる。JEPAスタイルの学習は短期の潜在予測を最適化するが、計画には目標進捗に基づく想像上の未来の多段階ランキングが必要である。従来のJEPAプランナーは、そのランキングを埋め込み幾何学、典型的には潜在ユークリッド距離から継承することが多い。これは、ログからマイニングされた進捗コストではなく、表現学習の副産物として生じる。我々はtemporal-distance JEPA（TD-JEPA）を提案する。これはLeWMのエンコーダ・予測器バックボーンを保持し、報酬なしの軌跡から有向時間コストをマイニングする。同一軌跡内のステップ順序が正のターゲットを提供し、異なる軌跡のペアがヒューリスティックな負例として機能し、ロールアウト一貫性項がプランナーの地平線に適合する。マイニングされた監視信号は二つの役割を果たす：進捗が位相的である場合の展開された計画コストとして、そして接触幾何学が支配的な場合のユークリッド計画を改善する表現信号として。ロック評価の下で、マイニングされたコストを展開することで、Two-Roomの成功率がLeWMの97.4%に対して100.0%に上昇し、同じ時間学習されたチェックポイントでの共有ユークリッド計画は、OGB-CubeでLeWMより14.2ポイント向上し、Push-Tを改善する。ロック評価下でのLeWMおよび同時期のRC-auxベースラインと比較して、TD-JEPAはすべての環境で両手法と同等以上である。アブレーション研究により、有向ヘッド、異軌跡負例、ロールアウト一貫性がそれぞれ寄与することが示された。TD-JEPAは、オフラインログにおける時間的進捗構造を発見し、計画時の展開とともにコスト形式を共同設計することで、JEPA世界モデルプランナーの学習と計画のギャップを狭める。コードはhttps://github.com/HKBU-KnowComp/TD-JEPAで入手可能。

English

Joint-Embedding Predictive Architectures (JEPAs) learn world models by predicting in representation space rather than reconstructing pixels, making them a natural backbone for latent model predictive control from offline demonstration logs. JEPA-style training optimizes short-horizon latent prediction, whereas planning requires a multi-step ranking of imagined futures by goal progress. Prior JEPA planners often inherit that ranking from embedding geometry, typically latent Euclidean distance, which arises as a byproduct of representation learning rather than as a progress cost mined from the logs. We propose temporal-distance JEPA (TD-JEPA), which retains the LeWM encoder--predictor backbone and mines a directed temporal cost from reward-free trajectories: same-trajectory step order supplies positive targets, cross-trajectory pairs act as heuristic negatives, and a rollout-consistency term matches the planner horizon. The mined supervision serves two roles: as the deployed planning cost when progress is topological, and as a representation signal that improves Euclidean planning when contact geometry dominates. Under locked evaluation, deploying the mined cost raises Two-Room success to 100.0% versus LeWM's 97.4%, while shared Euclidean planning on the same temporally trained checkpoint raises OGB-Cube by 14.2 points over LeWM and improves Push-T. Against LeWM and the concurrent RC-aux baseline under locked evaluation, TD-JEPA matches or exceeds both methods on every environment. Ablations show that the directed head, cross-trajectory negatives, and rollout consistency each contribute. TD-JEPA narrows the train--plan gap for JEPA world-model planners by discovering temporal progress structure in offline logs and co-designing cost form with plan-time deployment. Code is available at https://github.com/HKBU-KnowComp/TD-JEPA.