ThinkJEPA : Renforcer les modèles de monde latent avec un grand modèle de raisonnement vision-langage
ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model
March 23, 2026
Auteurs: Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu
cs.AI
Résumé
Les progrès récents des modèles de mondes latents (par exemple, V-JEPA2) ont démontré des capacités prometteuses pour prédire les états futurs du monde à partir d'observations vidéo. Néanmoins, la prédiction dense à partir d'une courte fenêtre d'observation limite le contexte temporel et peut biaiser les prédicteurs vers une extrapolation locale et de bas niveau, rendant difficile la capture de la sémantique à long terme et réduisant l'utilité en aval. Les modèles vision-langage (VLM), en revanche, offrent un ancrage sémantique solide et des connaissances générales en raisonnant sur des images échantillonnées uniformément, mais ils ne sont pas idéaux comme prédicteurs denses autonomes en raison d'un échantillonnage sparse dicté par le calcul, d'un goulot d'étranglement de sortie langagière qui comprime les états d'interaction fins en représentations orientées texte, et d'un décalage de régime de données lors de l'adaptation à de petits jeux de données conditionnés par l'action. Nous proposons un cadre de modélisation du monde latent de type JEPA guidé par VLM qui combine la modélisation de la dynamique des images denses avec un guidage sémantique à long terme via une voie temporelle duale : une branche JEPA dense pour les indices d'interaction et de mouvement fins, et une branche penseur VLM échantillonnée uniformément avec une grande cadence temporelle pour un guidage riche en connaissances. Pour transférer efficacement les signaux de raisonnement progressif du VLM, nous introduisons un module d'extraction de représentation pyramidale hiérarchique qui agrège les représentations multicouches du VLM en caractéristiques de guidage compatibles avec la prédiction latente. Les expériences sur la prédiction de trajectoire de manipulation manuelle montrent que notre méthode surpasse à la fois une base de référence forte uniquement basée sur VLM et une base de référence de prédicteur JEPA, et produit un comportement de déploiement à long terme plus robuste.
English
Recent progress in latent world models (e.g., V-JEPA2) has shown promising capability in forecasting future world states from video observations. Nevertheless, dense prediction from a short observation window limits temporal context and can bias predictors toward local, low-level extrapolation, making it difficult to capture long-horizon semantics and reducing downstream utility. Vision--language models (VLMs), in contrast, provide strong semantic grounding and general knowledge by reasoning over uniformly sampled frames, but they are not ideal as standalone dense predictors due to compute-driven sparse sampling, a language-output bottleneck that compresses fine-grained interaction states into text-oriented representations, and a data-regime mismatch when adapting to small action-conditioned datasets. We propose a VLM-guided JEPA-style latent world modeling framework that combines dense-frame dynamics modeling with long-horizon semantic guidance via a dual-temporal pathway: a dense JEPA branch for fine-grained motion and interaction cues, and a uniformly sampled VLM thinker branch with a larger temporal stride for knowledge-rich guidance. To transfer the VLM's progressive reasoning signals effectively, we introduce a hierarchical pyramid representation extraction module that aggregates multi-layer VLM representations into guidance features compatible with latent prediction. Experiments on hand-manipulation trajectory prediction show that our method outperforms both a strong VLM-only baseline and a JEPA-predictor baseline, and yields more robust long-horizon rollout behavior.