ThinkJEPA: Potenciando Modelos Mundiales Latentes con un Gran Modelo de Razonamiento Visión-Lenguaje
ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model
March 23, 2026
Autores: Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu
cs.AI
Resumen
Los recientes avances en modelos de mundo latente (por ejemplo, V-JEPA2) han demostrado una capacidad prometedora para predecir estados futuros del mundo a partir de observaciones de vídeo. Sin embargo, la predicción densa a partir de una ventana de observación corta limita el contexto temporal y puede sesgar a los predictores hacia una extrapolación local y de bajo nivel, lo que dificulta la captura de semántica a largo plazo y reduce la utilidad para tareas posteriores. Por el contrario, los modelos de visión y lenguaje (VLM) proporcionan una base semántica sólida y conocimiento general razonando sobre fotogramas muestreados uniformemente, pero no son ideales como predictores densos independientes debido al muestreo disperso impulsado por la computación, un cuello de botella de salida de lenguaje que comprime estados de interacción de grano fino en representaciones orientadas a texto, y un desajuste en el régimen de datos al adaptarse a pequeños conjuntos de datos condicionados por acciones. Proponemos un marco de modelado de mundo latente al estilo JEPA guiado por VLM que combina el modelado de dinámicas de fotogramas densos con una guía semántica a largo plazo mediante una vía de doble temporalidad: una rama JEPA densa para señales de movimiento e interacción de grano fino, y una rama "pensante" VLM muestreada uniformemente con un intervalo temporal mayor para una guía rica en conocimiento. Para transferir eficazmente las señales de razonamiento progresivo del VLM, introducimos un módulo de extracción de representación piramidal jerárquica que agrega representaciones multicapa del VLM en características de guía compatibles con la predicción latente. Los experimentos en predicción de trayectorias de manipulación manual muestran que nuestro método supera tanto a una línea de base sólida basada únicamente en VLM como a una línea de base de predictor JEPA, y produce un comportamiento de despliegue más robusto a largo plazo.
English
Recent progress in latent world models (e.g., V-JEPA2) has shown promising capability in forecasting future world states from video observations. Nevertheless, dense prediction from a short observation window limits temporal context and can bias predictors toward local, low-level extrapolation, making it difficult to capture long-horizon semantics and reducing downstream utility. Vision--language models (VLMs), in contrast, provide strong semantic grounding and general knowledge by reasoning over uniformly sampled frames, but they are not ideal as standalone dense predictors due to compute-driven sparse sampling, a language-output bottleneck that compresses fine-grained interaction states into text-oriented representations, and a data-regime mismatch when adapting to small action-conditioned datasets. We propose a VLM-guided JEPA-style latent world modeling framework that combines dense-frame dynamics modeling with long-horizon semantic guidance via a dual-temporal pathway: a dense JEPA branch for fine-grained motion and interaction cues, and a uniformly sampled VLM thinker branch with a larger temporal stride for knowledge-rich guidance. To transfer the VLM's progressive reasoning signals effectively, we introduce a hierarchical pyramid representation extraction module that aggregates multi-layer VLM representations into guidance features compatible with latent prediction. Experiments on hand-manipulation trajectory prediction show that our method outperforms both a strong VLM-only baseline and a JEPA-predictor baseline, and yields more robust long-horizon rollout behavior.