ThinkJEPA: Stärkung latenter Weltmodelle mit großen visuell-sprachlichen Reasoning-Modellen
ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model
March 23, 2026
Autoren: Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu
cs.AI
Zusammenfassung
Jüngste Fortschritte bei latenten Weltmodellen (z.B. V-JEPA2) haben vielversprechende Fähigkeiten bei der Vorhersage zukünftiger Weltzustände aus Videoaufnahmen gezeigt. Dennoch limitiert die dichte Prädiktion auf Basis eines kurzen Beobachtungsfensters den zeitlichen Kontext und kann Prädiktoren in Richtung lokaler, niedrigstufiger Extrapolation verzerren, was die Erfassung langfristiger Semantik erschwert und den Nutzen für nachgelagerte Aufgaben verringert. Im Gegensatz dazu bieten Vision-Language-Modelle (VLMs) eine starke semantische Verankerung und Allgemeinwissen durch Reasoning über gleichmäßig abgetastete Frames, sind jedoch aufgrund rechenbedingt sparser Abtastung, eines Sprachausgabe-Flaschenhalses, der feingranulare Interaktionszustände in textorientierte Repräsentationen komprimiert, und einer Datenregime-Diskrepanz bei der Anpassung an kleine, aktionsbedingte Datensätze nicht ideal als eigenständige dichte Prädiktoren. Wir schlagen einen VLM-gesteuerten JEPA-artigen Rahmen für latente Weltmodellierung vor, der dichte Dynamikmodellierung auf Framebene mit langfristiger semantischer Führung über einen dualen Zeitpfad kombiniert: einen dichten JEPA-Zweig für feingranulare Bewegungs- und Interaktionshinweise und einen gleichmäßig abgetasteten VLM-"Denker"-Zweig mit größerer zeitlicher Schrittweite für wissensreiche Führung. Um die progressiven Reasoning-Signale des VLM effektiv zu übertragen, führen wir ein hierarchisches Pyramiden-Repräsentations-Extraktionsmodul ein, das Repräsentationen aus mehreren VLM-Schichten zu Führungsmerkmalen aggregiert, die mit der latenten Prädiktion kompatibel sind. Experimente zur Vorhersage von Handmanipulations-Trajektorien zeigen, dass unsere Methode sowohl eine starke VLM-only-Baseline als auch eine JEPA-Prädiktor-Baseline übertrifft und ein robusteres Langzeit-Rollout-Verhalten erzielt.
English
Recent progress in latent world models (e.g., V-JEPA2) has shown promising capability in forecasting future world states from video observations. Nevertheless, dense prediction from a short observation window limits temporal context and can bias predictors toward local, low-level extrapolation, making it difficult to capture long-horizon semantics and reducing downstream utility. Vision--language models (VLMs), in contrast, provide strong semantic grounding and general knowledge by reasoning over uniformly sampled frames, but they are not ideal as standalone dense predictors due to compute-driven sparse sampling, a language-output bottleneck that compresses fine-grained interaction states into text-oriented representations, and a data-regime mismatch when adapting to small action-conditioned datasets. We propose a VLM-guided JEPA-style latent world modeling framework that combines dense-frame dynamics modeling with long-horizon semantic guidance via a dual-temporal pathway: a dense JEPA branch for fine-grained motion and interaction cues, and a uniformly sampled VLM thinker branch with a larger temporal stride for knowledge-rich guidance. To transfer the VLM's progressive reasoning signals effectively, we introduce a hierarchical pyramid representation extraction module that aggregates multi-layer VLM representations into guidance features compatible with latent prediction. Experiments on hand-manipulation trajectory prediction show that our method outperforms both a strong VLM-only baseline and a JEPA-predictor baseline, and yields more robust long-horizon rollout behavior.