Schnelles LeWorldModel

Zusammenfassung

Joint-Embedding Predictive Architectures (JEPAs), zu denen auch das kürzlich vorgestellte LeWorldModel (LeWM) gehört, haben sich als vielversprechende Grundlage für rekonstruktionsfreie visuelle Weltmodelle etabliert. Für die visuelle Planung bewertet LeWM jedoch Kandidaten-Aktionssequenzen durch wiederholte Anwendung eines lokalen Ein-Schritt-Latentübergangsmodells. Dieser autoregressive Rollout macht die Planung rechenintensiv und setzt die vorhergesagte Trajektorie mit zunehmendem Planungshorizont akkumulierten latenten Fehlern aus. Wir schlagen Fast LeWorldModel (Fast-LeWM) vor, ein schnelles latentes Weltmodell, das wiederholten lokalen Rollout durch Aktionspräfix-Vorhersage ersetzt. Ausgehend vom aktuellen latenten Zustand und einer Kandidaten-Aktionssequenz kodiert Fast-LeWM deren Präfixe und sagt parallel die zukünftigen latenten Zustände voraus, die nach Ausführung dieser Präfixe erreicht werden. Indem es Aktionspräfixe zur grundlegenden Vorhersageeinheit macht, modelliert Fast-LeWM direkt die über mehrere Horizonte hinweg unterschiedlich stark akkumulierten Aktionswirkungen. Diese Überwachung auf Präfixebene zwingt das Modell dazu, zu lernen, wie sich Zustände unter verschiedenen Aktionspräfixen kontinuierlich entwickeln, anstatt nur Ein-Schritt-Zustandsübergänge anzupassen. Während der Planung kann der Prädiktor das letzte Präfix-Token aus der kodierten Aktionssequenz verwenden, um den entsprechenden zukünftigen latenten Zustand zu bewerten, ohne explizit durch jeden einzelnen imaginierten Zwischenzustand zu rollen. Bei mehreren Aufgaben verbessert Fast-LeWM die durchschnittliche Erfolgsrate gegenüber LeWM bei gleichzeitiger deutlicher Reduzierung der Planungszeit und erzielt einen geringeren Open-Loop-Latentverlust, dessen Anstieg mit zunehmendem Rollout-Horizont deutlich langsamer wird.

English

Joint-Embedding Predictive Architectures (JEPAs), including recent LeWorldModel (LeWM), have become a promising foundation for reconstruction-free visual world models. For visual planning, however, LeWM evaluates candidate action sequences by repeatedly applying a local one-step latent transition model. This autoregressive rollout makes planning computationally expensive and exposes the predicted trajectory to accumulated latent errors as the horizon grows. We propose Fast LeWorldModel (Fast-LeWM), a fast latent world model that replaces repeated local rollout with action-prefix prediction. Given the current latent and a candidate action sequence, Fast-LeWM encodes its prefixes and predicts the future latents reached after executing those prefixes in parallel. By making action prefixes the basic prediction unit, Fast-LeWM directly models action effects accumulated to different extents over multiple horizons. This prefix-level supervision forces the model to learn how states continuously evolve under different action prefixes, rather than only fitting one-step state transitions. During planning, the predictor can use the last prefix token from the encoded action sequence to evaluate the corresponding future latent without explicitly rolling through each intermediate imagined state. Across multiple tasks, Fast-LeWM improves average success over LeWM while substantially reducing planning time, achieving lower open-loop latent loss whose growth becomes significantly slower as the rollout horizon increases.