LeWorldModel rapide

Résumé

Les architectures prédictives par embedding conjoint (Joint-Embedding Predictive Architectures, JEPAs), incluant le récent LeWorldModel (LeWM), sont devenues une base prometteuse pour les modèles visuels du monde sans reconstruction. Cependant, pour la planification visuelle, LeWM évalue des séquences d'actions candidates en appliquant de manière répétée un modèle de transition latente locale en une étape. Ce déploiement autorégressif rend la planification coûteuse en calcul et expose la trajectoire prédite à une accumulation d'erreurs latentes à mesure que l'horizon s'allonge. Nous proposons Fast LeWorldModel (Fast-LeWM), un modèle latent rapide qui remplace le déploiement local répété par une prédiction par préfixes d'actions. Étant donné le latent actuel et une séquence d'actions candidates, Fast-LeWM encode leurs préfixes et prédit en parallèle les latents futurs atteints après exécution de ces préfixes. En faisant des préfixes d'actions l'unité de prédiction de base, Fast-LeWM modélise directement les effets des actions accumulés à différents degrés sur plusieurs horizons. Cette supervision au niveau des préfixes force le modèle à apprendre comment les états évoluent continûment sous différents préfixes d'actions, plutôt que d'ajuster uniquement des transitions d'état en une étape. Lors de la planification, le prédicteur peut utiliser le dernier token de préfixe de la séquence d'actions encodée pour évaluer le latent futur correspondant, sans passer explicitement par chaque état imaginaire intermédiaire. Sur plusieurs tâches, Fast-LeWM améliore le taux de succès moyen par rapport à LeWM tout en réduisant considérablement le temps de planification, obtenant une perte latente en boucle ouverte plus faible dont la croissance devient significativement plus lente à mesure que l'horizon de déploiement augmente.

English

Joint-Embedding Predictive Architectures (JEPAs), including recent LeWorldModel (LeWM), have become a promising foundation for reconstruction-free visual world models. For visual planning, however, LeWM evaluates candidate action sequences by repeatedly applying a local one-step latent transition model. This autoregressive rollout makes planning computationally expensive and exposes the predicted trajectory to accumulated latent errors as the horizon grows. We propose Fast LeWorldModel (Fast-LeWM), a fast latent world model that replaces repeated local rollout with action-prefix prediction. Given the current latent and a candidate action sequence, Fast-LeWM encodes its prefixes and predicts the future latents reached after executing those prefixes in parallel. By making action prefixes the basic prediction unit, Fast-LeWM directly models action effects accumulated to different extents over multiple horizons. This prefix-level supervision forces the model to learn how states continuously evolve under different action prefixes, rather than only fitting one-step state transitions. During planning, the predictor can use the last prefix token from the encoded action sequence to evaluate the corresponding future latent without explicitly rolling through each intermediate imagined state. Across multiple tasks, Fast-LeWM improves average success over LeWM while substantially reducing planning time, achieving lower open-loop latent loss whose growth becomes significantly slower as the rollout horizon increases.