Rápido LeWorldModel

Resumen

Las Arquitecturas Predictivas de Embeddings Conjuntos (JEPAs), incluido el reciente LeWorldModel (LeWM), se han convertido en una base prometedora para modelos visuales del mundo sin reconstrucción. Sin embargo, para la planificación visual, LeWM evalúa secuencias de acciones candidatas aplicando repetidamente un modelo de transición latente local de un paso. Este despliegue autorregresivo hace que la planificación sea computacionalmente costosa y expone la trayectoria predicha a errores latentes acumulados a medida que el horizonte se alarga. Proponemos Fast LeWorldModel (Fast-LeWM), un modelo latente rápido del mundo que reemplaza el despliegue local repetido con la predicción de prefijos de acción. Dado el latente actual y una secuencia de acciones candidatas, Fast-LeWM codifica sus prefijos y predice en paralelo los latentes futuros alcanzados tras ejecutar dichos prefijos. Al hacer de los prefijos de acción la unidad básica de predicción, Fast-LeWM modela directamente los efectos de las acciones acumulados en diferentes grados a lo largo de múltiples horizontes. Esta supervisión a nivel de prefijo obliga al modelo a aprender cómo evolucionan continuamente los estados bajo diferentes prefijos de acción, en lugar de ajustar únicamente transiciones de estado de un solo paso. Durante la planificación, el predictor puede usar el último token del prefijo de la secuencia de acciones codificada para evaluar el latente futuro correspondiente sin tener que recorrer explícitamente cada estado intermedio imaginado. En múltiples tareas, Fast-LeWM mejora la tasa de éxito promedio respecto a LeWM al tiempo que reduce sustancialmente el tiempo de planificación, logrando una pérdida latente en bucle abierto menor cuyo crecimiento se vuelve significativamente más lento a medida que aumenta el horizonte de despliegue.

English

Joint-Embedding Predictive Architectures (JEPAs), including recent LeWorldModel (LeWM), have become a promising foundation for reconstruction-free visual world models. For visual planning, however, LeWM evaluates candidate action sequences by repeatedly applying a local one-step latent transition model. This autoregressive rollout makes planning computationally expensive and exposes the predicted trajectory to accumulated latent errors as the horizon grows. We propose Fast LeWorldModel (Fast-LeWM), a fast latent world model that replaces repeated local rollout with action-prefix prediction. Given the current latent and a candidate action sequence, Fast-LeWM encodes its prefixes and predicts the future latents reached after executing those prefixes in parallel. By making action prefixes the basic prediction unit, Fast-LeWM directly models action effects accumulated to different extents over multiple horizons. This prefix-level supervision forces the model to learn how states continuously evolve under different action prefixes, rather than only fitting one-step state transitions. During planning, the predictor can use the last prefix token from the encoded action sequence to evaluate the corresponding future latent without explicitly rolling through each intermediate imagined state. Across multiple tasks, Fast-LeWM improves average success over LeWM while substantially reducing planning time, achieving lower open-loop latent loss whose growth becomes significantly slower as the rollout horizon increases.