Aprendiendo priores de dinámica transferibles de la acción al modelado del mundo

Resumen

Estudiamos el modelado del mundo condicionado por acciones como una forma escalable de aprender prioridades dinámicas transferibles para el aprendizaje robótico. Al preentrenar un modelo para predecir cómo las acciones impulsan la evolución de la escena visual, el modelo del mundo resultante captura dinámicas de interacción reutilizables más allá de la generación de video a nivel de apariencia. Concretamente, preentrenamos un modelo mundial de difusión base interactivo multivista, A2World, con datos de manipulación robótica a gran escala que incluyen anotaciones reales de acciones. Validamos las prioridades dinámicas aprendidas desde dos perspectivas complementarias. Primero, adaptamos A2World en un simulador del mundo real especializado en tareas o escenas, A2World-sim, cuyos despliegues a largo plazo respaldan la evaluación de políticas basada en simulador y el análisis escalable de escenarios hipotéticos al reemplazar los despliegues robóticos reales con despliegues del modelo mundial. Segundo, partiendo de los mismos pesos preentrenados, adaptamos A2World en un modelo de predicción conjunta de video y acción, A2World-policy, que predice acciones bajo condicionamiento visual y de instrucciones. Experimentos con bancos de pruebas de simulación y entornos robóticos reales demuestran que el preentrenamiento del modelo del mundo condicionado por acciones produce prioridades dinámicas transferibles que benefician tanto al aprendizaje robótico centrado en el simulador como al centrado en la política.

English

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.