Apprentissage de priors de dynamique transférables de l'action à la modélisation du monde

Résumé

Nous étudions la modélisation du monde conditionnée par l'action comme une approche évolutive pour apprendre des a priori dynamiques transférables pour l'apprentissage robotique. En pré-entraînant un modèle à prédire comment les actions entraînent l'évolution de la scène visuelle, le modèle du monde résultant capture des dynamiques d'interaction réutilisables au-delà de la génération vidéo au niveau de l'apparence. Concrètement, nous pré-entraînons un modèle de diffusion de base interactif multi-vue du monde, A2World, sur des données de manipulation robotique à grande échelle avec des annotations d'actions réelles. Nous validons les a priori dynamiques appris sous deux perspectives complémentaires. Premièrement, nous adaptons A2World en un simulateur spécialisé pour une tâche ou une scène du monde réel, A2World-sim, dont les rollouts de long horizon soutiennent l'évaluation de politiques basée sur simulateur et l'analyse scalable de scénarios hypothétiques en remplaçant les rollouts de robots réels par des rollouts du modèle du monde. Deuxièmement, à partir des mêmes poids pré-entraînés, nous adaptons A2World en un modèle de prédiction conjointe vidéo-action, A2World-policy, qui prédit les actions sous conditionnement visuel et instructionnel. Des expériences sur des benchmarks de simulation et des configurations de robots réels démontrent que le pré-entraînement du modèle du monde conditionné par l'action produit des a priori dynamiques transférables qui bénéficient à la fois à l'apprentissage robotique centré sur le simulateur et à celui centré sur la politique.

English

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.