Обучение переносимых априорных знаний о динамике от действий к моделированию мира

Аннотация

Мы исследуем обусловленное действиями моделирование мира как масштабируемый способ получения переносимых априорных знаний о динамике для обучения роботов. Путем предварительного обучения модели прогнозированию того, как действия управляют эволюцией визуальной сцены, результирующая модель мира захватывает многократно используемую динамику взаимодействия, выходящую за рамки генерации видео на уровне внешнего вида. Конкретно, мы предварительно обучаем многовидовую интерактивную базовую диффузионную модель мира, A2World, на крупномасштабных данных манипуляций роботов с реальными аннотациями действий. Мы проверяем полученные априорные знания о динамике с двух взаимодополняющих точек зрения. Во-первых, мы адаптируем A2World в специализированный для задач или сцен симулятор реального мира, A2World-sim, долгосрочные прогоны которого поддерживают основанную на симуляторе оценку политик и масштабируемый анализ «что если», заменяя прогоны реального робота прогонами модели мира. Во-вторых, исходя из тех же предварительно обученных весов, мы адаптируем A2World в модель совместного предсказания видео и действий, A2World-policy, которая прогнозирует действия при визуальном и инструктивном обусловливании. Эксперименты на эталонных тестах симуляции и в условиях реальных роботов показывают, что предварительное обучение обусловленной действиями модели мира дает переносимые априорные знания о динамике, которые приносят пользу как обучению роботов, ориентированному на симулятор, так и ориентированному на политику.

English

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.