Изучение динамики действий в реальном мире на видео с использованием гетерогенной маскированной авторегрессии

Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

February 6, 2025

Авторы: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen

cs.AI

Аннотация

Мы предлагаем метод гетерогенной маскированной авторегрессии (HMA) для моделирования динамики видео действий с целью генерации высококачественных данных и оценки масштабирования обучения роботов. Создание интерактивных моделей миров видео и политик для робототехники затруднено из-за сложности работы с различными сценариями, сохраняя при этом вычислительную эффективность для работы в реальном времени. HMA использует гетерогенное предварительное обучение на основе наблюдений и последовательностей действий на различных робототехнических платформах, областях и задачах. HMA применяет маскированную авторегрессию для генерации квантованных или мягких токенов для прогнозирования видео. Наш метод обеспечивает лучшую визуальную достоверность и управляемость по сравнению с предыдущими моделями генерации видео для роботов, обладая в 15 раз большей скоростью в реальном мире. После последующего обучения, эту модель можно использовать в качестве видео симулятора на основе входных действий низкого уровня для оценки политик и генерации синтетических данных. Дополнительную информацию можно найти по ссылке https://liruiw.github.io/hma.

English

We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.