Aprendizado de Dinâmicas de Vídeo de Ação do Mundo Real com Autoregressão Mascarada Heterogênea

Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

February 6, 2025

Autores: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen

cs.AI

Resumo

Propomos a Autoregressão Mascarada Heterogênea (HMA) para modelar a dinâmica de vídeos de ação a fim de gerar dados de alta qualidade e avaliação na escalabilidade do aprendizado de robôs. Construir modelos de mundo de vídeo interativos e políticas para robótica é difícil devido ao desafio de lidar com configurações diversas, mantendo a eficiência computacional para funcionar em tempo real. O HMA utiliza pré-treinamento heterogêneo a partir de observações e sequências de ação em diferentes encarnações robóticas, domínios e tarefas. O HMA utiliza autoregressão mascarada para gerar tokens quantizados ou suaves para previsões de vídeo. O HMA alcança melhor fidelidade visual e controlabilidade do que os modelos anteriores de geração de vídeo robótico, com uma velocidade 15 vezes mais rápida no mundo real. Após o pós-treinamento, este modelo pode ser usado como um simulador de vídeo a partir de entradas de ação de baixo nível para avaliar políticas e gerar dados sintéticos. Consulte este link https://liruiw.github.io/hma para mais informações.

English

We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.