Geração de Vídeos para Aprendizado de Manipulação Robótica com Controle Colaborativo de Trajetórias

Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control

June 2, 2025

Autores: Xiao Fu, Xintao Wang, Xian Liu, Jianhong Bai, Runsen Xu, Pengfei Wan, Di Zhang, Dahua Lin

cs.AI

Resumo

Avanços recentes em modelos de difusão de vídeo demonstraram um forte potencial para a geração de dados de tomada de decisão robótica, com condições de trajetória permitindo um controle ainda mais refinado. No entanto, os métodos baseados em trajetória existentes focam principalmente no movimento de objetos individuais e têm dificuldade em capturar a interação entre múltiplos objetos, crucial para manipulações robóticas complexas. Essa limitação surge do entrelaçamento de múltiplas características em regiões sobrepostas, o que leva à degradação da fidelidade visual. Para resolver isso, apresentamos o RoboMaster, uma nova estrutura que modela a dinâmica entre objetos por meio de uma formulação colaborativa de trajetória. Diferente de métodos anteriores que decompõem objetos, nossa abordagem central é decompor o processo de interação em três subetapas: pré-interação, interação e pós-interação. Cada etapa é modelada usando a característica do objeto dominante, especificamente o braço robótico nas fases de pré e pós-interação e o objeto manipulado durante a interação, mitigando assim a desvantagem da fusão de características de múltiplos objetos presente em trabalhos anteriores. Para garantir ainda mais a consistência semântica do sujeito ao longo do vídeo, incorporamos representações latentes conscientes da aparência e da forma dos objetos. Experimentos extensivos no desafiador conjunto de dados Bridge V2, bem como avaliações em cenários reais, demonstram que nosso método supera as abordagens existentes, estabelecendo um novo estado da arte na geração de vídeos controlados por trajetória para manipulação robótica.

English

Recent advances in video diffusion models have demonstrated strong potential for generating robotic decision-making data, with trajectory conditions further enabling fine-grained control. However, existing trajectory-based methods primarily focus on individual object motion and struggle to capture multi-object interaction crucial in complex robotic manipulation. This limitation arises from multi-feature entanglement in overlapping regions, which leads to degraded visual fidelity. To address this, we present RoboMaster, a novel framework that models inter-object dynamics through a collaborative trajectory formulation. Unlike prior methods that decompose objects, our core is to decompose the interaction process into three sub-stages: pre-interaction, interaction, and post-interaction. Each stage is modeled using the feature of the dominant object, specifically the robotic arm in the pre- and post-interaction phases and the manipulated object during interaction, thereby mitigating the drawback of multi-object feature fusion present during interaction in prior work. To further ensure subject semantic consistency throughout the video, we incorporate appearance- and shape-aware latent representations for objects. Extensive experiments on the challenging Bridge V2 dataset, as well as in-the-wild evaluation, demonstrate that our method outperforms existing approaches, establishing new state-of-the-art performance in trajectory-controlled video generation for robotic manipulation.