Aprendizaje de Generación de Vídeos para Manipulación Robótica con Control Colaborativo de Trayectorias

Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control

June 2, 2025

Autores: Xiao Fu, Xintao Wang, Xian Liu, Jianhong Bai, Runsen Xu, Pengfei Wan, Di Zhang, Dahua Lin

cs.AI

Resumen

Los recientes avances en los modelos de difusión de video han demostrado un gran potencial para generar datos de toma de decisiones robóticas, con condiciones de trayectoria que permiten un control más detallado. Sin embargo, los métodos basados en trayectoria existentes se centran principalmente en el movimiento de objetos individuales y tienen dificultades para capturar la interacción entre múltiples objetos, crucial en la manipulación robótica compleja. Esta limitación surge del entrelazamiento de múltiples características en regiones superpuestas, lo que conduce a una degradación de la fidelidad visual. Para abordar esto, presentamos RoboMaster, un marco novedoso que modela la dinámica entre objetos mediante una formulación colaborativa de trayectorias. A diferencia de los métodos anteriores que descomponen los objetos, nuestro enfoque principal es descomponer el proceso de interacción en tres subetapas: pre-interacción, interacción y post-interacción. Cada etapa se modela utilizando la característica del objeto dominante, específicamente el brazo robótico en las fases de pre- y post-interacción y el objeto manipulado durante la interacción, mitigando así el inconveniente de la fusión de características de múltiples objetos presente en trabajos anteriores. Para garantizar aún más la consistencia semántica del sujeto a lo largo del video, incorporamos representaciones latentes conscientes de la apariencia y la forma de los objetos. Experimentos exhaustivos en el desafiante conjunto de datos Bridge V2, así como evaluaciones en entornos reales, demuestran que nuestro método supera a los enfoques existentes, estableciendo un nuevo estado del arte en la generación de video controlado por trayectorias para la manipulación robótica.

English

Recent advances in video diffusion models have demonstrated strong potential for generating robotic decision-making data, with trajectory conditions further enabling fine-grained control. However, existing trajectory-based methods primarily focus on individual object motion and struggle to capture multi-object interaction crucial in complex robotic manipulation. This limitation arises from multi-feature entanglement in overlapping regions, which leads to degraded visual fidelity. To address this, we present RoboMaster, a novel framework that models inter-object dynamics through a collaborative trajectory formulation. Unlike prior methods that decompose objects, our core is to decompose the interaction process into three sub-stages: pre-interaction, interaction, and post-interaction. Each stage is modeled using the feature of the dominant object, specifically the robotic arm in the pre- and post-interaction phases and the manipulated object during interaction, thereby mitigating the drawback of multi-object feature fusion present during interaction in prior work. To further ensure subject semantic consistency throughout the video, we incorporate appearance- and shape-aware latent representations for objects. Extensive experiments on the challenging Bridge V2 dataset, as well as in-the-wild evaluation, demonstrate that our method outperforms existing approaches, establishing new state-of-the-art performance in trajectory-controlled video generation for robotic manipulation.