Generazione di Video Apprendimento per la Manipolazione Robotica con Controllo Collaborativo della Traiettoria

Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control

June 2, 2025

Autori: Xiao Fu, Xintao Wang, Xian Liu, Jianhong Bai, Runsen Xu, Pengfei Wan, Di Zhang, Dahua Lin

cs.AI

Abstract

I recenti progressi nei modelli di diffusione video hanno dimostrato un forte potenziale per la generazione di dati relativi al processo decisionale robotico, con le condizioni di traiettoria che abilitano ulteriormente un controllo fine. Tuttavia, i metodi esistenti basati su traiettorie si concentrano principalmente sul movimento di singoli oggetti e faticano a catturare l'interazione multi-oggetto, cruciale nelle manipolazioni robotiche complesse. Questa limitazione deriva dall'intreccio di più caratteristiche nelle regioni sovrapposte, che porta a una ridotta fedeltà visiva. Per affrontare questo problema, presentiamo RoboMaster, un nuovo framework che modella le dinamiche inter-oggetto attraverso una formulazione collaborativa della traiettoria. A differenza dei metodi precedenti che scompongono gli oggetti, il nostro approccio consiste nel scomporre il processo di interazione in tre sotto-fasi: pre-interazione, interazione e post-interazione. Ciascuna fase è modellata utilizzando la caratteristica dell'oggetto dominante, specificamente il braccio robotico nelle fasi di pre- e post-interazione e l'oggetto manipolato durante l'interazione, mitigando così lo svantaggio della fusione di caratteristiche multi-oggetto presente durante l'interazione nei lavori precedenti. Per garantire ulteriormente la coerenza semantica del soggetto lungo l'intero video, incorporiamo rappresentazioni latenti consapevoli dell'aspetto e della forma per gli oggetti. Esperimenti estensivi sul complesso dataset Bridge V2, nonché valutazioni in contesti reali, dimostrano che il nostro metodo supera gli approcci esistenti, stabilendo nuove prestazioni all'avanguardia nella generazione video controllata da traiettoria per la manipolazione robotica.

English

Recent advances in video diffusion models have demonstrated strong potential for generating robotic decision-making data, with trajectory conditions further enabling fine-grained control. However, existing trajectory-based methods primarily focus on individual object motion and struggle to capture multi-object interaction crucial in complex robotic manipulation. This limitation arises from multi-feature entanglement in overlapping regions, which leads to degraded visual fidelity. To address this, we present RoboMaster, a novel framework that models inter-object dynamics through a collaborative trajectory formulation. Unlike prior methods that decompose objects, our core is to decompose the interaction process into three sub-stages: pre-interaction, interaction, and post-interaction. Each stage is modeled using the feature of the dominant object, specifically the robotic arm in the pre- and post-interaction phases and the manipulated object during interaction, thereby mitigating the drawback of multi-object feature fusion present during interaction in prior work. To further ensure subject semantic consistency throughout the video, we incorporate appearance- and shape-aware latent representations for objects. Extensive experiments on the challenging Bridge V2 dataset, as well as in-the-wild evaluation, demonstrate that our method outperforms existing approaches, establishing new state-of-the-art performance in trajectory-controlled video generation for robotic manipulation.