Lernen der Videogenerierung für robotische Manipulation mit kollaborativer Trajektoriensteuerung

Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control

June 2, 2025

Autoren: Xiao Fu, Xintao Wang, Xian Liu, Jianhong Bai, Runsen Xu, Pengfei Wan, Di Zhang, Dahua Lin

cs.AI

Zusammenfassung

Jüngste Fortschritte in Video-Diffusionsmodellen haben ein großes Potenzial für die Generierung von Daten zur robotischen Entscheidungsfindung gezeigt, wobei Trajektorienbedingungen eine fein abgestimmte Kontrolle ermöglichen. Allerdings konzentrieren sich bestehende trajektorienbasierte Methoden hauptsächlich auf die Bewegung einzelner Objekte und haben Schwierigkeiten, die Interaktion zwischen mehreren Objekten zu erfassen, die bei komplexen robotischen Manipulationen entscheidend ist. Diese Einschränkung ergibt sich aus der Verflechtung mehrerer Merkmale in überlappenden Regionen, was zu einer verminderten visuellen Qualität führt. Um dies zu beheben, stellen wir RoboMaster vor, ein neuartiges Framework, das die Dynamik zwischen Objekten durch eine kollaborative Trajektorienformulierung modelliert. Im Gegensatz zu früheren Methoden, die Objekte zerlegen, liegt unser Kernansatz darin, den Interaktionsprozess in drei Teilphasen zu unterteilen: Vor-Interaktion, Interaktion und Nach-Interaktion. Jede Phase wird anhand des Merkmals des dominierenden Objekts modelliert, insbesondere des Roboterarms in den Phasen vor und nach der Interaktion sowie des manipulierten Objekts während der Interaktion, wodurch der Nachteil der Fusion von Merkmalen mehrerer Objekte, wie er in früheren Arbeiten während der Interaktion auftrat, gemildert wird. Um die semantische Konsistenz des Subjekts im gesamten Video weiter zu gewährleisten, integrieren wir erscheinungs- und formbewusste latente Darstellungen für Objekte. Umfangreiche Experimente mit dem anspruchsvollen Bridge V2-Datensatz sowie Bewertungen in realen Umgebungen zeigen, dass unsere Methode bestehende Ansätze übertrifft und einen neuen Stand der Technik in der trajektoriengesteuerten Videogenerierung für robotische Manipulationen etabliert.

English

Recent advances in video diffusion models have demonstrated strong potential for generating robotic decision-making data, with trajectory conditions further enabling fine-grained control. However, existing trajectory-based methods primarily focus on individual object motion and struggle to capture multi-object interaction crucial in complex robotic manipulation. This limitation arises from multi-feature entanglement in overlapping regions, which leads to degraded visual fidelity. To address this, we present RoboMaster, a novel framework that models inter-object dynamics through a collaborative trajectory formulation. Unlike prior methods that decompose objects, our core is to decompose the interaction process into three sub-stages: pre-interaction, interaction, and post-interaction. Each stage is modeled using the feature of the dominant object, specifically the robotic arm in the pre- and post-interaction phases and the manipulated object during interaction, thereby mitigating the drawback of multi-object feature fusion present during interaction in prior work. To further ensure subject semantic consistency throughout the video, we incorporate appearance- and shape-aware latent representations for objects. Extensive experiments on the challenging Bridge V2 dataset, as well as in-the-wild evaluation, demonstrate that our method outperforms existing approaches, establishing new state-of-the-art performance in trajectory-controlled video generation for robotic manipulation.