로봇 조작을 위한 비디오 생성 학습 및 협력적 궤적 제어

초록

최근 비디오 확산 모델(video diffusion models)의 발전은 로봇 의사결정 데이터 생성에 강력한 잠재력을 보여주었으며, 궤적 조건(trajectory conditions)을 통해 더욱 세밀한 제어가 가능해졌습니다. 그러나 기존의 궤적 기반 방법들은 주로 단일 객체의 운동에 초점을 맞추고 있어 복잡한 로봇 조작에서 중요한 다중 객체 상호작용을 포착하는 데 어려움을 겪습니다. 이러한 한계는 겹치는 영역에서의 다중 특징 얽힘(multi-feature entanglement)으로 인해 시각적 충실도가 저하되기 때문에 발생합니다. 이를 해결하기 위해, 우리는 협력적 궤적 형식(collaborative trajectory formulation)을 통해 객체 간 역학을 모델링하는 새로운 프레임워크인 RoboMaster를 제안합니다. 기존 방법들이 객체를 분해하는 것과 달리, 우리의 핵심은 상호작용 과정을 세 가지 하위 단계로 분해하는 것입니다: 상호작용 전, 상호작용 중, 상호작용 후. 각 단계는 주도 객체의 특징을 사용하여 모델링되며, 특히 상호작용 전후 단계에서는 로봇 팔, 상호작용 중에는 조작 대상 객체의 특징을 사용함으로써 기존 작업에서 발생하는 다중 객체 특징 융합의 단점을 완화합니다. 또한, 비디오 전반에 걸쳐 객체의 의미적 일관성을 보장하기 위해 외형 및 형태 인식 잠재 표현(appearance- and shape-aware latent representations)을 통합했습니다. 도전적인 Bridge V2 데이터셋과 실제 환경 평가에서의 광범위한 실험을 통해, 우리의 방법이 기존 접근법을 능가하며 로봇 조작을 위한 궤적 제어 비디오 생성 분야에서 새로운 최첨단 성능을 달성함을 입증했습니다.

English

Recent advances in video diffusion models have demonstrated strong potential for generating robotic decision-making data, with trajectory conditions further enabling fine-grained control. However, existing trajectory-based methods primarily focus on individual object motion and struggle to capture multi-object interaction crucial in complex robotic manipulation. This limitation arises from multi-feature entanglement in overlapping regions, which leads to degraded visual fidelity. To address this, we present RoboMaster, a novel framework that models inter-object dynamics through a collaborative trajectory formulation. Unlike prior methods that decompose objects, our core is to decompose the interaction process into three sub-stages: pre-interaction, interaction, and post-interaction. Each stage is modeled using the feature of the dominant object, specifically the robotic arm in the pre- and post-interaction phases and the manipulated object during interaction, thereby mitigating the drawback of multi-object feature fusion present during interaction in prior work. To further ensure subject semantic consistency throughout the video, we incorporate appearance- and shape-aware latent representations for objects. Extensive experiments on the challenging Bridge V2 dataset, as well as in-the-wild evaluation, demonstrate that our method outperforms existing approaches, establishing new state-of-the-art performance in trajectory-controlled video generation for robotic manipulation.

로봇 조작을 위한 비디오 생성 학습 및 협력적 궤적 제어

Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control

초록

Support