로보팩토리: 구성적 제약 조건을 통한 구체화된 에이전트 협업 탐구

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

저자: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

초록

효과적인 실체화된 다중 에이전트 시스템 설계는 다양한 도메인에서 복잡한 현실 세계 문제를 해결하는 데 중요합니다. 실체화된 다중 에이전트 시스템의 복잡성으로 인해, 기존 방법들은 이러한 시스템을 위한 안전하고 효율적인 훈련 데이터를 자동으로 생성하는 데 실패하고 있습니다. 이를 위해, 우리는 실체화된 다중 에이전트 시스템을 위한 구성적 제약(constraints) 개념을 제안하여, 실체화된 에이전트 간의 협업에서 발생하는 문제를 해결하고자 합니다. 우리는 다양한 유형의 제약에 맞춰 다양한 인터페이스를 설계하여 물리적 세계와의 원활한 상호작용을 가능하게 합니다. 구성적 제약과 특별히 설계된 인터페이스를 활용하여, 우리는 실체화된 다중 에이전트 시스템을 위한 자동화된 데이터 수집 프레임워크를 개발하고, 실체화된 다중 에이전트 조작을 위한 첫 번째 벤치마크인 RoboFactory를 소개합니다. RoboFactory 벤치마크를 기반으로, 우리는 모방 학습(imitation learning) 방법을 적용하고 다양한 난이도의 에이전트 작업에서의 성능을 분석했습니다. 더 나아가, 우리는 안전하고 효율적인 실체화된 다중 에이전트 시스템을 구축하기 위해 다중 에이전트 모방 학습을 위한 아키텍처와 훈련 전략을 탐구합니다.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.