RoboFactory: Esplorazione della Collaborazione tra Agenti Embodied con Vincoli Composizionali

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Autori: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Abstract

Progettare sistemi multi-agente incarnati efficaci è fondamentale per risolvere compiti complessi del mondo reale in diversi ambiti. A causa della complessità dei sistemi multi-agente incarnati, i metodi esistenti non riescono a generare automaticamente dati di formazione sicuri ed efficienti per tali sistemi. A tal fine, proponiamo il concetto di vincoli composizionali per sistemi multi-agente incarnati, affrontando le sfide derivanti dalla collaborazione tra agenti incarnati. Progettiamo varie interfacce adattate a diversi tipi di vincoli, consentendo un'interazione fluida con il mondo fisico. Sfruttando i vincoli composizionali e interfacce appositamente progettate, sviluppiamo un framework automatizzato per la raccolta di dati per sistemi multi-agente incarnati e introduciamo il primo benchmark per la manipolazione multi-agente incarnata, RoboFactory. Basandoci sul benchmark RoboFactory, adattiamo e valutiamo il metodo dell'apprendimento per imitazione e analizziamo le sue prestazioni in compiti di agenti con diversi livelli di difficoltà. Inoltre, esploriamo le architetture e le strategie di formazione per l'apprendimento per imitazione multi-agente, con l'obiettivo di costruire sistemi multi-agente incarnati sicuri ed efficienti.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.