RoboFactory : Exploration de la collaboration entre agents incarnés avec des contraintes compositionnelles

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Auteurs: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Résumé

La conception de systèmes multi-agents incarnés efficaces est cruciale pour résoudre des tâches complexes du monde réel dans divers domaines. En raison de la complexité des systèmes multi-agents incarnés, les méthodes existantes échouent à générer automatiquement des données d'entraînement sûres et efficaces pour de tels systèmes. À cette fin, nous proposons le concept de contraintes compositionnelles pour les systèmes multi-agents incarnés, abordant les défis liés à la collaboration entre agents incarnés. Nous concevons diverses interfaces adaptées à différents types de contraintes, permettant une interaction fluide avec le monde physique. En exploitant les contraintes compositionnelles et des interfaces spécialement conçues, nous développons un cadre automatisé de collecte de données pour les systèmes multi-agents incarnés et introduisons le premier benchmark pour la manipulation multi-agents incarnés, RoboFactory. Sur la base du benchmark RoboFactory, nous adaptons et évaluons la méthode d'apprentissage par imitation et analysons ses performances dans des tâches d'agents de difficulté variable. De plus, nous explorons les architectures et les stratégies d'entraînement pour l'apprentissage par imitation multi-agents, dans le but de construire des systèmes multi-agents incarnés sûrs et efficaces.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.