RoboFactory: Explorando la Colaboración de Agentes Embebidos con Restricciones Composicionales

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Autores: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Resumen

Diseñar sistemas efectivos de agentes múltiples encarnados es crucial para resolver tareas complejas del mundo real en diversos dominios. Debido a la complejidad de los sistemas de agentes múltiples encarnados, los métodos existentes no logran generar automáticamente datos de entrenamiento seguros y eficientes para dichos sistemas. Con este fin, proponemos el concepto de restricciones composicionales para sistemas de agentes múltiples encarnados, abordando los desafíos que surgen de la colaboración entre agentes encarnados. Diseñamos varias interfaces adaptadas a diferentes tipos de restricciones, permitiendo una interacción fluida con el mundo físico. Aprovechando las restricciones composicionales y las interfaces específicamente diseñadas, desarrollamos un marco automatizado de recopilación de datos para sistemas de agentes múltiples encarnados e introducimos el primer punto de referencia para la manipulación de agentes múltiples encarnados, RoboFactory. Basándonos en el punto de referencia de RoboFactory, adaptamos y evaluamos el método de aprendizaje por imitación y analizamos su rendimiento en tareas de agentes con diferentes niveles de dificultad. Además, exploramos las arquitecturas y estrategias de entrenamiento para el aprendizaje por imitación de agentes múltiples, con el objetivo de construir sistemas de agentes múltiples encarnados seguros y eficientes.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.