RoboFactory: Explorando a Colaboração de Agentes Embarcados com Restrições Composicionais

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Autores: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Resumo

Projetar sistemas eficazes de multiagentes corporificados é crucial para resolver tarefas complexas do mundo real em diversos domínios. Devido à complexidade dos sistemas de multiagentes corporificados, os métodos existentes falham em gerar automaticamente dados de treinamento seguros e eficientes para tais sistemas. Para isso, propomos o conceito de restrições composicionais para sistemas de multiagentes corporificados, abordando os desafios decorrentes da colaboração entre agentes corporificados. Projetamos várias interfaces adaptadas a diferentes tipos de restrições, permitindo uma interação perfeita com o mundo físico. Aproveitando as restrições composicionais e interfaces especificamente projetadas, desenvolvemos uma estrutura automatizada de coleta de dados para sistemas de multiagentes corporificados e introduzimos o primeiro benchmark para manipulação de multiagentes corporificados, o RoboFactory. Com base no benchmark RoboFactory, adaptamos e avaliamos o método de aprendizado por imitação e analisamos seu desempenho em tarefas de agentes com diferentes níveis de dificuldade. Além disso, exploramos as arquiteturas e estratégias de treinamento para o aprendizado por imitação de multiagentes, visando construir sistemas de multiagentes corporificados seguros e eficientes.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.