RoboFactory: Исследование взаимодействия воплощенных агентов с композиционными ограничениями

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Авторы: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Аннотация

Разработка эффективных воплощенных мультиагентных систем имеет решающее значение для решения сложных задач реального мира в различных областях. Из-за сложности таких систем существующие методы не способны автоматически генерировать безопасные и эффективные обучающие данные. В связи с этим мы предлагаем концепцию композиционных ограничений для воплощенных мультиагентных систем, направленную на решение проблем, возникающих при взаимодействии воплощенных агентов. Мы разрабатываем различные интерфейсы, адаптированные под разные типы ограничений, что обеспечивает беспрепятственное взаимодействие с физическим миром. Используя композиционные ограничения и специально разработанные интерфейсы, мы создаем автоматизированную систему сбора данных для воплощенных мультиагентных систем и представляем первый бенчмарк для манипуляций в таких системах — RoboFactory. На основе бенчмарка RoboFactory мы адаптируем и оцениваем метод обучения с подражанием, анализируя его производительность в задачах различной сложности. Кроме того, мы исследуем архитектуры и стратегии обучения для мультиагентного обучения с подражанием, стремясь создать безопасные и эффективные воплощенные мультиагентные системы.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.