RoboFactory: 構成制約を伴うエンボディエージェント協調の探求

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

著者: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

要旨

効果的なエンボディド・マルチエージェントシステムの設計は、複雑な現実世界のタスクを領域横断的に解決する上で極めて重要です。マルチエージェント・エンボディドシステムの複雑さのため、既存の手法では、こうしたシステム向けの安全かつ効率的なトレーニングデータを自動生成することが困難です。この課題に対処するため、我々はエンボディド・マルチエージェントシステムのための構成制約（compositional constraints）の概念を提案し、エンボディドエージェント間の協調から生じる課題に取り組みます。物理世界とのシームレスなインタラクションを可能にするため、さまざまな制約タイプに特化したインターフェースを設計します。構成制約と特別に設計されたインターフェースを活用し、エンボディド・マルチエージェントシステム向けの自動データ収集フレームワークを開発し、エンボディド・マルチエージェント操作の最初のベンチマークであるRoboFactoryを導入します。RoboFactoryベンチマークに基づき、模倣学習の手法を適応・評価し、異なる難易度のエージェントタスクにおける性能を分析します。さらに、安全で効率的なエンボディド・マルチエージェントシステムを構築するため、マルチエージェント模倣学習のアーキテクチャとトレーニング戦略を探求します。

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.