RoboFactory: Onderzoek naar Samenwerking tussen Belichaamde Agents met Compositionele Beperkingen

RoboFactory: Exploring Embodied Agent Collaboration with Compositional Constraints

March 20, 2025

Auteurs: Yiran Qin, Li Kang, Xiufeng Song, Zhenfei Yin, Xiaohong Liu, Xihui Liu, Ruimao Zhang, Lei Bai

cs.AI

Samenvatting

Het ontwerpen van effectieve belichaamde multi-agent systemen is cruciaal voor het oplossen van complexe taken in de echte wereld, over verschillende domeinen heen. Vanwege de complexiteit van belichaamde multi-agent systemen slagen bestaande methoden er niet in om automatisch veilige en efficiënte trainingsdata voor dergelijke systemen te genereren. Daarom introduceren we het concept van compositionele beperkingen voor belichaamde multi-agent systemen, waarmee we de uitdagingen aanpakken die voortkomen uit de samenwerking tussen belichaamde agents. We ontwerpen verschillende interfaces die zijn afgestemd op verschillende soorten beperkingen, waardoor naadloze interactie met de fysieke wereld mogelijk wordt. Door gebruik te maken van compositionele beperkingen en specifiek ontworpen interfaces, ontwikkelen we een geautomatiseerd framework voor dataverzameling voor belichaamde multi-agent systemen en introduceren we de eerste benchmark voor belichaamde multi-agent manipulatie, RoboFactory. Op basis van de RoboFactory benchmark passen we de methode van imitatieleren aan en evalueren we de prestaties ervan in taken met verschillende moeilijkheidsgraden voor agents. Bovendien onderzoeken we de architecturen en trainingsstrategieën voor multi-agent imitatieleren, met als doel het bouwen van veilige en efficiënte belichaamde multi-agent systemen.

English

Designing effective embodied multi-agent systems is critical for solving complex real-world tasks across domains. Due to the complexity of multi-agent embodied systems, existing methods fail to automatically generate safe and efficient training data for such systems. To this end, we propose the concept of compositional constraints for embodied multi-agent systems, addressing the challenges arising from collaboration among embodied agents. We design various interfaces tailored to different types of constraints, enabling seamless interaction with the physical world. Leveraging compositional constraints and specifically designed interfaces, we develop an automated data collection framework for embodied multi-agent systems and introduce the first benchmark for embodied multi-agent manipulation, RoboFactory. Based on RoboFactory benchmark, we adapt and evaluate the method of imitation learning and analyzed its performance in different difficulty agent tasks. Furthermore, we explore the architectures and training strategies for multi-agent imitation learning, aiming to build safe and efficient embodied multi-agent systems.