LEGENT: Offene Plattform für verkörperte Agenten

LEGENT: Open Platform for Embodied Agents

April 28, 2024

Autoren: Zhili Cheng, Zhitong Wang, Jinyi Hu, Shengding Hu, An Liu, Yuge Tu, Pengkai Li, Lei Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Zusammenfassung

Trotz Fortschritten bei Großen Sprachmodellen (LLMs) und Großen Multimodalen Modellen (LMMs) bleibt deren Integration in sprachbezogene, menschenähnliche verkörperte Agenten unvollständig, was die Leistung komplexer Aufgaben im realen physischen Umfeld beeinträchtigt. Bestehende Integrationen weisen häufig eine begrenzte Open-Source-Bereitstellung auf, was den kollektiven Fortschritt in diesem Bereich erschwert. Wir stellen LEGENT vor, eine offene, skalierbare Plattform zur Entwicklung verkörperter Agenten unter Verwendung von LLMs und LMMs. LEGENT bietet einen dualen Ansatz: eine interaktive 3D-Umgebung mit kommunikationsfähigen und handlungsfähigen Agenten, gepaart mit einer benutzerfreundlichen Benutzeroberfläche, sowie eine ausgefeilte Datengenerierungspipeline, die fortschrittliche Algorithmen nutzt, um Überwachung aus simulierten Welten im großen Maßstab zu nutzen. In unseren Experimenten übertrifft ein vision-sprache-aktionsmodell in der Embryonalphase, das auf LEGENT-generierten Daten trainiert wurde, GPT-4V in verkörperten Aufgaben und zeigt vielversprechende Verallgemeinerungsfähigkeiten.

English

Despite advancements in Large Language Models (LLMs) and Large Multimodal Models (LMMs), their integration into language-grounded, human-like embodied agents remains incomplete, hindering complex real-life task performance in physical environments. Existing integrations often feature limited open sourcing, challenging collective progress in this field. We introduce LEGENT, an open, scalable platform for developing embodied agents using LLMs and LMMs. LEGENT offers a dual approach: a rich, interactive 3D environment with communicable and actionable agents, paired with a user-friendly interface, and a sophisticated data generation pipeline utilizing advanced algorithms to exploit supervision from simulated worlds at scale. In our experiments, an embryonic vision-language-action model trained on LEGENT-generated data surpasses GPT-4V in embodied tasks, showcasing promising generalization capabilities.