LEGENT : Plateforme ouverte pour agents incarnés

LEGENT: Open Platform for Embodied Agents

April 28, 2024

Auteurs: Zhili Cheng, Zhitong Wang, Jinyi Hu, Shengding Hu, An Liu, Yuge Tu, Pengkai Li, Lei Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Résumé

Malgré les avancées des modèles de langage à grande échelle (LLMs) et des modèles multimodaux à grande échelle (LMMs), leur intégration dans des agents incarnés ancrés dans le langage et ressemblant à des humains reste incomplète, entravant la réalisation de tâches complexes dans des environnements physiques réels. Les intégrations existantes présentent souvent une limitation en matière de mise à disposition en open source, ce qui freine les progrès collectifs dans ce domaine. Nous présentons LEGENT, une plateforme ouverte et évolutive pour développer des agents incarnés utilisant des LLMs et des LMMs. LEGENT propose une double approche : un environnement 3D interactif et riche avec des agents communicatifs et actionnables, couplé à une interface conviviale, ainsi qu'un pipeline sophistiqué de génération de données exploitant des algorithmes avancés pour tirer parti de la supervision à grande échelle dans des mondes simulés. Dans nos expériences, un modèle embryonnaire vision-langage-action entraîné sur des données générées par LEGENT surpasse GPT-4V dans des tâches incarnées, démontrant des capacités de généralisation prometteuses.

English

Despite advancements in Large Language Models (LLMs) and Large Multimodal Models (LMMs), their integration into language-grounded, human-like embodied agents remains incomplete, hindering complex real-life task performance in physical environments. Existing integrations often feature limited open sourcing, challenging collective progress in this field. We introduce LEGENT, an open, scalable platform for developing embodied agents using LLMs and LMMs. LEGENT offers a dual approach: a rich, interactive 3D environment with communicable and actionable agents, paired with a user-friendly interface, and a sophisticated data generation pipeline utilizing advanced algorithms to exploit supervision from simulated worlds at scale. In our experiments, an embryonic vision-language-action model trained on LEGENT-generated data surpasses GPT-4V in embodied tasks, showcasing promising generalization capabilities.