LEGENT: Plataforma Aberta para Agentes Corporificados

LEGENT: Open Platform for Embodied Agents

April 28, 2024

Autores: Zhili Cheng, Zhitong Wang, Jinyi Hu, Shengding Hu, An Liu, Yuge Tu, Pengkai Li, Lei Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Resumo

Apesar dos avanços nos Modelos de Linguagem de Grande Escala (LLMs) e nos Modelos Multimodais de Grande Escala (LMMs), sua integração em agentes incorporados semelhantes a humanos e fundamentados em linguagem permanece incompleta, dificultando o desempenho de tarefas complexas da vida real em ambientes físicos. As integrações existentes frequentemente apresentam limitações em termos de código aberto, desafiando o progresso coletivo nesse campo. Apresentamos o LEGENT, uma plataforma aberta e escalável para o desenvolvimento de agentes incorporados utilizando LLMs e LMMs. O LEGENT oferece uma abordagem dupla: um ambiente 3D rico e interativo com agentes comunicáveis e acionáveis, combinado com uma interface amigável ao usuário, e um pipeline sofisticado de geração de dados que utiliza algoritmos avançados para explorar a supervisão de mundos simulados em larga escala. Em nossos experimentos, um modelo embrionário de visão-linguagem-ação treinado com dados gerados pelo LEGENT supera o GPT-4V em tarefas incorporadas, demonstrando capacidades promissoras de generalização.

English

Despite advancements in Large Language Models (LLMs) and Large Multimodal Models (LMMs), their integration into language-grounded, human-like embodied agents remains incomplete, hindering complex real-life task performance in physical environments. Existing integrations often feature limited open sourcing, challenging collective progress in this field. We introduce LEGENT, an open, scalable platform for developing embodied agents using LLMs and LMMs. LEGENT offers a dual approach: a rich, interactive 3D environment with communicable and actionable agents, paired with a user-friendly interface, and a sophisticated data generation pipeline utilizing advanced algorithms to exploit supervision from simulated worlds at scale. In our experiments, an embryonic vision-language-action model trained on LEGENT-generated data surpasses GPT-4V in embodied tasks, showcasing promising generalization capabilities.