LEGENT: Plataforma Abierta para Agentes Embebidos

LEGENT: Open Platform for Embodied Agents

April 28, 2024

Autores: Zhili Cheng, Zhitong Wang, Jinyi Hu, Shengding Hu, An Liu, Yuge Tu, Pengkai Li, Lei Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Resumen

A pesar de los avances en los Modelos de Lenguaje de Gran Escala (LLMs) y los Modelos Multimodales de Gran Escala (LMMs), su integración en agentes encarnados con fundamento lingüístico y características humanas sigue siendo incompleta, lo que dificulta el desempeño de tareas complejas en entornos físicos de la vida real. Las integraciones existentes a menudo presentan un acceso limitado al código abierto, lo que obstaculiza el progreso colectivo en este campo. Presentamos LEGENT, una plataforma abierta y escalable para desarrollar agentes encarnados utilizando LLMs y LMMs. LEGENT ofrece un enfoque dual: un entorno 3D rico e interactivo con agentes comunicativos y accionables, combinado con una interfaz de usuario amigable, y una sofisticada pipeline de generación de datos que utiliza algoritmos avanzados para aprovechar la supervisión de mundos simulados a gran escala. En nuestros experimentos, un modelo incipiente de visión-lenguaje-acción entrenado con datos generados por LEGENT supera a GPT-4V en tareas encarnadas, demostrando capacidades prometedoras de generalización.

English

Despite advancements in Large Language Models (LLMs) and Large Multimodal Models (LMMs), their integration into language-grounded, human-like embodied agents remains incomplete, hindering complex real-life task performance in physical environments. Existing integrations often feature limited open sourcing, challenging collective progress in this field. We introduce LEGENT, an open, scalable platform for developing embodied agents using LLMs and LMMs. LEGENT offers a dual approach: a rich, interactive 3D environment with communicable and actionable agents, paired with a user-friendly interface, and a sophisticated data generation pipeline utilizing advanced algorithms to exploit supervision from simulated worlds at scale. In our experiments, an embryonic vision-language-action model trained on LEGENT-generated data surpasses GPT-4V in embodied tasks, showcasing promising generalization capabilities.