ПЛАТФОРМА LEGENT: Открытая платформа для инкорпорированных агентов

LEGENT: Open Platform for Embodied Agents

April 28, 2024

Авторы: Zhili Cheng, Zhitong Wang, Jinyi Hu, Shengding Hu, An Liu, Yuge Tu, Pengkai Li, Lei Shi, Zhiyuan Liu, Maosong Sun

cs.AI

Аннотация

Несмотря на прогресс в области больших языковых моделей (LLM) и больших мультимодальных моделей (LMM), их интеграция в агентов, обладающих языковой основой и человекоподобным телесным воплощением, остается неполной, что затрудняет выполнение сложных задач в реальных физических средах. Существующие интеграции часто имеют ограниченное открытое распространение, что затрудняет коллективный прогресс в этой области. Мы представляем LEGENT, открытую масштабируемую платформу для разработки агентов с телесным воплощением, использующих LLM и LMM. LEGENT предлагает двойной подход: богатую интерактивную 3D среду с агентами, способными общаться и действовать, совмещенную с простым в использовании интерфейсом, а также сложный конвейер генерации данных, использующий передовые алгоритмы для извлечения надзора из симулированных миров в масштабе. В наших экспериментах эмбриональная модель вид-язык-действие, обученная на данных, сгенерированных в LEGENT, превосходит GPT-4V в задачах с телесным взаимодействием, демонстрируя многообещающие обобщающие способности.

English

Despite advancements in Large Language Models (LLMs) and Large Multimodal Models (LMMs), their integration into language-grounded, human-like embodied agents remains incomplete, hindering complex real-life task performance in physical environments. Existing integrations often feature limited open sourcing, challenging collective progress in this field. We introduce LEGENT, an open, scalable platform for developing embodied agents using LLMs and LMMs. LEGENT offers a dual approach: a rich, interactive 3D environment with communicable and actionable agents, paired with a user-friendly interface, and a sophisticated data generation pipeline utilizing advanced algorithms to exploit supervision from simulated worlds at scale. In our experiments, an embryonic vision-language-action model trained on LEGENT-generated data surpasses GPT-4V in embodied tasks, showcasing promising generalization capabilities.