Octopus: Воплощённый программист для задач "визуальный язык", обучающийся на основе обратной связи от окружающей среды
Octopus: Embodied Vision-Language Programmer from Environmental Feedback
October 12, 2023
Авторы: Jingkang Yang, Yuhao Dong, Shuai Liu, Bo Li, Ziyue Wang, Chencheng Jiang, Haoran Tan, Jiamu Kang, Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
cs.AI
Аннотация
Крупные модели обработки зрения и языка (VLMs) достигли значительного прогресса в мультимодальном восприятии и рассуждении. Более того, их интеграция в воплощённого агента представляет собой важный шаг на пути к созданию автономных и контекстно-ориентированных систем, способных формулировать планы и точно выполнять команды. В данной статье мы представляем Octopus — новую модель VLM, разработанную для эффективного анализа визуальной информации и текстовых задач агента, а также для создания сложных последовательностей действий и генерации исполняемого кода. Наша разработка позволяет агенту успешно справляться с широким спектром задач — от повседневных действий в симуляторах до сложных взаимодействий в видеоиграх. Octopus обучается с использованием GPT-4 для управления исследовательским агентом с целью генерации обучающих данных, таких как планы действий и соответствующий исполняемый код, в нашей экспериментальной среде под названием OctoVerse. Мы также собираем обратную связь, которая позволяет улучшить схему обучения с использованием подкрепляющего обучения с обратной связью от среды (RLEF). В ходе серии экспериментов мы демонстрируем функциональность Octopus и представляем убедительные результаты, а предложенный метод RLEF оказывается эффективным для улучшения принятия решений агентом. Открывая исходный код нашей архитектуры модели, симулятора и набора данных, мы стремимся стимулировать дальнейшие инновации и способствовать совместным разработкам в сообществе воплощённого ИИ.
English
Large vision-language models (VLMs) have achieved substantial progress in
multimodal perception and reasoning. Furthermore, when seamlessly integrated
into an embodied agent, it signifies a crucial stride towards the creation of
autonomous and context-aware systems capable of formulating plans and executing
commands with precision. In this paper, we introduce Octopus, a novel VLM
designed to proficiently decipher an agent's vision and textual task objectives
and to formulate intricate action sequences and generate executable code. Our
design allows the agent to adeptly handle a wide spectrum of tasks, ranging
from mundane daily chores in simulators to sophisticated interactions in
complex video games. Octopus is trained by leveraging GPT-4 to control an
explorative agent to generate training data, i.e., action blueprints and the
corresponding executable code, within our experimental environment called
OctoVerse. We also collect the feedback that allows the enhanced training
scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a
series of experiments, we illuminate Octopus's functionality and present
compelling results, and the proposed RLEF turns out to refine the agent's
decision-making. By open-sourcing our model architecture, simulator, and
dataset, we aspire to ignite further innovation and foster collaborative
applications within the broader embodied AI community.