Octopus: Programador Visão-Linguagem Incorporado a partir de Feedback Ambiental
Octopus: Embodied Vision-Language Programmer from Environmental Feedback
October 12, 2023
Autores: Jingkang Yang, Yuhao Dong, Shuai Liu, Bo Li, Ziyue Wang, Chencheng Jiang, Haoran Tan, Jiamu Kang, Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
cs.AI
Resumo
Grandes modelos de visão e linguagem (VLMs) têm alcançado progressos significativos em percepção e raciocínio multimodal. Além disso, quando integrados de forma contínua a um agente incorporado, isso representa um passo crucial para a criação de sistemas autônomos e conscientes do contexto, capazes de formular planos e executar comandos com precisão. Neste artigo, apresentamos o Octopus, um novo VLM projetado para decifrar com proficiência os objetivos visuais e textuais de uma tarefa de um agente e para formular sequências de ações complexas e gerar código executável. Nosso design permite que o agente lide habilmente com uma ampla gama de tarefas, desde tarefas cotidianas simples em simuladores até interações sofisticadas em jogos complexos. O Octopus é treinado utilizando o GPT-4 para controlar um agente exploratório e gerar dados de treinamento, ou seja, planos de ação e o código executável correspondente, dentro de nosso ambiente experimental chamado OctoVerse. Também coletamos feedback que permite o esquema de treinamento aprimorado de Aprendizado por Reforço com Feedback Ambiental (RLEF). Por meio de uma série de experimentos, elucidamos a funcionalidade do Octopus e apresentamos resultados convincentes, e o RLEF proposto demonstra refinar a tomada de decisão do agente. Ao disponibilizar publicamente nossa arquitetura de modelo, simulador e conjunto de dados, aspiramos a estimular mais inovações e fomentar aplicações colaborativas dentro da comunidade mais ampla de IA incorporada.
English
Large vision-language models (VLMs) have achieved substantial progress in
multimodal perception and reasoning. Furthermore, when seamlessly integrated
into an embodied agent, it signifies a crucial stride towards the creation of
autonomous and context-aware systems capable of formulating plans and executing
commands with precision. In this paper, we introduce Octopus, a novel VLM
designed to proficiently decipher an agent's vision and textual task objectives
and to formulate intricate action sequences and generate executable code. Our
design allows the agent to adeptly handle a wide spectrum of tasks, ranging
from mundane daily chores in simulators to sophisticated interactions in
complex video games. Octopus is trained by leveraging GPT-4 to control an
explorative agent to generate training data, i.e., action blueprints and the
corresponding executable code, within our experimental environment called
OctoVerse. We also collect the feedback that allows the enhanced training
scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a
series of experiments, we illuminate Octopus's functionality and present
compelling results, and the proposed RLEF turns out to refine the agent's
decision-making. By open-sourcing our model architecture, simulator, and
dataset, we aspire to ignite further innovation and foster collaborative
applications within the broader embodied AI community.