Octopus: Programador Visión-Lenguaje Encarnado a partir de Retroalimentación Ambiental

Octopus: Embodied Vision-Language Programmer from Environmental Feedback

October 12, 2023

Autores: Jingkang Yang, Yuhao Dong, Shuai Liu, Bo Li, Ziyue Wang, Chencheng Jiang, Haoran Tan, Jiamu Kang, Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu

cs.AI

Resumen

Los grandes modelos de visión y lenguaje (VLMs, por sus siglas en inglés) han logrado avances significativos en la percepción y razonamiento multimodal. Además, cuando se integran de manera fluida en un agente encarnado, representan un paso crucial hacia la creación de sistemas autónomos y conscientes del contexto, capaces de formular planes y ejecutar comandos con precisión. En este artículo, presentamos Octopus, un nuevo VLM diseñado para descifrar de manera competente los objetivos visuales y textuales de un agente, así como para formular secuencias de acciones complejas y generar código ejecutable. Nuestro diseño permite que el agente maneje hábilmente una amplia gama de tareas, desde tareas cotidianas en simuladores hasta interacciones sofisticadas en videojuegos complejos. Octopus se entrena aprovechando GPT-4 para controlar un agente exploratorio y generar datos de entrenamiento, es decir, planes de acción y el código ejecutable correspondiente, dentro de nuestro entorno experimental llamado OctoVerse. También recopilamos comentarios que permiten un esquema de entrenamiento mejorado mediante Aprendizaje por Refuerzo con Retroalimentación Ambiental (RLEF, por sus siglas en inglés). A través de una serie de experimentos, ilustramos la funcionalidad de Octopus y presentamos resultados convincentes, demostrando que el RLEF propuesto refina la toma de decisiones del agente. Al hacer de código abierto nuestra arquitectura de modelo, simulador y conjunto de datos, aspiramos a impulsar una mayor innovación y fomentar aplicaciones colaborativas dentro de la comunidad más amplia de IA encarnada.

English

Large vision-language models (VLMs) have achieved substantial progress in multimodal perception and reasoning. Furthermore, when seamlessly integrated into an embodied agent, it signifies a crucial stride towards the creation of autonomous and context-aware systems capable of formulating plans and executing commands with precision. In this paper, we introduce Octopus, a novel VLM designed to proficiently decipher an agent's vision and textual task objectives and to formulate intricate action sequences and generate executable code. Our design allows the agent to adeptly handle a wide spectrum of tasks, ranging from mundane daily chores in simulators to sophisticated interactions in complex video games. Octopus is trained by leveraging GPT-4 to control an explorative agent to generate training data, i.e., action blueprints and the corresponding executable code, within our experimental environment called OctoVerse. We also collect the feedback that allows the enhanced training scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a series of experiments, we illuminate Octopus's functionality and present compelling results, and the proposed RLEF turns out to refine the agent's decision-making. By open-sourcing our model architecture, simulator, and dataset, we aspire to ignite further innovation and foster collaborative applications within the broader embodied AI community.