Octopus: Programmatore Visione-Linguaggio Incorporato con Apprendimento da Feedback Ambientale
Octopus: Embodied Vision-Language Programmer from Environmental Feedback
October 12, 2023
Autori: Jingkang Yang, Yuhao Dong, Shuai Liu, Bo Li, Ziyue Wang, Chencheng Jiang, Haoran Tan, Jiamu Kang, Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
cs.AI
Abstract
I grandi modelli visione-linguaggio (VLMs) hanno compiuto progressi significativi nella percezione e ragionamento multimodale. Inoltre, quando integrati in modo fluido in un agente incarnato, rappresentano un passo cruciale verso la creazione di sistemi autonomi e consapevoli del contesto, in grado di formulare piani ed eseguire comandi con precisione. In questo articolo, presentiamo Octopus, un nuovo VLM progettato per decifrare in modo competente gli obiettivi visivi e testuali di un agente e per formulare sequenze di azioni complesse e generare codice eseguibile. Il nostro design consente all'agente di gestire con abilità un'ampia gamma di compiti, dalle semplici attività quotidiane nei simulatori alle interazioni sofisticate nei videogiochi complessi. Octopus viene addestrato sfruttando GPT-4 per controllare un agente esplorativo e generare dati di addestramento, ovvero progetti di azioni e il corrispondente codice eseguibile, all'interno del nostro ambiente sperimentale chiamato OctoVerse. Raccogliamo inoltre feedback che permettono uno schema di addestramento avanzato basato sul Reinforcement Learning con Feedback Ambientale (RLEF). Attraverso una serie di esperimenti, illustriamo il funzionamento di Octopus e presentiamo risultati convincenti, dimostrando che il RLEF proposto affina il processo decisionale dell'agente. Rendendo open-source l'architettura del nostro modello, il simulatore e il dataset, aspiriamo a stimolare ulteriori innovazioni e favorire applicazioni collaborative all'interno della più ampia comunità dell'AI incarnata.
English
Large vision-language models (VLMs) have achieved substantial progress in
multimodal perception and reasoning. Furthermore, when seamlessly integrated
into an embodied agent, it signifies a crucial stride towards the creation of
autonomous and context-aware systems capable of formulating plans and executing
commands with precision. In this paper, we introduce Octopus, a novel VLM
designed to proficiently decipher an agent's vision and textual task objectives
and to formulate intricate action sequences and generate executable code. Our
design allows the agent to adeptly handle a wide spectrum of tasks, ranging
from mundane daily chores in simulators to sophisticated interactions in
complex video games. Octopus is trained by leveraging GPT-4 to control an
explorative agent to generate training data, i.e., action blueprints and the
corresponding executable code, within our experimental environment called
OctoVerse. We also collect the feedback that allows the enhanced training
scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a
series of experiments, we illuminate Octopus's functionality and present
compelling results, and the proposed RLEF turns out to refine the agent's
decision-making. By open-sourcing our model architecture, simulator, and
dataset, we aspire to ignite further innovation and foster collaborative
applications within the broader embodied AI community.