Octopus: Ein verkörperter Vision-Sprache-Programmierer aus Umweltfeedback
Octopus: Embodied Vision-Language Programmer from Environmental Feedback
October 12, 2023
Autoren: Jingkang Yang, Yuhao Dong, Shuai Liu, Bo Li, Ziyue Wang, Chencheng Jiang, Haoran Tan, Jiamu Kang, Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
cs.AI
Zusammenfassung
Große visuell-sprachliche Modelle (VLMs) haben erhebliche Fortschritte in der multimodalen Wahrnehmung und dem logischen Denken erzielt. Darüber hinaus bedeutet ihre nahtlose Integration in einen verkörperten Agenten einen entscheidenden Schritt hin zur Schaffung autonomer und kontextbewusster Systeme, die in der Lage sind, Pläne zu erstellen und Befehle präzise auszuführen. In diesem Artikel stellen wir Octopus vor, ein neuartiges VLM, das darauf ausgelegt ist, die visuellen und textuellen Aufgabenziele eines Agenten kompetent zu entschlüsseln sowie komplexe Aktionssequenzen zu formulieren und ausführbaren Code zu generieren. Unser Design ermöglicht es dem Agenten, ein breites Spektrum von Aufgaben geschickt zu bewältigen, das von alltäglichen Routineaufgaben in Simulatoren bis hin zu anspruchsvollen Interaktionen in komplexen Videospielen reicht. Octopus wird trainiert, indem GPT-4 genutzt wird, um einen explorativen Agenten zu steuern, der Trainingsdaten – d. h. Aktionspläne und den entsprechenden ausführbaren Code – in unserer experimentellen Umgebung namens OctoVerse generiert. Wir sammeln auch Feedback, das das verbesserte Trainingsschema des Reinforcement Learning mit Umweltfeedback (RLEF) ermöglicht. Durch eine Reihe von Experimenten beleuchten wir die Funktionalität von Octopus und präsentieren überzeugende Ergebnisse, wobei sich das vorgeschlagene RLEF als effektiv erweist, um die Entscheidungsfindung des Agenten zu verfeinern. Durch die Open-Source-Bereitstellung unserer Modellarchitektur, unseres Simulators und unseres Datensatzes streben wir an, weitere Innovationen anzuregen und kollaborative Anwendungen innerhalb der breiteren verkörperten KI-Community zu fördern.
English
Large vision-language models (VLMs) have achieved substantial progress in
multimodal perception and reasoning. Furthermore, when seamlessly integrated
into an embodied agent, it signifies a crucial stride towards the creation of
autonomous and context-aware systems capable of formulating plans and executing
commands with precision. In this paper, we introduce Octopus, a novel VLM
designed to proficiently decipher an agent's vision and textual task objectives
and to formulate intricate action sequences and generate executable code. Our
design allows the agent to adeptly handle a wide spectrum of tasks, ranging
from mundane daily chores in simulators to sophisticated interactions in
complex video games. Octopus is trained by leveraging GPT-4 to control an
explorative agent to generate training data, i.e., action blueprints and the
corresponding executable code, within our experimental environment called
OctoVerse. We also collect the feedback that allows the enhanced training
scheme of Reinforcement Learning with Environmental Feedback (RLEF). Through a
series of experiments, we illuminate Octopus's functionality and present
compelling results, and the proposed RLEF turns out to refine the agent's
decision-making. By open-sourcing our model architecture, simulator, and
dataset, we aspire to ignite further innovation and foster collaborative
applications within the broader embodied AI community.