OmniJARVIS: Vereinheitlichte Vision-Sprache-Aktions-Tokenisierung ermöglicht Offenwelt-Instruktions-Folge-Agenten

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

papers.authors: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

papers.abstract

Wir präsentieren OmniJARVIS, ein neuartiges Vision-Sprache-Aktion (VLA) Modell für Agenten, die Anweisungen in der offenen Welt von Minecraft befolgen. Im Vergleich zu früheren Arbeiten, die entweder textuelle Ziele an separate Controller senden oder die Steuerbefehle direkt erzeugen, verfolgt OmniJARVIS einen anderen Ansatz, um sowohl starke Argumentations- als auch effiziente Entscheidungsfähigkeiten durch die vereinheitlichte Tokenisierung von multimodalen Interaktionsdaten zu gewährleisten. Zunächst führen wir einen selbstüberwachten Ansatz ein, um einen Verhaltensencoder zu erlernen, der diskretisierte Tokens für Verhaltensverläufe tau = {o_0, a_0, ...} und einen Imitationslern (IL) Richtliniendekoder, der auf diesen Tokens basiert, erzeugt. Diese zusätzlichen Verhaltens-Tokens werden dem Vokabular vortrainierter multimodaler Sprachmodelle (MLMs) hinzugefügt. Mit diesem Encoder packen wir dann langfristige multimodale Interaktionen, die Aufgabenanweisungen, Erinnerungen, Gedanken, Beobachtungen, textuelle Antworten, Verhaltensverläufe usw. umfassen, in vereinheitlichte Tokenfolgen und modellieren sie mit autoregressiven Transformern. Dank der semantisch bedeutsamen Verhaltens-Tokens kann das resultierende VLA-Modell, OmniJARVIS, argumentieren (indem es Gedankenketten produziert), planen, Fragen beantworten und handeln (indem es Verhaltens-Tokens für den IL-Richtliniendekoder erzeugt). OmniJARVIS zeigt herausragende Leistungen bei einer umfassenden Sammlung von atomaren, programmatischen und offenen Aufgaben in der offenen Welt von Minecraft. Unsere Analyse enthüllt weitere wichtige Designprinzipien bei der Bildung von Interaktionsdaten, der vereinheitlichten Tokenisierung und deren Skalierungspotenzialen.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.