OmniJARVIS: La Tokenización Unificada de Visión-Lenguaje-Acción Permite Agentes de Seguimiento de Instrucciones en Mundo Abierto

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

Autores: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

Resumen

Presentamos OmniJARVIS, un novedoso modelo Visión-Lenguaje-Acción (VLA) para agentes que siguen instrucciones en mundos abiertos dentro de Minecraft. A diferencia de trabajos previos que emiten objetivos textuales para controladores separados o generan directamente comandos de control, OmniJARVIS busca un enfoque diferente para garantizar tanto capacidades de razonamiento sólido como de toma de decisiones eficiente mediante la tokenización unificada de datos de interacción multimodal. Primero, introducimos un enfoque auto-supervisado para aprender un codificador de comportamiento que produce tokens discretizados para trayectorias de comportamiento tau = {o_0, a_0, dots} y un decodificador de política de aprendizaje por imitación (IL) condicionado en estos tokens. Estos tokens de comportamiento adicionales se incorporan al vocabulario de modelos de lenguaje multimodal (MLM) preentrenados. Con este codificador, luego empaquetamos interacciones multimodales a largo plazo que incluyen instrucciones de tareas, recuerdos, pensamientos, observaciones, respuestas textuales, trayectorias de comportamiento, etc., en secuencias de tokens unificadas y las modelamos con transformadores autoregresivos. Gracias a los tokens de comportamiento semánticamente significativos, el modelo VLA resultante, OmniJARVIS, puede razonar (generando cadenas de pensamiento), planificar, responder preguntas y actuar (produciendo tokens de comportamiento para el decodificador de política IL). OmniJARVIS demuestra un rendimiento excelente en una colección exhaustiva de tareas atómicas, programáticas y de mundo abierto en Minecraft. Nuestro análisis revela además los principios de diseño cruciales en la formación de datos de interacción, la tokenización unificada y su potencial de escalabilidad.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.