OmniJARVIS: Tokenização Unificada de Visão-Linguagem-Ação Permite Agentes de Seguimento de Instruções em Ambientes Abertos

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

Autores: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

Resumo

Apresentamos o OmniJARVIS, um modelo Vision-Language-Action (VLA) inovador para agentes de seguir instruções em um mundo aberto no Minecraft de mundo aberto. Em comparação com trabalhos anteriores que ou emitem metas textuais para controladores separados ou produzem o comando de controle diretamente, o OmniJARVIS busca um caminho diferente para garantir tanto um raciocínio forte quanto capacidades de tomada de decisão eficientes por meio da tokenização unificada de dados de interação multimodal. Primeiramente, introduzimos uma abordagem auto-supervisionada para aprender um codificador de comportamento que produz tokens discretizados para trajetórias de comportamento tau = {o_0, a_0, ...} e um decodificador de política de aprendizado por imitação (IL) condicionado a esses tokens. Esses tokens de comportamento adicionais serão incorporados ao vocabulário de Modelos de Linguagem Multimodal (MLMs) pré-treinados. Com este codificador, então empacotamos interações multimodais de longo prazo envolvendo instruções de tarefas, memórias, pensamentos, observações, respostas textuais, trajetórias de comportamento, etc., em sequências de tokens unificadas e as modelamos com transformadores autoregressivos. Graças aos tokens de comportamento semanticamente significativos, o modelo VLA resultante, OmniJARVIS, pode raciocinar (produzindo cadeias de pensamento), planejar, responder perguntas e agir (produzindo tokens de comportamento para o decodificador de política IL). O OmniJARVIS demonstra excelentes desempenhos em uma coleção abrangente de tarefas atômicas, programáticas e abertas no mundo aberto do Minecraft. Nossa análise também revela os princípios de design cruciais na formação de dados de interação, tokenização unificada e seus potenciais de escalabilidade.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.