OmniJARVIS: La Tokenizzazione Unificata Visione-Linguaggio-Azione Abilita Agenti per il Seguimento di Istruzioni in Mondi Aperti

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

Autori: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

Abstract

Presentiamo OmniJARVIS, un innovativo modello Vision-Language-Action (VLA) per agenti che seguono istruzioni in mondi aperti in Minecraft. Rispetto ai lavori precedenti che emettono obiettivi testuali per controllori separati o producono direttamente i comandi di controllo, OmniJARVIS segue un percorso diverso per garantire sia capacità di ragionamento avanzate che di decisione efficiente attraverso la tokenizzazione unificata di dati di interazione multimodale. In primo luogo, introduciamo un approccio auto-supervisionato per apprendere un codificatore di comportamento che produce token discretizzati per traiettorie di comportamento tau = {o_0, a_0, dots} e un decodificatore di politica di apprendimento per imitazione (IL) condizionato su questi token. Questi token di comportamento aggiuntivi verranno integrati nel vocabolario di Modelli Linguistici Multimodali (MLM) pre-addestrati. Con questo codificatore, impacchettiamo quindi interazioni multimodali a lungo termine che coinvolgono istruzioni di task, memorie, pensieri, osservazioni, risposte testuali, traiettorie di comportamento, ecc. in sequenze di token unificate e le modelliamo con trasformatori autoregressivi. Grazie ai token di comportamento semanticamente significativi, il modello VLA risultante, OmniJARVIS, può ragionare (producendo catene di pensiero), pianificare, rispondere a domande e agire (producendo token di comportamento per il decodificatore di politica IL). OmniJARVIS dimostra prestazioni eccellenti su una vasta gamma di task atomici, programmatici e aperti in Minecraft. La nostra analisi rivela ulteriormente i principi di progettazione cruciali nella formazione dei dati di interazione, nella tokenizzazione unificata e nel suo potenziale di scalabilità.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.