OmniJARVIS : La tokenisation unifiée vision-langue-action permet des agents capables de suivre des instructions dans un monde ouvert

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

Auteurs: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

Résumé

Nous présentons OmniJARVIS, un nouveau modèle Vision-Langage-Action (VLA) pour des agents capables de suivre des instructions dans un monde ouvert dans Minecraft. Contrairement aux travaux antérieurs qui émettent soit des objectifs textuels à des contrôleurs séparés, soit des commandes de contrôle directement, OmniJARVIS adopte une approche différente pour garantir à la fois des capacités de raisonnement solides et de prise de décision efficace via une tokenisation unifiée des données d'interaction multimodales. Tout d'abord, nous introduisons une approche auto-supervisée pour apprendre un encodeur de comportement qui produit des tokens discrétisés pour les trajectoires de comportement tau = {o_0, a_0, ...} et un décodeur de politique d'apprentissage par imitation (IL) conditionné sur ces tokens. Ces tokens de comportement supplémentaires seront ajoutés au vocabulaire des modèles de langage multimodaux (MLM) pré-entraînés. Avec cet encodeur, nous regroupons ensuite les interactions multimodales à long terme impliquant des instructions de tâche, des souvenirs, des pensées, des observations, des réponses textuelles, des trajectoires de comportement, etc., en séquences de tokens unifiées et les modélisons avec des transformateurs autorégressifs. Grâce aux tokens de comportement sémantiquement significatifs, le modèle VLA résultant, OmniJARVIS, peut raisonner (en produisant des chaînes de pensées), planifier, répondre à des questions et agir (en produisant des tokens de comportement pour le décodeur de politique IL). OmniJARVIS démontre d'excellentes performances sur une collection complète de tâches atomiques, programmatiques et ouvertes dans un monde ouvert de Minecraft. Notre analyse révèle en outre les principes de conception cruciaux dans la formation des données d'interaction, la tokenisation unifiée et son potentiel de mise à l'échelle.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.