OmniJARVIS: Geünificeerde Vision-Taal-Actie Tokenisatie Maakt Open-Wereld Instructievolgende Agents Mogelijk

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

Auteurs: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

Samenvatting

We presenteren OmniJARVIS, een nieuw Vision-Language-Action (VLA)-model voor instructievolgende agents in de open wereld van Minecraft. In tegenstelling tot eerdere werken die ofwel tekstuele doelen uitsturen naar aparte controllers ofwel direct controlecommando's produceren, kiest OmniJARVIS een andere aanpak om zowel sterke redeneer- als efficiënte besluitvormingscapaciteiten te waarborgen via een uniforme tokenisatie van multimodale interactiedata. Ten eerste introduceren we een zelfgesuperviseerde methode om een gedragscodering te leren die gediscretiseerde tokens produceert voor gedragstrajecten tau = {o_0, a_0, dots} en een imitatieleren (IL)-beleidsdecoder die op deze tokens is geconditioneerd. Deze aanvullende gedragstokens worden toegevoegd aan de vocabulaire van voorgetrainde Multimodale Taalmodellen (MLMs). Met deze encoder verpakken we vervolgens langetermijn multimodale interacties, waaronder taakinstructies, herinneringen, gedachten, observaties, tekstuele reacties, gedragstrajecten, enz., in uniforme tokenreeksen en modelleren we deze met autoregressieve transformatoren. Dankzij de semantisch betekenisvolle gedragstokens kan het resulterende VLA-model, OmniJARVIS, redeneren (door ketens van gedachten te produceren), plannen, vragen beantwoorden en handelen (door gedragstokens te produceren voor de IL-beleidsdecoder). OmniJARVIS toont uitstekende prestaties op een uitgebreide verzameling van atomische, programmatische en open-einde taken in de open wereld van Minecraft. Onze analyse onthult verder de cruciale ontwerp principes in de vorming van interactiedata, uniforme tokenisatie en de schaalbaarheidspotentie ervan.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.