OmniJARVIS: Единая токенизация видения-языка-действия обеспечивает агентов, следующих инструкциям в открытом мире

OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents

June 27, 2024

Авторы: Zihao Wang, Shaofei Cai, Zhancun Mu, Haowei Lin, Ceyao Zhang, Xuejie Liu, Qing Li, Anji Liu, Xiaojian Ma, Yitao Liang

cs.AI

Аннотация

Мы представляем OmniJARVIS, новую модель Vision-Language-Action (VLA) для агентов, следующих за инструкциями в открытом мире Minecraft. По сравнению с предыдущими работами, которые либо передают текстовые цели отдельным контроллерам, либо непосредственно производят управляющую команду, OmniJARVIS ищет другой путь для обеспечения как сильного рассуждения, так и эффективных возможностей принятия решений путем унифицированной токенизации мультимодальных данных взаимодействия. Во-первых, мы представляем самообучающийся подход для изучения кодера поведения, который производит дискретизированные токены для траекторий поведения tau = {o_0, a_0, точки} и декодер политики имитационного обучения (IL), условились на этих токенах. Эти дополнительные токены поведения будут дополнены к словарю предварительно обученных мультимодальных языковых моделей (MLM). С помощью этого кодера мы упаковываем долгосрочные мультимодальные взаимодействия, включающие инструкции задач, память, мысли, наблюдения, текстовые ответы, траектории поведения и т. д., в единые последовательности токенов и моделируем их с помощью авторегрессионных трансформеров. Благодаря семантически значимым токенам поведения результирующая модель VLA, OmniJARVIS, может рассуждать (производя цепочку мыслей), планировать, отвечать на вопросы и действовать (производя токены поведения для декодера политики IL). OmniJARVIS демонстрирует отличные результаты на обширной коллекции атомарных, программных и открытых задач в открытом мире Minecraft. Наш анализ также раскрывает ключевые принципы проектирования в формировании данных взаимодействия, унифицированной токенизации и ее потенциалы масштабирования.

English

We present OmniJARVIS, a novel Vision-Language-Action (VLA) model for open-world instruction-following agents in open-world Minecraft. Compared to prior works that either emit textual goals to separate controllers or produce the control command directly, OmniJARVIS seeks a different path to ensure both strong reasoning and efficient decision-making capabilities via unified tokenization of multimodal interaction data. First, we introduce a self-supervised approach to learn a behavior encoder that produces discretized tokens for behavior trajectories tau = {o_0, a_0, dots} and an imitation learning (IL) policy decoder conditioned on these tokens. These additional behavior tokens will be augmented to the vocabulary of pretrained Multimodal Language Models (MLMs). With this encoder, we then pack long-term multimodal interactions involving task instructions, memories, thoughts, observations, textual responses, behavior trajectories, etc. into unified token sequences and model them with autoregressive transformers. Thanks to the semantically meaningful behavior tokens, the resulting VLA model, OmniJARVIS, can reason (by producing chain-of-thoughts), plan, answer questions, and act (by producing behavior tokens for the IL policy decoder). OmniJARVIS demonstrates excellent performances on a comprehensive collection of atomic, programmatic, and open-ended tasks in open-world Minecraft. Our analysis further unveils the crucial design principles in interaction data formation, unified tokenization, and its scaling potentials.