Les modèles génératifs multimodaux apprennent en contexte.

Generative Multimodal Models are In-Context Learners

December 20, 2023

Auteurs: Quan Sun, Yufeng Cui, Xiaosong Zhang, Fan Zhang, Qiying Yu, Zhengxiong Luo, Yueze Wang, Yongming Rao, Jingjing Liu, Tiejun Huang, Xinlong Wang

cs.AI

Résumé

La capacité humaine à résoudre facilement des tâches multimodales en contexte (c'est-à-dire avec seulement quelques démonstrations ou des instructions simples) est ce que les systèmes multimodaux actuels ont largement du mal à imiter. Dans ce travail, nous démontrons que les capacités d'apprentissage en contexte, indépendantes de la tâche, des grands modèles multimodaux peuvent être considérablement améliorées par une mise à l'échelle efficace. Nous présentons Emu2, un modèle génératif multimodal doté de 37 milliards de paramètres, entraîné sur des séquences multimodales à grande échelle avec un objectif autorégressif unifié. Emu2 montre de solides capacités d'apprentissage en contexte multimodal, parvenant même à résoudre des tâches nécessitant un raisonnement à la volée, comme l'invite visuelle et la génération basée sur des objets. Le modèle établit un nouveau record sur plusieurs tâches de compréhension multimodale en contexte de few-shot. Lorsqu'il est ajusté pour suivre des instructions spécifiques, Emu2 atteint de nouveaux états de l'art sur des tâches difficiles telles que les benchmarks de question-réponse pour les grands modèles multimodaux et la génération ouverte basée sur des sujets. Ces réalisations démontrent qu'Emu2 peut servir de modèle de base et d'interface polyvalente pour une large gamme de tâches multimodales. Le code et les modèles sont disponibles publiquement pour faciliter les recherches futures.

English

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.