Los Modelos Generativos Multimodales son Aprendices en Contexto.

Generative Multimodal Models are In-Context Learners

December 20, 2023

Autores: Quan Sun, Yufeng Cui, Xiaosong Zhang, Fan Zhang, Qiying Yu, Zhengxiong Luo, Yueze Wang, Yongming Rao, Jingjing Liu, Tiejun Huang, Xinlong Wang

cs.AI

Resumen

La capacidad humana para resolver fácilmente tareas multimodales en contexto (es decir, con solo unas pocas demostraciones o instrucciones simples) es algo que los sistemas multimodales actuales han tenido grandes dificultades para imitar. En este trabajo, demostramos que las capacidades de aprendizaje en contexto independientes de la tarea de los modelos multimodales grandes pueden mejorarse significativamente mediante un escalamiento efectivo. Presentamos Emu2, un modelo multimodal generativo con 37 mil millones de parámetros, entrenado en secuencias multimodales a gran escala con un objetivo autorregresivo unificado. Emu2 exhibe fuertes habilidades de aprendizaje multimodal en contexto, llegando incluso a resolver tareas que requieren razonamiento en tiempo real, como el prompting visual y la generación basada en objetos. El modelo establece un nuevo récord en múltiples tareas de comprensión multimodal en entornos de pocos ejemplos. Cuando se ajusta mediante instrucciones para seguir indicaciones específicas, Emu2 logra además un nuevo estado del arte en tareas desafiantes como los benchmarks de respuesta a preguntas para modelos multimodales grandes y la generación abierta impulsada por temas. Estos logros demuestran que Emu2 puede servir como un modelo base y una interfaz de propósito general para una amplia gama de tareas multimodales. El código y los modelos están disponibles públicamente para facilitar futuras investigaciones.

English

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.