I Modelli Generativi Multimodali sono Apprendenti in Contesto

Generative Multimodal Models are In-Context Learners

December 20, 2023

Autori: Quan Sun, Yufeng Cui, Xiaosong Zhang, Fan Zhang, Qiying Yu, Zhengxiong Luo, Yueze Wang, Yongming Rao, Jingjing Liu, Tiejun Huang, Xinlong Wang

cs.AI

Abstract

La capacità umana di risolvere facilmente compiti multimodali in contesto (cioè con solo poche dimostrazioni o semplici istruzioni) è ciò che i sistemi multimodali attuali hanno ampiamente faticato a imitare. In questo lavoro, dimostriamo che le capacità di apprendimento in contesto, indipendenti dal compito, dei grandi modelli multimodali possono essere significativamente potenziate attraverso un efficace ampliamento di scala. Introduciamo Emu2, un modello generativo multimodale con 37 miliardi di parametri, addestrato su sequenze multimodali su larga scala con un obiettivo autoregressivo unificato. Emu2 mostra forti capacità di apprendimento in contesto multimodale, arrivando persino a risolvere compiti che richiedono ragionamento immediato, come il prompting visivo e la generazione basata su oggetti. Il modello stabilisce un nuovo record in molteplici compiti di comprensione multimodale in contesti few-shot. Quando ottimizzato per seguire istruzioni specifiche, Emu2 raggiunge ulteriormente nuovi stati dell'arte in compiti impegnativi come benchmark di risposta a domande per grandi modelli multimodali e generazione aperta guidata da soggetti. Questi risultati dimostrano che Emu2 può servire come modello di base e interfaccia generica per un'ampia gamma di compiti multimodali. Codice e modelli sono pubblicamente disponibili per facilitare la ricerca futura.

English

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.