Generatieve Multimodale Modellen zijn In-Context Leerders

Generative Multimodal Models are In-Context Learners

December 20, 2023

Auteurs: Quan Sun, Yufeng Cui, Xiaosong Zhang, Fan Zhang, Qiying Yu, Zhengxiong Luo, Yueze Wang, Yongming Rao, Jingjing Liu, Tiejun Huang, Xinlong Wang

cs.AI

Samenvatting

Het menselijk vermogen om multimodale taken gemakkelijk in context op te lossen (d.w.z. met slechts enkele demonstraties of eenvoudige instructies), is iets waar huidige multimodale systemen grotendeels moeite mee hebben om na te bootsen. In dit werk tonen we aan dat de taakonafhankelijke in-context leermogelijkheden van grote multimodale modellen aanzienlijk kunnen worden verbeterd door effectief opschalen. We introduceren Emu2, een generatief multimodaal model met 37 miljard parameters, getraind op grootschalige multimodale sequenties met een uniform autoregressief doel. Emu2 vertoont sterke multimodale in-context leermogelijkheden en lost zelfs taken op die on-the-fly redenering vereisen, zoals visuele prompting en objectgebaseerde generatie. Het model vestigt een nieuw record op meerdere multimodale begripstaken in few-shot settings. Wanneer het model wordt afgestemd op het volgen van specifieke instructies, behaalt Emu2 verder nieuwe state-of-the-art resultaten op uitdagende taken zoals vraag-antwoordbenchmarks voor grote multimodale modellen en open-ended onderwerpgedreven generatie. Deze prestaties tonen aan dat Emu2 kan dienen als een basismodel en algemene interface voor een breed scala aan multimodale taken. Code en modellen zijn publiekelijk beschikbaar om toekomstig onderzoek te faciliteren.

English

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.