Generative multimodale Modelle sind In-Context-Lerner.

Generative Multimodal Models are In-Context Learners

December 20, 2023

Autoren: Quan Sun, Yufeng Cui, Xiaosong Zhang, Fan Zhang, Qiying Yu, Zhengxiong Luo, Yueze Wang, Yongming Rao, Jingjing Liu, Tiejun Huang, Xinlong Wang

cs.AI

Zusammenfassung

Die menschliche Fähigkeit, multimodale Aufgaben im Kontext (d. h. mit nur wenigen Demonstrationen oder einfachen Anweisungen) mühelos zu lösen, ist etwas, was aktuelle multimodale Systeme bisher weitgehend nicht nachahmen konnten. In dieser Arbeit zeigen wir, dass die aufgabenunabhängigen Fähigkeiten zum Lernen im Kontext bei großen multimodalen Modellen durch effektives Skalieren erheblich verbessert werden können. Wir stellen Emu2 vor, ein generatives multimodales Modell mit 37 Milliarden Parametern, das auf groß angelegten multimodalen Sequenzen mit einem einheitlichen autoregressiven Ziel trainiert wurde. Emu2 zeigt starke Fähigkeiten zum multimodalen Lernen im Kontext und kann sogar Aufgaben lösen, die spontanes Schlussfolgern erfordern, wie visuelle Prompting und objektbezogene Generierung. Das Modell setzt neue Maßstäbe bei mehreren multimodalen Verständnisaufgaben in Few-Shot-Szenarien. Wenn es angewiesen wird, spezifische Anweisungen zu befolgen, erreicht Emu2 zudem neue Bestwerte bei anspruchsvollen Aufgaben wie Frage-Antwort-Benchmarks für große multimodale Modelle und offener, subjektgesteuerter Generierung. Diese Erfolge zeigen, dass Emu2 als Basismodell und allgemeine Schnittstelle für eine Vielzahl multimodaler Aufgaben dienen kann. Code und Modelle sind öffentlich verfügbar, um zukünftige Forschung zu erleichtern.

English

The human ability to easily solve multimodal tasks in context (i.e., with only a few demonstrations or simple instructions), is what current multimodal systems have largely struggled to imitate. In this work, we demonstrate that the task-agnostic in-context learning capabilities of large multimodal models can be significantly enhanced by effective scaling-up. We introduce Emu2, a generative multimodal model with 37 billion parameters, trained on large-scale multimodal sequences with a unified autoregressive objective. Emu2 exhibits strong multimodal in-context learning abilities, even emerging to solve tasks that require on-the-fly reasoning, such as visual prompting and object-grounded generation. The model sets a new record on multiple multimodal understanding tasks in few-shot settings. When instruction-tuned to follow specific instructions, Emu2 further achieves new state-of-the-art on challenging tasks such as question answering benchmarks for large multimodal models and open-ended subject-driven generation. These achievements demonstrate that Emu2 can serve as a base model and general-purpose interface for a wide range of multimodal tasks. Code and models are publicly available to facilitate future research.