DreamLLM: Synergetische Multimodale Begrip en Creatie

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Auteurs: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Samenvatting

Dit artikel presenteert DreamLLM, een leerframework dat als eerste veelzijdige Multimodale Grote Taalmodellen (MLLMs) realiseert, versterkt door de vaak over het hoofd geziene synergie tussen multimodale begrip en creatie. DreamLLM werkt volgens twee fundamentele principes. Het eerste richt zich op de generatieve modellering van zowel taal- als beeldposteriors door directe steekproefname in de ruwe multimodale ruimte. Deze aanpak omzeilt de beperkingen en informatieverlies die inherent zijn aan externe feature extractors zoals CLIP, waardoor een grondiger multimodaal begrip wordt verkregen. Ten tweede bevordert DreamLLM de generatie van ruwe, door elkaar heen lopende documenten, waarbij zowel tekst- als beeldinhoud worden gemodelleerd, samen met ongestructureerde lay-outs. Hierdoor kan DreamLLM alle conditionele, marginale en gezamenlijke multimodale distributies effectief leren. Als gevolg hiervan is DreamLLM het eerste MLLM dat in staat is om vrij vormgegeven, door elkaar heen lopende inhoud te genereren. Uitgebreide experimenten benadrukken de superieure prestaties van DreamLLM als een zero-shot multimodale generalist, profiterend van de verbeterde leersynergie.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.