DreamLLM: Synergetisches multimodales Verständnis und Erschaffen

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Autoren: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Zusammenfassung

Dieses Paper stellt DreamLLM vor, ein Lernframework, das erstmals vielseitige Multimodale Große Sprachmodelle (MLLMs) ermöglicht, die durch die häufig übersehene Synergie zwischen multimodalem Verständnis und Erstellung gestärkt werden. DreamLLM basiert auf zwei grundlegenden Prinzipien. Das erste konzentriert sich auf die generative Modellierung sowohl der Sprach- als auch der Bildposteriors durch direktes Sampling im rohen multimodalen Raum. Dieser Ansatz umgeht die Einschränkungen und den Informationsverlust, die mit externen Feature-Extraktoren wie CLIP einhergehen, und ermöglicht ein umfassenderes multimodales Verständnis. Zweitens fördert DreamLLM die Erstellung von rohen, verschachtelten Dokumenten, die sowohl Text- als auch Bildinhalte sowie unstrukturierte Layouts modellieren. Dadurch kann DreamLLM alle bedingten, marginalen und gemeinsamen multimodalen Verteilungen effektiv lernen. Als Ergebnis ist DreamLLM das erste MLLM, das in der Lage ist, frei formulierten, verschachtelten Inhalt zu generieren. Umfassende Experimente unterstreichen die überlegene Leistung von DreamLLM als Zero-Shot-Multimodal-Generalist, der von der verbesserten Lernsynergie profitiert.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.