DreamLLM: Comprensione e Creazione Multimodale Sinergica

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Autori: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Abstract

Questo articolo presenta DreamLLM, un framework di apprendimento che per la prima volta realizza Modelli Linguistici Multimodali di Grande Scala (MLLM) versatili, potenziati dalla sinergia spesso trascurata tra comprensione e creazione multimodale. DreamLLM si basa su due principi fondamentali. Il primo si concentra sulla modellazione generativa delle posteriori sia linguistiche che visive attraverso il campionamento diretto nello spazio multimodale grezzo. Questo approccio supera le limitazioni e la perdita di informazioni intrinseche agli estrattori di caratteristiche esterni come CLIP, ottenendo una comprensione multimodale più approfondita. In secondo luogo, DreamLLM favorisce la generazione di documenti grezzi e intervallati, modellando sia i contenuti testuali che visivi, insieme a layout non strutturati. Ciò consente a DreamLLM di apprendere efficacemente tutte le distribuzioni multimodali condizionali, marginali e congiunte. Di conseguenza, DreamLLM è il primo MLLM in grado di generare contenuti intervallati in forma libera. Esperimenti completi evidenziano le prestazioni superiori di DreamLLM come generalista multimodale zero-shot, beneficiando della sinergia di apprendimento potenziata.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.