DreamLLM : Compréhension et création multimodales synergiques

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Auteurs: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Résumé

Cet article présente DreamLLM, un cadre d'apprentissage qui réalise pour la première fois des modèles de langage multimodaux (MLLMs) polyvalents, renforcés par la synergie souvent négligée entre la compréhension et la création multimodales. DreamLLM repose sur deux principes fondamentaux. Le premier se concentre sur la modélisation générative des distributions a posteriori du langage et des images par échantillonnage direct dans l'espace multimodal brut. Cette approche contourne les limitations et la perte d'information inhérentes aux extracteurs de caractéristiques externes comme CLIP, permettant ainsi une compréhension multimodale plus approfondie. Deuxièmement, DreamLLM favorise la génération de documents bruts entrelacés, modélisant à la fois les contenus textuels et visuels, ainsi que les mises en page non structurées. Cela permet à DreamLLM d'apprendre efficacement toutes les distributions multimodales conditionnelles, marginales et conjointes. En conséquence, DreamLLM est le premier MLLM capable de générer du contenu entrelacé libre. Des expériences approfondies mettent en évidence les performances supérieures de DreamLLM en tant que généraliste multimodal zero-shot, bénéficiant de la synergie d'apprentissage améliorée.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.