DreamLLM: Compreensão e Criação Multimodal Sinérgica

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Autores: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Resumo

Este artigo apresenta o DreamLLM, um framework de aprendizado que, pela primeira vez, alcança Modelos de Linguagem Multimodais de Grande Escala (MLLMs) versáteis, capacitados pela sinergia frequentemente negligenciada entre compreensão e criação multimodal. O DreamLLM opera com base em dois princípios fundamentais. O primeiro concentra-se na modelagem generativa das posteriores de linguagem e imagem por meio de amostragem direta no espaço multimodal bruto. Essa abordagem contorna as limitações e a perda de informação inerentes aos extratores de características externos, como o CLIP, obtendo-se uma compreensão multimodal mais abrangente. Em segundo lugar, o DreamLLM promove a geração de documentos brutos e intercalados, modelando tanto conteúdos de texto quanto de imagem, juntamente com layouts não estruturados. Isso permite que o DreamLLM aprenda todas as distribuições multimodais condicionais, marginais e conjuntas de forma eficaz. Como resultado, o DreamLLM é o primeiro MLLM capaz de gerar conteúdo intercalado de forma livre. Experimentos abrangentes destacam o desempenho superior do DreamLLM como um generalista multimodal de zero-shot, beneficiando-se da sinergia de aprendizado aprimorada.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.