DreamLLM: Comprensión y Creación Multimodal Sinérgica

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Autores: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Resumen

Este artículo presenta DreamLLM, un marco de aprendizaje que logra por primera vez Modelos de Lenguaje Multimodales (MLLMs) versátiles potenciados por la sinergia, frecuentemente pasada por alto, entre la comprensión y la creación multimodal. DreamLLM opera bajo dos principios fundamentales. El primero se centra en el modelado generativo de las distribuciones posteriores tanto del lenguaje como de las imágenes mediante muestreo directo en el espacio multimodal en bruto. Este enfoque evita las limitaciones y la pérdida de información inherentes a los extractores de características externos como CLIP, obteniendo así una comprensión multimodal más profunda. En segundo lugar, DreamLLM fomenta la generación de documentos intercalados en bruto, modelando tanto el contenido de texto como de imágenes, junto con diseños no estructurados. Esto permite que DreamLLM aprenda de manera efectiva todas las distribuciones multimodales condicionales, marginales y conjuntas. Como resultado, DreamLLM es el primer MLLM capaz de generar contenido intercalado de forma libre. Experimentos exhaustivos destacan el rendimiento superior de DreamLLM como un generalista multimodal de cero-shot, beneficiándose de la sinergia de aprendizaje mejorada.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.