DreamLLM: Синергетическое мультимодальное понимание и создание

DreamLLM: Synergistic Multimodal Comprehension and Creation

September 20, 2023

Авторы: Runpei Dong, Chunrui Han, Yuang Peng, Zekun Qi, Zheng Ge, Jinrong Yang, Liang Zhao, Jianjian Sun, Hongyu Zhou, Haoran Wei, Xiangwen Kong, Xiangyu Zhang, Kaisheng Ma, Li Yi

cs.AI

Аннотация

В данной статье представлен DreamLLM — обучающий фреймворк, который впервые реализует универсальные мультимодальные большие языковые модели (MLLM), усиленные часто упускаемой синергией между пониманием и созданием мультимодальных данных. DreamLLM основывается на двух фундаментальных принципах. Первый принцип сосредоточен на генеративном моделировании апостериорных распределений как для языка, так и для изображений путем прямого сэмплирования в исходном мультимодальном пространстве. Этот подход позволяет обойти ограничения и потери информации, присущие внешним экстракторам признаков, таким как CLIP, и обеспечивает более глубокое мультимодальное понимание. Второй принцип заключается в стимулировании генерации исходных, переплетенных документов, моделирующих как текстовые, так и графические элементы, а также неструктурированные макеты. Это позволяет DreamLLM эффективно изучать все условные, маргинальные и совместные мультимодальные распределения. В результате DreamLLM становится первой MLLM, способной генерировать свободно переплетенный контент. Комплексные эксперименты демонстрируют превосходную производительность DreamLLM в качестве мультимодального универсала с нулевым обучением, что достигается благодаря усиленной синергии обучения.

English

This paper presents DreamLLM, a learning framework that first achieves versatile Multimodal Large Language Models (MLLMs) empowered with frequently overlooked synergy between multimodal comprehension and creation. DreamLLM operates on two fundamental principles. The first focuses on the generative modeling of both language and image posteriors by direct sampling in the raw multimodal space. This approach circumvents the limitations and information loss inherent to external feature extractors like CLIP, and a more thorough multimodal understanding is obtained. Second, DreamLLM fosters the generation of raw, interleaved documents, modeling both text and image contents, along with unstructured layouts. This allows DreamLLM to learn all conditional, marginal, and joint multimodal distributions effectively. As a result, DreamLLM is the first MLLM capable of generating free-form interleaved content. Comprehensive experiments highlight DreamLLM's superior performance as a zero-shot multimodal generalist, reaping from the enhanced learning synergy.