PUMA: Capacitando MLLM Unificado com Geração Visual Multigranular

PUMA: Empowering Unified MLLM with Multi-granular Visual Generation

October 17, 2024

Autores: Rongyao Fang, Chengqi Duan, Kun Wang, Hao Li, Hao Tian, Xingyu Zeng, Rui Zhao, Jifeng Dai, Hongsheng Li, Xihui Liu

cs.AI

Resumo

Os avanços recentes em modelos de base multimodal têm proporcionado progressos significativos na compreensão visão-linguagem. Tentativas iniciais também exploraram o potencial de grandes modelos de linguagem multimodais (MLLMs) para geração de conteúdo visual. No entanto, trabalhos existentes abordaram de forma insuficiente as diferentes demandas de granularidade de tarefas de geração de imagem dentro de um paradigma unificado MLLM - desde a diversidade necessária na geração de texto para imagem até a precisão controlável necessária na manipulação de imagem. Neste trabalho, propomos PUMA, emPowering Unified MLLM with Multi-grAnular visual generation. PUMA unifica características visuais multi-granulares como entradas e saídas dos MLLMs, abordando de forma elegante os diferentes requisitos de granularidade de várias tarefas de geração de imagem dentro de um framework MLLM unificado. Após o pré-treinamento multimodal e ajuste de instruções específicas da tarefa, PUMA demonstra proficiência em uma ampla gama de tarefas multimodais. Este trabalho representa um passo significativo em direção a um MLLM verdadeiramente unificado capaz de se adaptar às demandas de granularidade de várias tarefas visuais. O código e o modelo serão disponibilizados em https://github.com/rongyaofang/PUMA.

English

Recent advancements in multimodal foundation models have yielded significant progress in vision-language understanding. Initial attempts have also explored the potential of multimodal large language models (MLLMs) for visual content generation. However, existing works have insufficiently addressed the varying granularity demands of different image generation tasks within a unified MLLM paradigm - from the diversity required in text-to-image generation to the precise controllability needed in image manipulation. In this work, we propose PUMA, emPowering Unified MLLM with Multi-grAnular visual generation. PUMA unifies multi-granular visual features as both inputs and outputs of MLLMs, elegantly addressing the different granularity requirements of various image generation tasks within a unified MLLM framework. Following multimodal pretraining and task-specific instruction tuning, PUMA demonstrates proficiency in a wide range of multimodal tasks. This work represents a significant step towards a truly unified MLLM capable of adapting to the granularity demands of various visual tasks. The code and model will be released in https://github.com/rongyaofang/PUMA.