PUMA: Усиление объединенной MLLM с многозернистой визуальной генерацией

PUMA: Empowering Unified MLLM with Multi-granular Visual Generation

October 17, 2024

Авторы: Rongyao Fang, Chengqi Duan, Kun Wang, Hao Li, Hao Tian, Xingyu Zeng, Rui Zhao, Jifeng Dai, Hongsheng Li, Xihui Liu

cs.AI

Аннотация

Недавние достижения в мультимодальных базовых моделях привели к значительному прогрессу в понимании визуальной и языковой информации. Первоначальные попытки также исследовали потенциал мультимодальных крупных языковых моделей (MLLM) для генерации визуального контента. Однако существующие работы недостаточно уделяли внимание различным требованиям к детализации различных задач по генерации изображений в рамках единой парадигмы MLLM - от разнообразия, необходимого для генерации текста в изображение, до точной управляемости, необходимой для манипулирования изображениями. В данной работе мы предлагаем PUMA, усовершенствование единой MLLM с мультигранулярной визуальной генерацией. PUMA объединяет мультигранулярные визуальные особенности как входы, так и выходы MLLM, элегантно решая различные требования к детализации различных задач по генерации изображений в рамках единой структуры MLLM. После мультимодального предварительного обучения и настройки инструкций для конкретных задач, PUMA демонстрирует профессионализм в широком спектре мультимодальных задач. Эта работа представляет собой значительный шаг к по-настоящему единой MLLM, способной адаптироваться к требованиям детализации различных визуальных задач. Код и модель будут опубликованы на https://github.com/rongyaofang/PUMA.

English

Recent advancements in multimodal foundation models have yielded significant progress in vision-language understanding. Initial attempts have also explored the potential of multimodal large language models (MLLMs) for visual content generation. However, existing works have insufficiently addressed the varying granularity demands of different image generation tasks within a unified MLLM paradigm - from the diversity required in text-to-image generation to the precise controllability needed in image manipulation. In this work, we propose PUMA, emPowering Unified MLLM with Multi-grAnular visual generation. PUMA unifies multi-granular visual features as both inputs and outputs of MLLMs, elegantly addressing the different granularity requirements of various image generation tasks within a unified MLLM framework. Following multimodal pretraining and task-specific instruction tuning, PUMA demonstrates proficiency in a wide range of multimodal tasks. This work represents a significant step towards a truly unified MLLM capable of adapting to the granularity demands of various visual tasks. The code and model will be released in https://github.com/rongyaofang/PUMA.