CoMat: Согласование модели диффузии текста в изображение с соответствием концепции изображение в текст.

CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching

April 4, 2024

Авторы: Dongzhi Jiang, Guanglu Song, Xiaoshi Wu, Renrui Zhang, Dazhong Shen, Zhuofan Zong, Yu Liu, Hongsheng Li

cs.AI

Аннотация

Модели диффузии продемонстрировали большой успех в области генерации текста по изображению. Однако уменьшение несоответствия между текстовыми подсказками и изображениями по-прежнему представляет собой сложную задачу. Коренная причина этого несоответствия не была достаточно изучена. Мы замечаем, что несоответствие вызвано недостаточной активацией внимания к токенам. Мы далее приписываем это явление недостаточному использованию условий модели диффузии, вызванному ее парадигмой обучения. Для решения проблемы мы предлагаем CoMat, стратегию донастройки модели диффузии "end-to-end" с механизмом сопоставления концепций изображения и текста. Мы используем модель подписывания изображений для измерения соответствия изображения и текста и направляем модель диффузии на пересмотр игнорируемых токенов. Также предлагается новый модуль концентрации атрибутов для решения проблемы привязки атрибутов. Без каких-либо данных об изображениях или предпочтениях людей мы используем только 20 тыс. текстовых подсказок для донастройки SDXL и получаем CoMat-SDXL. Обширные эксперименты показывают, что CoMat-SDXL значительно превосходит базовую модель SDXL на двух бенчмарках выравнивания текста и изображения и достигает передовых показателей.

English

Diffusion models have demonstrated great success in the field of text-to-image generation. However, alleviating the misalignment between the text prompts and images is still challenging. The root reason behind the misalignment has not been extensively investigated. We observe that the misalignment is caused by inadequate token attention activation. We further attribute this phenomenon to the diffusion model's insufficient condition utilization, which is caused by its training paradigm. To address the issue, we propose CoMat, an end-to-end diffusion model fine-tuning strategy with an image-to-text concept matching mechanism. We leverage an image captioning model to measure image-to-text alignment and guide the diffusion model to revisit ignored tokens. A novel attribute concentration module is also proposed to address the attribute binding problem. Without any image or human preference data, we use only 20K text prompts to fine-tune SDXL to obtain CoMat-SDXL. Extensive experiments show that CoMat-SDXL significantly outperforms the baseline model SDXL in two text-to-image alignment benchmarks and achieves start-of-the-art performance.