CoMat: Alinhando Modelos de Difusão Texto-para-Imagem com Correspondência de Conceitos Imagem-para-Texto

CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching

April 4, 2024

Autores: Dongzhi Jiang, Guanglu Song, Xiaoshi Wu, Renrui Zhang, Dazhong Shen, Zhuofan Zong, Yu Liu, Hongsheng Li

cs.AI

Resumo

Os modelos de difusão têm demonstrado grande sucesso no campo de geração de texto para imagem. No entanto, mitigar o desalinhamento entre os prompts de texto e as imagens ainda é um desafio. A razão fundamental por trás desse desalinhamento não foi extensivamente investigada. Observamos que o desalinhamento é causado por uma ativação inadequada da atenção aos tokens. Atribuímos ainda esse fenômeno à utilização insuficiente da condição pelo modelo de difusão, que é causada por seu paradigma de treinamento. Para resolver o problema, propomos o CoMat, uma estratégia de ajuste fino de modelo de difusão de ponta a ponta com um mecanismo de correspondência de conceitos de imagem para texto. Utilizamos um modelo de legendagem de imagens para medir o alinhamento imagem-texto e guiar o modelo de difusão a revisitar tokens ignorados. Um módulo inovador de concentração de atributos também é proposto para abordar o problema de vinculação de atributos. Sem utilizar dados de imagens ou preferências humanas, usamos apenas 20 mil prompts de texto para ajustar o SDXL e obter o CoMat-SDXL. Experimentos extensivos mostram que o CoMat-SDXL supera significativamente o modelo de referência SDXL em dois benchmarks de alinhamento texto-imagem e alcança desempenho de ponta.

English

Diffusion models have demonstrated great success in the field of text-to-image generation. However, alleviating the misalignment between the text prompts and images is still challenging. The root reason behind the misalignment has not been extensively investigated. We observe that the misalignment is caused by inadequate token attention activation. We further attribute this phenomenon to the diffusion model's insufficient condition utilization, which is caused by its training paradigm. To address the issue, we propose CoMat, an end-to-end diffusion model fine-tuning strategy with an image-to-text concept matching mechanism. We leverage an image captioning model to measure image-to-text alignment and guide the diffusion model to revisit ignored tokens. A novel attribute concentration module is also proposed to address the attribute binding problem. Without any image or human preference data, we use only 20K text prompts to fine-tune SDXL to obtain CoMat-SDXL. Extensive experiments show that CoMat-SDXL significantly outperforms the baseline model SDXL in two text-to-image alignment benchmarks and achieves start-of-the-art performance.