CoMat: Allineamento del Modello di Diffusione da Testo a Immagine con l'Abbinamento Concettuale da Immagine a Testo

CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching

April 4, 2024

Autori: Dongzhi Jiang, Guanglu Song, Xiaoshi Wu, Renrui Zhang, Dazhong Shen, Zhuofan Zong, Yu Liu, Hongsheng Li

cs.AI

Abstract

I modelli di diffusione hanno dimostrato un grande successo nel campo della generazione di immagini da testo. Tuttavia, mitigare il disallineamento tra i prompt testuali e le immagini rimane una sfida. La ragione fondamentale dietro questo disallineamento non è stata ampiamente investigata. Osserviamo che il disallineamento è causato da un'attivazione inadeguata dell'attenzione sui token. Attribuiamo ulteriormente questo fenomeno a un utilizzo insufficiente delle condizioni da parte del modello di diffusione, causato dal suo paradigma di addestramento. Per affrontare il problema, proponiamo CoMat, una strategia di fine-tuning end-to-end per modelli di diffusione con un meccanismo di corrispondenza concettuale da immagine a testo. Utilizziamo un modello di descrizione delle immagini per misurare l'allineamento immagine-testo e guidare il modello di diffusione a riesaminare i token ignorati. Viene inoltre proposto un modulo di concentrazione degli attributi per affrontare il problema del legame degli attributi. Senza utilizzare alcun dato di immagini o preferenze umane, utilizziamo solo 20K prompt testuali per eseguire il fine-tuning di SDXL e ottenere CoMat-SDXL. Esperimenti estensivi dimostrano che CoMat-SDXL supera significativamente il modello di riferimento SDXL in due benchmark di allineamento testo-immagine e raggiunge prestazioni all'avanguardia.

English

Diffusion models have demonstrated great success in the field of text-to-image generation. However, alleviating the misalignment between the text prompts and images is still challenging. The root reason behind the misalignment has not been extensively investigated. We observe that the misalignment is caused by inadequate token attention activation. We further attribute this phenomenon to the diffusion model's insufficient condition utilization, which is caused by its training paradigm. To address the issue, we propose CoMat, an end-to-end diffusion model fine-tuning strategy with an image-to-text concept matching mechanism. We leverage an image captioning model to measure image-to-text alignment and guide the diffusion model to revisit ignored tokens. A novel attribute concentration module is also proposed to address the attribute binding problem. Without any image or human preference data, we use only 20K text prompts to fine-tune SDXL to obtain CoMat-SDXL. Extensive experiments show that CoMat-SDXL significantly outperforms the baseline model SDXL in two text-to-image alignment benchmarks and achieves start-of-the-art performance.