CoMat: Afstemming van Text-to-Image Diffusiemodel met Image-to-Text Concept Matching

CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching

April 4, 2024

Auteurs: Dongzhi Jiang, Guanglu Song, Xiaoshi Wu, Renrui Zhang, Dazhong Shen, Zhuofan Zong, Yu Liu, Hongsheng Li

cs.AI

Samenvatting

Diffusiemodellen hebben grote successen geboekt op het gebied van tekst-naar-beeldgeneratie. Het verminderen van de misalignering tussen tekstprompts en afbeeldingen blijft echter een uitdaging. De onderliggende reden voor deze misalignering is nog niet uitgebreid onderzocht. Wij observeren dat de misalignering wordt veroorzaakt door onvoldoende activatie van token-attentie. Wij schrijven dit fenomeen verder toe aan de onvoldoende benutting van condities door het diffusiemodel, wat wordt veroorzaakt door het trainingsparadigma. Om dit probleem aan te pakken, stellen wij CoMat voor, een end-to-end fine-tuningstrategie voor diffusiemodellen met een beeld-naar-tekst concept matching-mechanisme. Wij maken gebruik van een beeldbeschrijvingsmodel om de alignering tussen beeld en tekst te meten en het diffusiemodel te begeleiden om genegeerde tokens opnieuw te bekijken. Een nieuw attribuutconcentratiemodule wordt ook voorgesteld om het attribuutbindingsprobleem aan te pakken. Zonder enige afbeeldingen of gegevens over menselijke voorkeuren, gebruiken wij slechts 20K tekstprompts om SDXL te fine-tunen om CoMat-SDXL te verkrijgen. Uitgebreide experimenten tonen aan dat CoMat-SDXL de baseline-model SDXL aanzienlijk overtreft in twee tekst-naar-beeld aligneringsbenchmarks en state-of-the-art prestaties bereikt.

English

Diffusion models have demonstrated great success in the field of text-to-image generation. However, alleviating the misalignment between the text prompts and images is still challenging. The root reason behind the misalignment has not been extensively investigated. We observe that the misalignment is caused by inadequate token attention activation. We further attribute this phenomenon to the diffusion model's insufficient condition utilization, which is caused by its training paradigm. To address the issue, we propose CoMat, an end-to-end diffusion model fine-tuning strategy with an image-to-text concept matching mechanism. We leverage an image captioning model to measure image-to-text alignment and guide the diffusion model to revisit ignored tokens. A novel attribute concentration module is also proposed to address the attribute binding problem. Without any image or human preference data, we use only 20K text prompts to fine-tune SDXL to obtain CoMat-SDXL. Extensive experiments show that CoMat-SDXL significantly outperforms the baseline model SDXL in two text-to-image alignment benchmarks and achieves start-of-the-art performance.