CoMat : Alignement des modèles de diffusion texte-image avec la correspondance conceptuelle image-texte

CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching

April 4, 2024

Auteurs: Dongzhi Jiang, Guanglu Song, Xiaoshi Wu, Renrui Zhang, Dazhong Shen, Zhuofan Zong, Yu Liu, Hongsheng Li

cs.AI

Résumé

Les modèles de diffusion ont démontré un grand succès dans le domaine de la génération d'images à partir de texte. Cependant, atténuer le désalignement entre les invites textuelles et les images reste un défi. La raison fondamentale derrière ce désalignement n'a pas été largement étudiée. Nous observons que ce désalignement est causé par une activation insuffisante de l'attention des tokens. Nous attribuons ce phénomène à une utilisation inadéquate des conditions par le modèle de diffusion, résultant de son paradigme d'entraînement. Pour résoudre ce problème, nous proposons CoMat, une stratégie de fine-tuning de modèle de diffusion de bout en bout avec un mécanisme de correspondance conceptuelle image-texte. Nous utilisons un modèle de génération de légendes d'images pour mesurer l'alignement image-texte et guider le modèle de diffusion à revisiter les tokens ignorés. Un module de concentration d'attributs est également proposé pour résoudre le problème de liaison des attributs. Sans aucune donnée d'image ou de préférence humaine, nous utilisons seulement 20 000 invites textuelles pour fine-tuner SDXL et obtenir CoMat-SDXL. Des expériences approfondies montrent que CoMat-SDXL surpasse significativement le modèle de référence SDXL dans deux benchmarks d'alignement texte-image et atteint des performances de pointe.

English

Diffusion models have demonstrated great success in the field of text-to-image generation. However, alleviating the misalignment between the text prompts and images is still challenging. The root reason behind the misalignment has not been extensively investigated. We observe that the misalignment is caused by inadequate token attention activation. We further attribute this phenomenon to the diffusion model's insufficient condition utilization, which is caused by its training paradigm. To address the issue, we propose CoMat, an end-to-end diffusion model fine-tuning strategy with an image-to-text concept matching mechanism. We leverage an image captioning model to measure image-to-text alignment and guide the diffusion model to revisit ignored tokens. A novel attribute concentration module is also proposed to address the attribute binding problem. Without any image or human preference data, we use only 20K text prompts to fine-tune SDXL to obtain CoMat-SDXL. Extensive experiments show that CoMat-SDXL significantly outperforms the baseline model SDXL in two text-to-image alignment benchmarks and achieves start-of-the-art performance.