CoMat: Ausrichtung des Text-zu-Bild-Diffusionsmodells mit dem Bild-zu-Text-Konzeptabgleich

CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching

April 4, 2024

Autoren: Dongzhi Jiang, Guanglu Song, Xiaoshi Wu, Renrui Zhang, Dazhong Shen, Zhuofan Zong, Yu Liu, Hongsheng Li

cs.AI

Zusammenfassung

Diffusionsmodelle haben sich im Bereich der Text-zu-Bild-Generierung als äußerst erfolgreich erwiesen. Dennoch bleibt die Beseitigung der Diskrepanz zwischen den Textvorgaben und Bildern eine Herausforderung. Die eigentliche Ursache für diese Diskrepanz wurde bisher nicht umfassend untersucht. Wir stellen fest, dass die Diskrepanz durch unzureichende Token-Aufmerksamkeitsaktivierung verursacht wird. Dieses Phänomen führen wir weiter auf die unzureichende Bedingungsnutzung des Diffusionsmodells zurück, die durch sein Trainingsparadigma verursacht wird. Um das Problem anzugehen, schlagen wir CoMat vor, eine End-to-End-Strategie zur Feinabstimmung von Diffusionsmodellen mit einem Mechanismus zur Bild-zu-Text-Konzeptübereinstimmung. Wir nutzen ein Bildunterschriftenmodell, um die Bild-zu-Text-Ausrichtung zu messen und das Diffusionsmodell anzuleiten, ignorierte Token erneut zu betrachten. Darüber hinaus wird ein neuartiges Attributkonzentrationsmodul vorgeschlagen, um das Attributbindungsproblem zu lösen. Ohne Bild- oder menschliche Präferenzdaten verwenden wir nur 20.000 Textvorgaben, um SDXL zu feinabstimmen und CoMat-SDXL zu erhalten. Umfangreiche Experimente zeigen, dass CoMat-SDXL in zwei Text-zu-Bild-Ausrichtungsbenchmarks signifikant besser abschneidet als das Basismodell SDXL und eine Spitzenleistung erzielt.

English

Diffusion models have demonstrated great success in the field of text-to-image generation. However, alleviating the misalignment between the text prompts and images is still challenging. The root reason behind the misalignment has not been extensively investigated. We observe that the misalignment is caused by inadequate token attention activation. We further attribute this phenomenon to the diffusion model's insufficient condition utilization, which is caused by its training paradigm. To address the issue, we propose CoMat, an end-to-end diffusion model fine-tuning strategy with an image-to-text concept matching mechanism. We leverage an image captioning model to measure image-to-text alignment and guide the diffusion model to revisit ignored tokens. A novel attribute concentration module is also proposed to address the attribute binding problem. Without any image or human preference data, we use only 20K text prompts to fine-tune SDXL to obtain CoMat-SDXL. Extensive experiments show that CoMat-SDXL significantly outperforms the baseline model SDXL in two text-to-image alignment benchmarks and achieves start-of-the-art performance.