Ottimizzazione scalabile delle preferenze classificate per la generazione di testo in immagini

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

Autori: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

Abstract

L'ottimizzazione diretta delle preferenze (DPO) è emersa come un approccio potente per allineare i modelli di testo-immagine (T2I) con il feedback umano. Purtroppo, il successo dell'applicazione del DPO ai modelli T2I richiede una grande quantità di risorse per raccogliere e etichettare dataset su larga scala, ad esempio milioni di immagini generate accoppiate annotate con preferenze umane. Inoltre, questi dataset di preferenze umane possono diventare rapidamente obsoleti poiché i miglioramenti rapidi dei modelli T2I portano a immagini di qualità superiore. In questo lavoro, indaghiamo un approccio scalabile per la raccolta di dataset completamente sintetici su larga scala per l'addestramento del DPO. In particolare, le preferenze per le immagini accoppiate vengono generate utilizzando una funzione di ricompensa preaddestrata, eliminando la necessità di coinvolgere esseri umani nel processo di annotazione, migliorando notevolmente l'efficienza nella raccolta dei dataset. Inoltre, dimostriamo che tali dataset consentono di mediare le previsioni tra più modelli e di raccogliere preferenze classificate anziché preferenze a coppie. Inoltre, introduciamo RankDPO per potenziare i metodi basati su DPO utilizzando il feedback di classificazione. Applicando RankDPO sui modelli SDXL e SD3-Medium con il nostro dataset di preferenze generato sinteticamente "Syn-Pic", miglioriamo sia il seguire le istruzioni (su benchmark come T2I-Compbench, GenEval e DPG-Bench) che la qualità visiva (attraverso studi utente). Questo processo presenta una soluzione pratica e scalabile per sviluppare migliori dataset di preferenze al fine di migliorare le prestazioni dei modelli di testo-immagine.

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.