Compositionele tekst-naar-beeldgeneratie via regiobewuste bimodale directe preferentieoptimalisatie

Samenvatting

Ondanks de snelle vooruitgang van tekst-naar-beeld (T2I) modellen, blijft het genereren van afbeeldingen die complexe compositorische prompts (met inbegrip van attribuutbindingen, objectrelaties en tellen) nauwkeurig weergeven een uitdaging. Om dit aan te pakken introduceren wij BiDPO, een raamwerk om het vermogen van T2I-modellen voor compositorische tekst-naar-beeld generatie te verbeteren. We beginnen met het presenteren van een zorgvuldig ontworpen pijplijn om een grootschalige voorkeursdataset, BiComp, te construeren met strikte kwaliteitscontrole. Vervolgens breiden we Diffusion DPO uit om gezamenlijk afbeeldings- en tekstvoorkeuren te optimaliseren, wat zeer effectief blijkt te zijn in het verbeteren van de modellen om complexe tekstprompts te volgen bij generatie. Om de modellen verder te verbeteren voor fijnmazige afstemming, passen we een methode voor sturing op regioniveau toe om te focussen op regio's die relevant zijn voor compositorische concepten. Experimentele resultaten tonen aan dat onze BiDPO de compositorische getrouwheid aanzienlijk verbetert, en consequent beter presteert dan eerdere methoden over meerdere benchmarks. Onze aanpak benadrukt het potentieel van voorkeursgebaseerde fine-tuning voor complexe tekst-naar-beeld taken, en biedt een flexibel en schaalbaar alternatief voor bestaande technieken.

English

Despite the rapid progress of text-to-image (T2I) models, generating images that accurately reflect complex compositional prompts (covering attribute bindings, object relationships, counting) still remains challenging. To address this, we propose BiDPO, a framework to enhance T2I model's capability of compositional text-to-image generation. We begin by introducing an carefully designed pipeline to construct a large-scale preference dataset, BiComp, with strictly quality control. Then, we extend Diffusion DPO to jointly optimize image and text preferences, which is shown to greatly effective in improving the models to follow complex text prompt in generation. To further enhance the models for fine-grained alignment, we employ a region-level guidance method to focus on regions relevant to compositional concepts. Experimental results demonstrate that our BiDPO substantially improves compositional fidelity, consistently outperforming prior methods across multiple benchmarks. Our approach highlights the potential of preference-based fine-tuning for complex text-to-image tasks, offering a flexible and scalable alternative to existing techniques.