Kompositionelle Text-zu-Bild-Generierung mittels regionsbewusster bimodaler direkter Präferenzoptimierung

Zusammenfassung

Trotz der rasanten Fortschritte bei Text-zu-Bild-Modellen (T2I-Modellen) bleibt die Erzeugung von Bildern, die komplexe kompositionelle Promptvorgaben (Attributbindungen, Objektbeziehungen, Zählen) präzise widerspiegeln, eine Herausforderung. Um dem zu begegnen, schlagen wir BiDPO vor, ein Framework zur Verbesserung der Fähigkeit von T2I-Modellen zur kompositionellen Text-zu-Bild-Generierung. Zunächst stellen wir eine sorgfältig entwickelte Pipeline zur Konstruktion eines großen Präferenzdatensatzes, BiComp, mit strenger Qualitätskontrolle vor. Anschließend erweitern wir Diffusion DPO, um Bild- und Textpräferenzen gemeinsam zu optimieren, was sich als äußerst effektiv erweist, um die Modelle zu verbessern, komplexe Textvorgaben bei der Generierung zu befolgen. Zur weiteren Verbesserung der feinkörnigen Ausrichtung wenden wir eine regionsbezogene Steuerungsmethode an, die sich auf für kompositionelle Konzepte relevante Bereiche konzentriert. Experimentelle Ergebnisse zeigen, dass unser BiDPO die kompositionelle Treue wesentlich verbessert und auf mehreren Benchmarks konsistent bessere Ergebnisse als frühere Methoden erzielt. Unser Ansatz unterstreicht das Potenzial präferenzbasierter Feinabstimmung für komplexe Text-zu-Bild-Aufgaben und bietet eine flexible und skalierbare Alternative zu bestehenden Techniken.

English

Despite the rapid progress of text-to-image (T2I) models, generating images that accurately reflect complex compositional prompts (covering attribute bindings, object relationships, counting) still remains challenging. To address this, we propose BiDPO, a framework to enhance T2I model's capability of compositional text-to-image generation. We begin by introducing an carefully designed pipeline to construct a large-scale preference dataset, BiComp, with strictly quality control. Then, we extend Diffusion DPO to jointly optimize image and text preferences, which is shown to greatly effective in improving the models to follow complex text prompt in generation. To further enhance the models for fine-grained alignment, we employ a region-level guidance method to focus on regions relevant to compositional concepts. Experimental results demonstrate that our BiDPO substantially improves compositional fidelity, consistently outperforming prior methods across multiple benchmarks. Our approach highlights the potential of preference-based fine-tuning for complex text-to-image tasks, offering a flexible and scalable alternative to existing techniques.