Génération compositionnelle d'image à partir de texte via l'optimisation préférentielle directe bimodale région-aware

Résumé

Malgré les progrès rapides des modèles texte-image (T2I), la génération d'images qui reflètent avec précision des invites compositionnelles complexes (couvrant les liens d'attributs, les relations entre objets et le comptage) reste difficile. Pour y remédier, nous proposons BiDPO, un cadre visant à améliorer la capacité des modèles T2I pour la génération compositionnelle texte-image. Nous commençons par introduire un pipeline soigneusement conçu pour construire un ensemble de données de préférences à grande échelle, BiComp, avec un contrôle de qualité strict. Ensuite, nous étendons Diffusion DPO pour optimiser conjointement les préférences d'image et de texte, ce qui s'avère très efficace pour améliorer la capacité des modèles à suivre des invites textuelles complexes lors de la génération. Pour renforcer davantage l'alignement fin des modèles, nous employons une méthode de guidage au niveau des régions afin de se concentrer sur les zones pertinentes pour les concepts compositionnels. Les résultats expérimentaux montrent que notre BiDPO améliore substantiellement la fidélité compositionnelle, surpassant systématiquement les méthodes antérieures sur plusieurs références. Notre approche souligne le potentiel du réglage fin basé sur les préférences pour les tâches complexes de génération texte-image, offrant une alternative flexible et évolutive aux techniques existantes.

English

Despite the rapid progress of text-to-image (T2I) models, generating images that accurately reflect complex compositional prompts (covering attribute bindings, object relationships, counting) still remains challenging. To address this, we propose BiDPO, a framework to enhance T2I model's capability of compositional text-to-image generation. We begin by introducing an carefully designed pipeline to construct a large-scale preference dataset, BiComp, with strictly quality control. Then, we extend Diffusion DPO to jointly optimize image and text preferences, which is shown to greatly effective in improving the models to follow complex text prompt in generation. To further enhance the models for fine-grained alignment, we employ a region-level guidance method to focus on regions relevant to compositional concepts. Experimental results demonstrate that our BiDPO substantially improves compositional fidelity, consistently outperforming prior methods across multiple benchmarks. Our approach highlights the potential of preference-based fine-tuning for complex text-to-image tasks, offering a flexible and scalable alternative to existing techniques.