Композиционная генерация изображений по тексту посредством регионально-ориентированной бимодальной прямой оптимизации предпочтений

Аннотация

Несмотря на быстрый прогресс моделей типа «текст-в-изображение» (T2I), создание изображений, точно отражающих сложные композиционные промпты (включая привязку атрибутов, отношения объектов, счет), по-прежнему остается сложной задачей. Для решения этой проблемы мы предлагаем BiDPO — фреймворк, повышающий способность T2I-моделей к композиционной генерации изображений. Мы начинаем с внедрения тщательно разработанного конвейера для создания крупномасштабного набора данных предпочтений BiComp со строгим контролем качества. Затем мы расширяем Diffusion DPO для совместной оптимизации предпочтений изображений и текста, что, как показано, весьма эффективно для улучшения способности моделей следовать сложным текстовым промптам при генерации. Для дальнейшего улучшения тонко-зернистого согласования моделей мы применяем метод направляющих на уровне регионов, фокусируясь на областях, релевантных композиционным концепциям. Экспериментальные результаты демонстрируют, что наш BiDPO существенно повышает композиционную точность, стабильно превосходя предыдущие методы по нескольким бенчмаркам. Наш подход подчеркивает потенциал тонкой настройки на основе предпочтений для сложных задач преобразования текста в изображение, предлагая гибкую и масштабируемую альтернативу существующим методам.

English

Despite the rapid progress of text-to-image (T2I) models, generating images that accurately reflect complex compositional prompts (covering attribute bindings, object relationships, counting) still remains challenging. To address this, we propose BiDPO, a framework to enhance T2I model's capability of compositional text-to-image generation. We begin by introducing an carefully designed pipeline to construct a large-scale preference dataset, BiComp, with strictly quality control. Then, we extend Diffusion DPO to jointly optimize image and text preferences, which is shown to greatly effective in improving the models to follow complex text prompt in generation. To further enhance the models for fine-grained alignment, we employ a region-level guidance method to focus on regions relevant to compositional concepts. Experimental results demonstrate that our BiDPO substantially improves compositional fidelity, consistently outperforming prior methods across multiple benchmarks. Our approach highlights the potential of preference-based fine-tuning for complex text-to-image tasks, offering a flexible and scalable alternative to existing techniques.