Масштабируемая оптимизация ранжированных предпочтений для генерации текста в изображения.

Scalable Ranked Preference Optimization for Text-to-Image Generation

October 23, 2024

Авторы: Shyamgopal Karthik, Huseyin Coskun, Zeynep Akata, Sergey Tulyakov, Jian Ren, Anil Kag

cs.AI

Аннотация

Оптимизация прямых предпочтений (Direct Preference Optimization, DPO) стала мощным подходом для согласования моделей текст-к-изображению (Text-to-Image, T2I) с обратной связью от людей. К сожалению, успешное применение DPO к моделям T2I требует огромных ресурсов для сбора и разметки масштабных наборов данных, например, миллионы созданных парных изображений с аннотациями человеческих предпочтений. Кроме того, эти наборы данных с предпочтениями людей могут быстро устареть из-за быстрого улучшения моделей T2I и повышения качества изображений. В данной работе мы исследуем масштабируемый подход к сбору масштабных и полностью синтетических наборов данных для обучения DPO. Конкретно, предпочтения для парных изображений генерируются с использованием заранее обученной функции вознаграждения, что исключает необходимость привлечения людей к процессу аннотации, значительно повышая эффективность сбора набора данных. Более того, мы демонстрируем, что такие наборы данных позволяют усреднять предсказания по нескольким моделям и собирать ранжированные предпочтения вместо попарных предпочтений. Кроме того, мы представляем RankDPO для улучшения методов на основе DPO с использованием обратной связи ранжирования. Применение RankDPO к моделям SDXL и SD3-Medium с нашим синтетически сгенерированным набором данных с предпочтениями "Syn-Pic" улучшает как следование инструкциям (на бенчмарках, таких как T2I-Compbench, GenEval и DPG-Bench), так и визуальное качество (через пользовательские исследования). Этот пайплайн представляет собой практичное и масштабируемое решение для разработки лучших наборов данных с предпочтениями для улучшения производительности моделей текст-к-изображению.

English

Direct Preference Optimization (DPO) has emerged as a powerful approach to align text-to-image (T2I) models with human feedback. Unfortunately, successful application of DPO to T2I models requires a huge amount of resources to collect and label large-scale datasets, e.g., millions of generated paired images annotated with human preferences. In addition, these human preference datasets can get outdated quickly as the rapid improvements of T2I models lead to higher quality images. In this work, we investigate a scalable approach for collecting large-scale and fully synthetic datasets for DPO training. Specifically, the preferences for paired images are generated using a pre-trained reward function, eliminating the need for involving humans in the annotation process, greatly improving the dataset collection efficiency. Moreover, we demonstrate that such datasets allow averaging predictions across multiple models and collecting ranked preferences as opposed to pairwise preferences. Furthermore, we introduce RankDPO to enhance DPO-based methods using the ranking feedback. Applying RankDPO on SDXL and SD3-Medium models with our synthetically generated preference dataset ``Syn-Pic'' improves both prompt-following (on benchmarks like T2I-Compbench, GenEval, and DPG-Bench) and visual quality (through user studies). This pipeline presents a practical and scalable solution to develop better preference datasets to enhance the performance of text-to-image models.