Генерация синтетических данных с несколькими изображениями для настройки текста на изображение

Generating Multi-Image Synthetic Data for Text-to-Image Customization

February 3, 2025

Авторы: Nupur Kumari, Xi Yin, Jun-Yan Zhu, Ishan Misra, Samaneh Azadi

cs.AI

Аннотация

Настройка моделей текст-в-изображение позволяет пользователям вставлять пользовательские концепции и генерировать эти концепции в невидимых сценариях. Существующие методы либо зависят от дорогостоящей оптимизации во время тестирования, либо обучают кодировщики на одиночных обучающих наборах данных изображений без мультиизображенческого надзора, что приводит к ухудшению качества изображения. Мы предлагаем простой подход, который решает обе ограничения. Сначала мы используем существующие модели текст-в-изображение и 3D наборы данных для создания высококачественного синтетического набора данных настройки (SynCD), состоящего из нескольких изображений одного объекта в различном освещении, фонах и позах. Затем мы предлагаем новую архитектуру кодировщика на основе механизмов общего внимания, которая лучше интегрирует мелкие визуальные детали из входных изображений. Наконец, мы предлагаем новый метод вывода, который смягчает проблемы переэкспозиции во время вывода путем нормализации векторов руководства текстом и изображением. Через обширные эксперименты мы показываем, что наша модель, обученная на синтетическом наборе данных с предложенным кодировщиком и алгоритмом вывода, превосходит существующие методы на стандартных бенчмарках настройки.

English

Customization of text-to-image models enables users to insert custom concepts and generate the concepts in unseen settings. Existing methods either rely on costly test-time optimization or train encoders on single-image training datasets without multi-image supervision, leading to worse image quality. We propose a simple approach that addresses both limitations. We first leverage existing text-to-image models and 3D datasets to create a high-quality Synthetic Customization Dataset (SynCD) consisting of multiple images of the same object in different lighting, backgrounds, and poses. We then propose a new encoder architecture based on shared attention mechanisms that better incorporate fine-grained visual details from input images. Finally, we propose a new inference technique that mitigates overexposure issues during inference by normalizing the text and image guidance vectors. Through extensive experiments, we show that our model, trained on the synthetic dataset with the proposed encoder and inference algorithm, outperforms existing tuning-free methods on standard customization benchmarks.