Subject-Diffusion: Генерация персонализированных изображений по тексту в открытой области без тонкой настройки во время тестирования

Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning

July 21, 2023

Авторы: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu

cs.AI

Аннотация

Последние достижения в области персонализированной генерации изображений с использованием диффузионных моделей были значительными. Однако развитие в области открытой и не требующей тонкой настройки персонализированной генерации изображений продвигается довольно медленно. В данной статье мы предлагаем Subject-Diffusion — новую модель персонализированной генерации изображений в открытой области, которая, помимо отсутствия необходимости тонкой настройки во время тестирования, также требует всего одного эталонного изображения для поддержки персонализированной генерации одного или нескольких объектов в любой области. Во-первых, мы создаем автоматизированный инструмент для разметки данных и используем набор данных LAION-Aesthetics для построения крупномасштабного набора данных, состоящего из 76 миллионов изображений и соответствующих им ограничивающих рамок для обнаружения объектов, масок сегментации и текстовых описаний. Во-вторых, мы разрабатываем новую унифицированную архитектуру, которая объединяет текстовую и визуальную семантику, включая грубое позиционирование и детализированное управление эталонным изображением для максимизации точности воспроизведения объекта и обобщаемости. Кроме того, мы также применяем механизм управления вниманием для поддержки генерации нескольких объектов. Обширные качественные и количественные результаты демонстрируют, что наш метод превосходит другие современные (SOTA) подходы в генерации одиночных, множественных и персонализированных изображений людей. Подробнее см. на нашей [странице проекта](https://oppo-mente-lab.github.io/subject_diffusion/).

English

Recent progress in personalized image generation using diffusion models has been significant. However, development in the area of open-domain and non-fine-tuning personalized image generation is proceeding rather slowly. In this paper, we propose Subject-Diffusion, a novel open-domain personalized image generation model that, in addition to not requiring test-time fine-tuning, also only requires a single reference image to support personalized generation of single- or multi-subject in any domain. Firstly, we construct an automatic data labeling tool and use the LAION-Aesthetics dataset to construct a large-scale dataset consisting of 76M images and their corresponding subject detection bounding boxes, segmentation masks and text descriptions. Secondly, we design a new unified framework that combines text and image semantics by incorporating coarse location and fine-grained reference image control to maximize subject fidelity and generalization. Furthermore, we also adopt an attention control mechanism to support multi-subject generation. Extensive qualitative and quantitative results demonstrate that our method outperforms other SOTA frameworks in single, multiple, and human customized image generation. Please refer to our https://oppo-mente-lab.github.io/subject_diffusion/{project page}