Subject-Diffusion: Geração de Imagens Personalizadas de Texto para Imagem em Domínio Aberto sem Ajuste Fino em Tempo de Teste
Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning
July 21, 2023
Autores: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu
cs.AI
Resumo
Os avanços recentes na geração personalizada de imagens utilizando modelos de difusão têm sido significativos. No entanto, o desenvolvimento na área de geração de imagens personalizadas em domínio aberto e sem ajuste fino está progredindo de forma bastante lenta. Neste artigo, propomos o Subject-Diffusion, um novo modelo de geração de imagens personalizadas em domínio aberto que, além de não exigir ajuste fino durante o teste, também requer apenas uma única imagem de referência para suportar a geração personalizada de um ou múltiplos sujeitos em qualquer domínio. Primeiramente, construímos uma ferramenta automática de rotulagem de dados e utilizamos o conjunto de dados LAION-Aesthetics para criar um grande conjunto de dados composto por 76 milhões de imagens e suas respectivas caixas delimitadoras de detecção de sujeitos, máscaras de segmentação e descrições textuais. Em segundo lugar, projetamos uma nova estrutura unificada que combina a semântica de texto e imagem, incorporando controle de localização aproximada e controle de imagem de referência em nível granular para maximizar a fidelidade e a generalização do sujeito. Além disso, também adotamos um mecanismo de controle de atenção para suportar a geração de múltiplos sujeitos. Resultados qualitativos e quantitativos extensivos demonstram que nosso método supera outras estruturas SOTA na geração de imagens personalizadas de único, múltiplos e humanos. Consulte nossa {página do projeto} em https://oppo-mente-lab.github.io/subject_diffusion/.
English
Recent progress in personalized image generation using diffusion models has
been significant. However, development in the area of open-domain and
non-fine-tuning personalized image generation is proceeding rather slowly. In
this paper, we propose Subject-Diffusion, a novel open-domain personalized
image generation model that, in addition to not requiring test-time
fine-tuning, also only requires a single reference image to support
personalized generation of single- or multi-subject in any domain. Firstly, we
construct an automatic data labeling tool and use the LAION-Aesthetics dataset
to construct a large-scale dataset consisting of 76M images and their
corresponding subject detection bounding boxes, segmentation masks and text
descriptions. Secondly, we design a new unified framework that combines text
and image semantics by incorporating coarse location and fine-grained reference
image control to maximize subject fidelity and generalization. Furthermore, we
also adopt an attention control mechanism to support multi-subject generation.
Extensive qualitative and quantitative results demonstrate that our method
outperforms other SOTA frameworks in single, multiple, and human customized
image generation. Please refer to our
https://oppo-mente-lab.github.io/subject_diffusion/{project page}