Subject-Diffusion: Open Domein Gepersonaliseerde Tekst-naar-Afbeelding Generatie zonder Fine-tuning tijdens Testen

Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning

July 21, 2023

Auteurs: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu

cs.AI

Samenvatting

Recente vooruitgang in gepersonaliseerde beeldgeneratie met behulp van diffusiemodellen is aanzienlijk geweest. De ontwikkeling op het gebied van open-domein en niet-fine-tuning gepersonaliseerde beeldgeneratie verloopt echter vrij traag. In dit artikel stellen we Subject-Diffusion voor, een nieuw open-domein gepersonaliseerd beeldgeneratiemodel dat, naast het niet vereisen van fine-tuning tijdens de testfase, ook slechts één referentiebeeld nodig heeft om gepersonaliseerde generatie van één of meerdere onderwerpen in elk domein te ondersteunen. Ten eerste construeren we een automatisch hulpmiddel voor datalabeling en gebruiken we de LAION-Aesthetics dataset om een grootschalige dataset te construeren die bestaat uit 76 miljoen afbeeldingen en hun bijbehorende detectiekaders voor onderwerpen, segmentatiemaskers en tekstbeschrijvingen. Ten tweede ontwerpen we een nieuw geïntegreerd raamwerk dat tekst- en beeld semantiek combineert door grove locatie en gedetailleerde referentiebeeldcontrole te incorporeren om de onderwerptrouw en generalisatie te maximaliseren. Bovendien nemen we ook een aandachtcontrolemechanisme over om de generatie van meerdere onderwerpen te ondersteunen. Uitgebreide kwalitatieve en kwantitatieve resultaten tonen aan dat onze methode andere state-of-the-art raamwerken overtreft in de generatie van enkele, meerdere en door mensen aangepaste afbeeldingen. Raadpleeg onze https://oppo-mente-lab.github.io/subject_diffusion/{projectpagina}.

English

Recent progress in personalized image generation using diffusion models has been significant. However, development in the area of open-domain and non-fine-tuning personalized image generation is proceeding rather slowly. In this paper, we propose Subject-Diffusion, a novel open-domain personalized image generation model that, in addition to not requiring test-time fine-tuning, also only requires a single reference image to support personalized generation of single- or multi-subject in any domain. Firstly, we construct an automatic data labeling tool and use the LAION-Aesthetics dataset to construct a large-scale dataset consisting of 76M images and their corresponding subject detection bounding boxes, segmentation masks and text descriptions. Secondly, we design a new unified framework that combines text and image semantics by incorporating coarse location and fine-grained reference image control to maximize subject fidelity and generalization. Furthermore, we also adopt an attention control mechanism to support multi-subject generation. Extensive qualitative and quantitative results demonstrate that our method outperforms other SOTA frameworks in single, multiple, and human customized image generation. Please refer to our https://oppo-mente-lab.github.io/subject_diffusion/{project page}