Subject-Diffusion: Generazione Personalizzata di Immagini da Testo in Domini Aperti senza Fine-tuning al Momento del Test

Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning

July 21, 2023

Autori: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu

cs.AI

Abstract

I recenti progressi nella generazione di immagini personalizzate utilizzando modelli di diffusione sono stati significativi. Tuttavia, lo sviluppo nel campo della generazione di immagini personalizzate in domini aperti e senza fine-tuning procede piuttosto lentamente. In questo articolo, proponiamo Subject-Diffusion, un nuovo modello di generazione di immagini personalizzate in domini aperti che, oltre a non richiedere il fine-tuning al momento del test, necessita solo di una singola immagine di riferimento per supportare la generazione personalizzata di uno o più soggetti in qualsiasi dominio. In primo luogo, abbiamo costruito uno strumento automatico di etichettatura dei dati e utilizzato il dataset LAION-Aesthetics per creare un dataset su larga scala composto da 76 milioni di immagini con le relative bounding box di rilevamento del soggetto, maschere di segmentazione e descrizioni testuali. In secondo luogo, abbiamo progettato un nuovo framework unificato che combina la semantica del testo e dell'immagine incorporando il controllo della posizione approssimativa e dell'immagine di riferimento a grana fine per massimizzare la fedeltà e la generalizzazione del soggetto. Inoltre, abbiamo adottato un meccanismo di controllo dell'attenzione per supportare la generazione di più soggetti. Risultati qualitativi e quantitativi estesi dimostrano che il nostro metodo supera altri framework SOTA nella generazione di immagini personalizzate singole, multiple e umane. Si prega di fare riferimento alla nostra {pagina del progetto} https://oppo-mente-lab.github.io/subject_diffusion/.

English

Recent progress in personalized image generation using diffusion models has been significant. However, development in the area of open-domain and non-fine-tuning personalized image generation is proceeding rather slowly. In this paper, we propose Subject-Diffusion, a novel open-domain personalized image generation model that, in addition to not requiring test-time fine-tuning, also only requires a single reference image to support personalized generation of single- or multi-subject in any domain. Firstly, we construct an automatic data labeling tool and use the LAION-Aesthetics dataset to construct a large-scale dataset consisting of 76M images and their corresponding subject detection bounding boxes, segmentation masks and text descriptions. Secondly, we design a new unified framework that combines text and image semantics by incorporating coarse location and fine-grained reference image control to maximize subject fidelity and generalization. Furthermore, we also adopt an attention control mechanism to support multi-subject generation. Extensive qualitative and quantitative results demonstrate that our method outperforms other SOTA frameworks in single, multiple, and human customized image generation. Please refer to our https://oppo-mente-lab.github.io/subject_diffusion/{project page}