Personalizza Qualsiasi Cosa Gratuitamente con il Diffusion Transformer
Personalize Anything for Free with Diffusion Transformer
March 16, 2025
Autori: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng
cs.AI
Abstract
La generazione personalizzata di immagini mira a produrre immagini di concetti specificati dall'utente, consentendo al contempo una modifica flessibile. Gli approcci recenti che non richiedono addestramento, pur mostrando una maggiore efficienza computazionale rispetto ai metodi basati su addestramento, faticano a preservare l'identità, l'applicabilità e la compatibilità con i trasformatori di diffusione (DiT). In questo articolo, scopriamo il potenziale inesplorato dei DiT, dove semplicemente sostituendo i token di denoising con quelli di un soggetto di riferimento si ottiene una ricostruzione zero-shot del soggetto. Questa tecnica di iniezione di caratteristiche semplice ma efficace sblocca scenari diversificati, dalla personalizzazione alla modifica delle immagini. Basandoci su questa osservazione, proponiamo Personalize Anything, un framework senza addestramento che realizza la generazione personalizzata di immagini nei DiT attraverso: 1) la sostituzione adattiva dei token in base al timestep, che rafforza la coerenza del soggetto tramite l'iniezione nelle fasi iniziali e aumenta la flessibilità attraverso la regolarizzazione nelle fasi avanzate, e 2) strategie di perturbazione delle patch per aumentare la diversità strutturale. Il nostro metodo supporta senza soluzione di continuità la generazione guidata dal layout, la personalizzazione multi-soggetto e la modifica controllata da maschere. Le valutazioni dimostrano prestazioni all'avanguardia nella preservazione dell'identità e nella versatilità. Il nostro lavoro stabilisce nuove intuizioni sui DiT, offrendo al contempo un paradigma pratico per una personalizzazione efficiente.
English
Personalized image generation aims to produce images of user-specified
concepts while enabling flexible editing. Recent training-free approaches,
while exhibit higher computational efficiency than training-based methods,
struggle with identity preservation, applicability, and compatibility with
diffusion transformers (DiTs). In this paper, we uncover the untapped potential
of DiT, where simply replacing denoising tokens with those of a reference
subject achieves zero-shot subject reconstruction. This simple yet effective
feature injection technique unlocks diverse scenarios, from personalization to
image editing. Building upon this observation, we propose Personalize
Anything, a training-free framework that achieves personalized image
generation in DiT through: 1) timestep-adaptive token replacement that enforces
subject consistency via early-stage injection and enhances flexibility through
late-stage regularization, and 2) patch perturbation strategies to boost
structural diversity. Our method seamlessly supports layout-guided generation,
multi-subject personalization, and mask-controlled editing. Evaluations
demonstrate state-of-the-art performance in identity preservation and
versatility. Our work establishes new insights into DiTs while delivering a
practical paradigm for efficient personalization.