Personalizza Qualsiasi Cosa Gratuitamente con il Diffusion Transformer

Personalize Anything for Free with Diffusion Transformer

March 16, 2025

Autori: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng

cs.AI

Abstract

La generazione personalizzata di immagini mira a produrre immagini di concetti specificati dall'utente, consentendo al contempo una modifica flessibile. Gli approcci recenti che non richiedono addestramento, pur mostrando una maggiore efficienza computazionale rispetto ai metodi basati su addestramento, faticano a preservare l'identità, l'applicabilità e la compatibilità con i trasformatori di diffusione (DiT). In questo articolo, scopriamo il potenziale inesplorato dei DiT, dove semplicemente sostituendo i token di denoising con quelli di un soggetto di riferimento si ottiene una ricostruzione zero-shot del soggetto. Questa tecnica di iniezione di caratteristiche semplice ma efficace sblocca scenari diversificati, dalla personalizzazione alla modifica delle immagini. Basandoci su questa osservazione, proponiamo Personalize Anything, un framework senza addestramento che realizza la generazione personalizzata di immagini nei DiT attraverso: 1) la sostituzione adattiva dei token in base al timestep, che rafforza la coerenza del soggetto tramite l'iniezione nelle fasi iniziali e aumenta la flessibilità attraverso la regolarizzazione nelle fasi avanzate, e 2) strategie di perturbazione delle patch per aumentare la diversità strutturale. Il nostro metodo supporta senza soluzione di continuità la generazione guidata dal layout, la personalizzazione multi-soggetto e la modifica controllata da maschere. Le valutazioni dimostrano prestazioni all'avanguardia nella preservazione dell'identità e nella versatilità. Il nostro lavoro stabilisce nuove intuizioni sui DiT, offrendo al contempo un paradigma pratico per una personalizzazione efficiente.

English

Personalized image generation aims to produce images of user-specified concepts while enabling flexible editing. Recent training-free approaches, while exhibit higher computational efficiency than training-based methods, struggle with identity preservation, applicability, and compatibility with diffusion transformers (DiTs). In this paper, we uncover the untapped potential of DiT, where simply replacing denoising tokens with those of a reference subject achieves zero-shot subject reconstruction. This simple yet effective feature injection technique unlocks diverse scenarios, from personalization to image editing. Building upon this observation, we propose Personalize Anything, a training-free framework that achieves personalized image generation in DiT through: 1) timestep-adaptive token replacement that enforces subject consistency via early-stage injection and enhances flexibility through late-stage regularization, and 2) patch perturbation strategies to boost structural diversity. Our method seamlessly supports layout-guided generation, multi-subject personalization, and mask-controlled editing. Evaluations demonstrate state-of-the-art performance in identity preservation and versatility. Our work establishes new insights into DiTs while delivering a practical paradigm for efficient personalization.