Personaliseer Alles Gratis met Diffusion Transformer

Personalize Anything for Free with Diffusion Transformer

March 16, 2025

Auteurs: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng

cs.AI

Samenvatting

Gepersonaliseerde beeldgeneratie heeft als doel om afbeeldingen te produceren van door de gebruiker gespecificeerde concepten, terwijl flexibele bewerking mogelijk wordt gemaakt. Recente trainingsvrije benaderingen, hoewel ze een hogere computationele efficiëntie vertonen dan trainingsgebaseerde methoden, worstelen met identiteitsbehoud, toepasbaarheid en compatibiliteit met diffusietransformers (DiTs). In dit artikel ontdekken we het onbenutte potentieel van DiT, waarbij het simpelweg vervangen van denoising-tokens door die van een referentieonderwerp zero-shot onderwerpreconstructie mogelijk maakt. Deze eenvoudige maar effectieve techniek voor feature-injectie opent de deur naar diverse scenario's, van personalisatie tot beeldbewerking. Op basis van deze observatie stellen we Personalize Anything voor, een trainingsvrij raamwerk dat gepersonaliseerde beeldgeneratie in DiT bereikt door: 1) tijdsstap-adaptieve tokenvervanging die onderwerpconsistentie afdwingt via injectie in een vroeg stadium en flexibiliteit vergroot door regularisatie in een laat stadium, en 2) patchperturbatiestrategieën om structurele diversiteit te bevorderen. Onze methode ondersteunt naadloos layout-gestuurde generatie, personalisatie van meerdere onderwerpen en maskergestuurde bewerking. Evaluaties tonen state-of-the-art prestaties in identiteitsbehoud en veelzijdigheid. Ons werk biedt nieuwe inzichten in DiTs en levert tegelijkertijd een praktisch paradigma voor efficiënte personalisatie.

English

Personalized image generation aims to produce images of user-specified concepts while enabling flexible editing. Recent training-free approaches, while exhibit higher computational efficiency than training-based methods, struggle with identity preservation, applicability, and compatibility with diffusion transformers (DiTs). In this paper, we uncover the untapped potential of DiT, where simply replacing denoising tokens with those of a reference subject achieves zero-shot subject reconstruction. This simple yet effective feature injection technique unlocks diverse scenarios, from personalization to image editing. Building upon this observation, we propose Personalize Anything, a training-free framework that achieves personalized image generation in DiT through: 1) timestep-adaptive token replacement that enforces subject consistency via early-stage injection and enhances flexibility through late-stage regularization, and 2) patch perturbation strategies to boost structural diversity. Our method seamlessly supports layout-guided generation, multi-subject personalization, and mask-controlled editing. Evaluations demonstrate state-of-the-art performance in identity preservation and versatility. Our work establishes new insights into DiTs while delivering a practical paradigm for efficient personalization.