Personnalisez tout gratuitement avec le Transformer de Diffusion

Personalize Anything for Free with Diffusion Transformer

March 16, 2025

Auteurs: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng

cs.AI

Résumé

La génération d'images personnalisées vise à produire des images de concepts spécifiés par l'utilisateur tout en permettant une édition flexible. Les approches récentes sans entraînement, bien qu'elles présentent une efficacité computationnelle supérieure aux méthodes basées sur l'entraînement, peinent à préserver l'identité, à être applicables et compatibles avec les transformateurs de diffusion (DiTs). Dans cet article, nous explorons le potentiel inexploité des DiTs, où le simple remplacement des tokens de débruitage par ceux d'un sujet de référence permet une reconstruction zéro-shot du sujet. Cette technique d'injection de caractéristiques simple mais efficace ouvre la voie à divers scénarios, de la personnalisation à l'édition d'images. Sur la base de cette observation, nous proposons Personalize Anything, un cadre sans entraînement qui réalise la génération d'images personnalisées dans les DiTs grâce à : 1) un remplacement de tokens adaptatif au pas de temps qui renforce la cohérence du sujet via une injection précoce et améliore la flexibilité par une régularisation tardive, et 2) des stratégies de perturbation de patchs pour augmenter la diversité structurelle. Notre méthode prend en charge de manière fluide la génération guidée par la mise en page, la personnalisation multi-sujets et l'édition contrôlée par masque. Les évaluations démontrent des performances de pointe en matière de préservation de l'identité et de polyvalence. Notre travail établit de nouvelles perspectives sur les DiTs tout en offrant un paradigme pratique pour une personnalisation efficace.

English

Personalized image generation aims to produce images of user-specified concepts while enabling flexible editing. Recent training-free approaches, while exhibit higher computational efficiency than training-based methods, struggle with identity preservation, applicability, and compatibility with diffusion transformers (DiTs). In this paper, we uncover the untapped potential of DiT, where simply replacing denoising tokens with those of a reference subject achieves zero-shot subject reconstruction. This simple yet effective feature injection technique unlocks diverse scenarios, from personalization to image editing. Building upon this observation, we propose Personalize Anything, a training-free framework that achieves personalized image generation in DiT through: 1) timestep-adaptive token replacement that enforces subject consistency via early-stage injection and enhances flexibility through late-stage regularization, and 2) patch perturbation strategies to boost structural diversity. Our method seamlessly supports layout-guided generation, multi-subject personalization, and mask-controlled editing. Evaluations demonstrate state-of-the-art performance in identity preservation and versatility. Our work establishes new insights into DiTs while delivering a practical paradigm for efficient personalization.