Персонализируйте что угодно бесплатно с помощью диффузионного трансформера

Personalize Anything for Free with Diffusion Transformer

March 16, 2025

Авторы: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng

cs.AI

Аннотация

Персонализированная генерация изображений направлена на создание изображений, соответствующих заданным пользователем концепциям, с возможностью гибкого редактирования. Недавние подходы, не требующие обучения, хотя и демонстрируют более высокую вычислительную эффективность по сравнению с методами, основанными на обучении, сталкиваются с трудностями в сохранении идентичности, применимости и совместимости с диффузионными трансформерами (DiT). В данной работе мы раскрываем неиспользованный потенциал DiT, где простая замена токенов шумоподавления на токены референсного объекта позволяет достичь реконструкции объекта в режиме zero-shot. Этот простой, но эффективный метод инъекции признаков открывает разнообразные сценарии, от персонализации до редактирования изображений. На основе этого наблюдения мы предлагаем Personalize Anything — подход, не требующий обучения, который реализует персонализированную генерацию изображений в DiT за счет: 1) адаптивной замены токенов на каждом шаге, обеспечивающей согласованность объекта через инъекцию на ранних этапах и повышающей гибкость за счет регуляризации на поздних этапах, и 2) стратегий возмущения патчей для увеличения структурного разнообразия. Наш метод легко поддерживает генерацию с учетом композиции, персонализацию нескольких объектов и редактирование с использованием масок. Оценки демонстрируют передовые результаты в сохранении идентичности и универсальности. Наша работа устанавливает новые взгляды на DiT, предлагая практическую парадигму для эффективной персонализации.

English

Personalized image generation aims to produce images of user-specified concepts while enabling flexible editing. Recent training-free approaches, while exhibit higher computational efficiency than training-based methods, struggle with identity preservation, applicability, and compatibility with diffusion transformers (DiTs). In this paper, we uncover the untapped potential of DiT, where simply replacing denoising tokens with those of a reference subject achieves zero-shot subject reconstruction. This simple yet effective feature injection technique unlocks diverse scenarios, from personalization to image editing. Building upon this observation, we propose Personalize Anything, a training-free framework that achieves personalized image generation in DiT through: 1) timestep-adaptive token replacement that enforces subject consistency via early-stage injection and enhances flexibility through late-stage regularization, and 2) patch perturbation strategies to boost structural diversity. Our method seamlessly supports layout-guided generation, multi-subject personalization, and mask-controlled editing. Evaluations demonstrate state-of-the-art performance in identity preservation and versatility. Our work establishes new insights into DiTs while delivering a practical paradigm for efficient personalization.