拡散Transformerを用いて無料で何でもパーソナライズ

Personalize Anything for Free with Diffusion Transformer

March 16, 2025

著者: Haoran Feng, Zehuan Huang, Lin Li, Hairong Lv, Lu Sheng

cs.AI

要旨

パーソナライズド画像生成は、ユーザー指定の概念を表現した画像を生成しつつ、柔軟な編集を可能にすることを目指しています。最近のトレーニング不要なアプローチは、トレーニングベースの手法よりも計算効率が高いものの、アイデンティティの保持、適用性、および拡散トランスフォーマー（DiT）との互換性に課題を抱えています。本論文では、DiTの未開拓の可能性を明らかにし、単にノイズ除去トークンを参照対象のトークンに置き換えるだけでゼロショットの対象再構成が可能であることを示します。このシンプルでありながら効果的な特徴注入技術により、パーソナライゼーションから画像編集まで多様なシナリオが実現可能となります。この観察に基づき、我々は「Personalize Anything」を提案します。これは、以下の2つの要素を通じてDiTにおけるパーソナライズド画像生成を実現するトレーニング不要なフレームワークです：1）早期段階での注入により対象の一貫性を強化し、後期段階での正則化により柔軟性を高めるタイムステップ適応型トークン置換、および2）構造的多様性を促進するパッチ摂動戦略。本手法は、レイアウト誘導生成、複数対象のパーソナライゼーション、マスク制御編集をシームレスにサポートします。評価では、アイデンティティ保持と汎用性において最先端の性能を実証しています。本研究は、DiTに対する新たな洞察を確立するとともに、効率的なパーソナライゼーションのための実用的なパラダイムを提供します。

English

Personalized image generation aims to produce images of user-specified concepts while enabling flexible editing. Recent training-free approaches, while exhibit higher computational efficiency than training-based methods, struggle with identity preservation, applicability, and compatibility with diffusion transformers (DiTs). In this paper, we uncover the untapped potential of DiT, where simply replacing denoising tokens with those of a reference subject achieves zero-shot subject reconstruction. This simple yet effective feature injection technique unlocks diverse scenarios, from personalization to image editing. Building upon this observation, we propose Personalize Anything, a training-free framework that achieves personalized image generation in DiT through: 1) timestep-adaptive token replacement that enforces subject consistency via early-stage injection and enhances flexibility through late-stage regularization, and 2) patch perturbation strategies to boost structural diversity. Our method seamlessly supports layout-guided generation, multi-subject personalization, and mask-controlled editing. Evaluations demonstrate state-of-the-art performance in identity preservation and versatility. Our work establishes new insights into DiTs while delivering a practical paradigm for efficient personalization.