SAEdit: スパースオートエンコーダによる連続的画像編集のためのトークンレベル制御

要旨

大規模なテキストから画像への拡散モデルは、現代の画像編集の基盤となっているが、テキストプロンプトだけでは編集プロセスに対する十分な制御を提供しない。特に望まれる2つの特性がある：分離性（ある属性を変更しても他の属性が意図せず変化しないこと）と連続制御（編集の強度を滑らかに調整できること）である。本論文では、テキスト埋め込みのトークンレベル操作を通じて、分離された連続的な編集を実現する手法を提案する。編集は、慎重に選ばれた方向に沿って埋め込みを操作することで適用され、その方向が対象属性の強度を制御する。そのような方向を特定するために、スパースオートエンコーダ（SAE）を採用し、そのスパースな潜在空間が意味的に分離された次元を明らかにする。本手法は拡散プロセスを変更せずにテキスト埋め込みに直接作用するため、モデルに依存せず、さまざまな画像合成基盤に広く適用可能である。実験により、多様な属性や領域にわたって直感的で効率的な操作を連続的に制御できることが示された。

English

Large-scale text-to-image diffusion models have become the backbone of modern image editing, yet text prompts alone do not offer adequate control over the editing process. Two properties are especially desirable: disentanglement, where changing one attribute does not unintentionally alter others, and continuous control, where the strength of an edit can be smoothly adjusted. We introduce a method for disentangled and continuous editing through token-level manipulation of text embeddings. The edits are applied by manipulating the embeddings along carefully chosen directions, which control the strength of the target attribute. To identify such directions, we employ a Sparse Autoencoder (SAE), whose sparse latent space exposes semantically isolated dimensions. Our method operates directly on text embeddings without modifying the diffusion process, making it model agnostic and broadly applicable to various image synthesis backbones. Experiments show that it enables intuitive and efficient manipulations with continuous control across diverse attributes and domains.

SAEdit: スパースオートエンコーダによる連続的画像編集のためのトークンレベル制御

SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder

要旨

Support