SAEdit: Control a nivel de tokens para la edición continua de imágenes mediante AutoEncoder Disperso

SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder

October 6, 2025

Autores: Ronen Kamenetsky, Sara Dorfman, Daniel Garibi, Roni Paiss, Or Patashnik, Daniel Cohen-Or

cs.AI

Resumen

Los modelos de difusión de texto a imagen a gran escala se han convertido en la base de la edición moderna de imágenes, aunque los textos de entrada por sí solos no ofrecen un control adecuado sobre el proceso de edición. Dos propiedades son especialmente deseables: la desvinculación, donde cambiar un atributo no altera involuntariamente otros, y el control continuo, donde la intensidad de una edición puede ajustarse suavemente. Introducimos un método para la edición desvinculada y continua mediante la manipulación a nivel de tokens de los embeddings de texto. Las ediciones se aplican manipulando los embeddings a lo largo de direcciones cuidadosamente seleccionadas, que controlan la intensidad del atributo objetivo. Para identificar tales direcciones, empleamos un Autoencoder Disperso (SAE, por sus siglas en inglés), cuyo espacio latente disperso expone dimensiones semánticamente aisladas. Nuestro método opera directamente sobre los embeddings de texto sin modificar el proceso de difusión, lo que lo hace independiente del modelo y ampliamente aplicable a diversas arquitecturas de síntesis de imágenes. Los experimentos demuestran que permite manipulaciones intuitivas y eficientes con control continuo en diversos atributos y dominios.

English

Large-scale text-to-image diffusion models have become the backbone of modern image editing, yet text prompts alone do not offer adequate control over the editing process. Two properties are especially desirable: disentanglement, where changing one attribute does not unintentionally alter others, and continuous control, where the strength of an edit can be smoothly adjusted. We introduce a method for disentangled and continuous editing through token-level manipulation of text embeddings. The edits are applied by manipulating the embeddings along carefully chosen directions, which control the strength of the target attribute. To identify such directions, we employ a Sparse Autoencoder (SAE), whose sparse latent space exposes semantically isolated dimensions. Our method operates directly on text embeddings without modifying the diffusion process, making it model agnostic and broadly applicable to various image synthesis backbones. Experiments show that it enables intuitive and efficient manipulations with continuous control across diverse attributes and domains.