SAEdit: Controle em nível de token para edição contínua de imagens via AutoEncoder Esparsa

SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder

October 6, 2025

Autores: Ronen Kamenetsky, Sara Dorfman, Daniel Garibi, Roni Paiss, Or Patashnik, Daniel Cohen-Or

cs.AI

Resumo

Modelos de difusão de texto para imagem em larga escala tornaram-se a base da edição moderna de imagens, mas os prompts de texto por si só não oferecem controle adequado sobre o processo de edição. Duas propriedades são especialmente desejáveis: desacoplamento, onde a alteração de um atributo não modifica outros de forma não intencional, e controle contínuo, onde a intensidade de uma edição pode ser ajustada suavemente. Apresentamos um método para edição desacoplada e contínua por meio da manipulação em nível de token dos embeddings de texto. As edições são aplicadas manipulando os embeddings ao longo de direções cuidadosamente escolhidas, que controlam a intensidade do atributo alvo. Para identificar tais direções, empregamos um Autoencoder Esparsificado (SAE), cujo espaço latente esparso expõe dimensões semanticamente isoladas. Nosso método opera diretamente nos embeddings de texto sem modificar o processo de difusão, tornando-o agnóstico ao modelo e amplamente aplicável a diversos backbones de síntese de imagens. Experimentos mostram que ele permite manipulações intuitivas e eficientes com controle contínuo em diversos atributos e domínios.

English

Large-scale text-to-image diffusion models have become the backbone of modern image editing, yet text prompts alone do not offer adequate control over the editing process. Two properties are especially desirable: disentanglement, where changing one attribute does not unintentionally alter others, and continuous control, where the strength of an edit can be smoothly adjusted. We introduce a method for disentangled and continuous editing through token-level manipulation of text embeddings. The edits are applied by manipulating the embeddings along carefully chosen directions, which control the strength of the target attribute. To identify such directions, we employ a Sparse Autoencoder (SAE), whose sparse latent space exposes semantically isolated dimensions. Our method operates directly on text embeddings without modifying the diffusion process, making it model agnostic and broadly applicable to various image synthesis backbones. Experiments show that it enables intuitive and efficient manipulations with continuous control across diverse attributes and domains.