SAEdit: Controllo a livello di token per la modifica continua di immagini tramite AutoEncoder Sparso

SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder

October 6, 2025

Autori: Ronen Kamenetsky, Sara Dorfman, Daniel Garibi, Roni Paiss, Or Patashnik, Daniel Cohen-Or

cs.AI

Abstract

I modelli di diffusione su larga scala per la generazione di immagini da testo sono diventati il fulcro dell'editing moderno delle immagini, tuttavia i prompt testuali da soli non offrono un controllo adeguato sul processo di modifica. Due proprietà sono particolarmente desiderabili: la disaccoppiamento, in cui la modifica di un attributo non altera involontariamente altri, e il controllo continuo, dove l'intensità di una modifica può essere regolata in modo fluido. Introduciamo un metodo per l'editing disaccoppiato e continuo attraverso la manipolazione a livello di token degli embedding testuali. Le modifiche vengono applicate manipolando gli embedding lungo direzioni accuratamente scelte, che controllano l'intensità dell'attributo target. Per identificare tali direzioni, utilizziamo un Autoencoder Sparso (SAE), il cui spazio latente sparso espone dimensioni semanticamente isolate. Il nostro metodo opera direttamente sugli embedding testuali senza modificare il processo di diffusione, rendendolo indipendente dal modello e ampiamente applicabile a vari backbone di sintesi di immagini. Gli esperimenti dimostrano che consente manipolazioni intuitive ed efficienti con controllo continuo su diversi attributi e domini.

English

Large-scale text-to-image diffusion models have become the backbone of modern image editing, yet text prompts alone do not offer adequate control over the editing process. Two properties are especially desirable: disentanglement, where changing one attribute does not unintentionally alter others, and continuous control, where the strength of an edit can be smoothly adjusted. We introduce a method for disentangled and continuous editing through token-level manipulation of text embeddings. The edits are applied by manipulating the embeddings along carefully chosen directions, which control the strength of the target attribute. To identify such directions, we employ a Sparse Autoencoder (SAE), whose sparse latent space exposes semantically isolated dimensions. Our method operates directly on text embeddings without modifying the diffusion process, making it model agnostic and broadly applicable to various image synthesis backbones. Experiments show that it enables intuitive and efficient manipulations with continuous control across diverse attributes and domains.