Attivazione Condizionata del Trasporto per il Controllo della Sicurezza nelle Applicazioni da Testo a Immagine
Conditioned Activation Transport for T2I Safety Steering
March 3, 2026
Autori: Maciej Chrabąszcz, Aleksander Szymczyk, Jan Dubiński, Tomasz Trzciński, Franziska Boenisch, Adam Dziedzic
cs.AI
Abstract
Nonostante le loro impressionanti capacità, gli attuali modelli Text-to-Image (T2I) rimangono inclini a generare contenuti non sicuri e tossici. Sebbene lo "steering" delle attivazioni rappresenti un intervento promettente in fase di inferenza, osserviamo che uno steering lineare delle attivazioni degrada frequentemente la qualità dell'immagine quando applicato a prompt benigni. Per affrontare questo compromesso, abbiamo inizialmente costruito il *SafeSteerDataset*, un dataset contrastivo contenente 2300 coppie di prompt sicuri e non sicuri con elevata similarità del coseno. Sfruttando questi dati, proponiamo il *Conditioned Activation Transport* (CAT), un framework che utilizza un meccanismo di condizionamento basato sulla geometria e mappe di trasporto non lineari. Condizionando le mappe di trasporto per attivarsi solo all'interno delle regioni di attivazione non sicure, minimizziamo l'interferenza con le query benigne. Convalidiamo il nostro approccio su due architetture all'avanguardia: Z-Image e Infinity. Gli esperimenti dimostrano che CAT si generalizza efficacemente su questi "backbone", riducendo significativamente il tasso di successo degli attacchi mantenendo al contempo la fedeltà dell'immagine rispetto alle generazioni non controllate. Avvertenza: questo articolo contiene testo e immagini potenzialmente offensivi.
English
Despite their impressive capabilities, current Text-to-Image (T2I) models remain prone to generating unsafe and toxic content. While activation steering offers a promising inference-time intervention, we observe that linear activation steering frequently degrades image quality when applied to benign prompts. To address this trade-off, we first construct SafeSteerDataset, a contrastive dataset containing 2300 safe and unsafe prompt pairs with high cosine similarity. Leveraging this data, we propose Conditioned Activation Transport (CAT), a framework that employs a geometry-based conditioning mechanism and nonlinear transport maps. By conditioning transport maps to activate only within unsafe activation regions, we minimize interference with benign queries. We validate our approach on two state-of-the-art architectures: Z-Image and Infinity. Experiments demonstrate that CAT generalizes effectively across these backbones, significantly reducing Attack Success Rate while maintaining image fidelity compared to unsteered generations. Warning: This paper contains potentially offensive text and images.