TADA! Feinabstimmung von Audio-Diffusionsmodellen durch Aktivierungssteuerung
TADA! Tuning Audio Diffusion Models through Activation Steering
February 12, 2026
papers.authors: Łukasz Staniszewski, Katarzyna Zaleska, Mateusz Modrzejewski, Kamil Deja
cs.AI
papers.abstract
Audiodefusionsmodelle können aus Text hochwertige Musik synthetisieren, doch ihre internen Mechanismen zur Repräsentation hochgradiger Konzepte sind nach wie vor wenig verstanden. In dieser Arbeit verwenden wir Aktivierungspatching, um zu zeigen, dass distinkte semantische Musikkonzepte – wie das Vorhandensein bestimmter Instrumente, Gesang oder Genrecharakteristika – durch eine kleine, gemeinsame Teilmenge von Attention-Layern in modernsten Audiodefusionsarchitekturen gesteuert werden. Des Weiteren demonstrieren wir, dass die Anwendung von Contrastive Activation Addition und Sparse Autoencodern in diesen Schichten eine präzisere Steuerung des generierten Audios ermöglicht, was auf einen direkten Nutzen des Spezialisierungsphänomens hindeutet. Durch das Lenken der Aktivierungen in den identifizierten Layern können wir spezifische musikalische Elemente mit hoher Präzision verändern, wie etwa die Modulation des Tempos oder die Veränderung der Stimmung eines Tracks.
English
Audio diffusion models can synthesize high-fidelity music from text, yet their internal mechanisms for representing high-level concepts remain poorly understood. In this work, we use activation patching to demonstrate that distinct semantic musical concepts, such as the presence of specific instruments, vocals, or genre characteristics, are controlled by a small, shared subset of attention layers in state-of-the-art audio diffusion architectures. Next, we demonstrate that applying Contrastive Activation Addition and Sparse Autoencoders in these layers enables more precise control over the generated audio, indicating a direct benefit of the specialization phenomenon. By steering activations of the identified layers, we can alter specific musical elements with high precision, such as modulating tempo or changing a track's mood.