TADA! Sintonizzazione di Modelli di Diffusione Audio tramite Pilotaggio delle Attivazioni
TADA! Tuning Audio Diffusion Models through Activation Steering
February 12, 2026
Autori: Łukasz Staniszewski, Katarzyna Zaleska, Mateusz Modrzejewski, Kamil Deja
cs.AI
Abstract
I modelli di diffusione audio sono in grado di sintetizzare musica ad alta fedeltà a partire da testo, ma i loro meccanismi interni di rappresentazione di concetti di alto livello rimangono poco compresi. In questo lavoro, utilizziamo l'activation patching per dimostrare che distinti concetti musicali semantici, come la presenza di strumenti specifici, parti vocali o caratteristiche di genere, sono controllati da un piccolo sottoinsieme condiviso di livelli di attenzione nelle architetture all'avanguardia di diffusione audio. Successivamente, dimostriamo che l'applicazione di Contrastive Activation Addition e Sparse Autoencoders in questi strati consente un controllo più preciso sull'audio generato, indicando un beneficio diretto del fenomeno di specializzazione. Modulando le attivazioni degli strati identificati, possiamo alterare con alta precisione elementi musicali specifici, come modulare il tempo o cambiare l'atmosfera di un brano.
English
Audio diffusion models can synthesize high-fidelity music from text, yet their internal mechanisms for representing high-level concepts remain poorly understood. In this work, we use activation patching to demonstrate that distinct semantic musical concepts, such as the presence of specific instruments, vocals, or genre characteristics, are controlled by a small, shared subset of attention layers in state-of-the-art audio diffusion architectures. Next, we demonstrate that applying Contrastive Activation Addition and Sparse Autoencoders in these layers enables more precise control over the generated audio, indicating a direct benefit of the specialization phenomenon. By steering activations of the identified layers, we can alter specific musical elements with high precision, such as modulating tempo or changing a track's mood.