TADA! 활성화 조종을 통한 오디오 확산 모델 튜닝

초록

오디오 확산 모델은 텍스트로부터 고품질 음악을 합성할 수 있지만, 고수준 개념을 표현하는 내부 메커니즘은 아직 명확히 이해되지 않고 있습니다. 본 연구에서는 활성화 패칭(activation patching) 기법을 활용하여, 특정 악기나 보컬의 존재, 장르 특성과 같은 개별적인 의미론적 음악 개념들이 최신 오디오 확산 아키텍처 내 소수의 공유된 어텐션 계층들에 의해 제어된다는 것을 입증합니다. 다음으로, 이러한 계층들에 대비 활성화 추가(Contrastive Activation Addition)와 희소 오토인코더(Sparse Autoencoders)를 적용하면 생성된 오디오에 대한 보다 정밀한 제어가 가능해져, 이러한 특화 현상의 직접적인 이점을 확인합니다. 확인된 계층들의 활성화를 조종함으로써 템포를 조절하거나 트랙의 분위기를 변경하는 등 특정 음악 요소를 높은 정밀도로 변형할 수 있습니다.

English

Audio diffusion models can synthesize high-fidelity music from text, yet their internal mechanisms for representing high-level concepts remain poorly understood. In this work, we use activation patching to demonstrate that distinct semantic musical concepts, such as the presence of specific instruments, vocals, or genre characteristics, are controlled by a small, shared subset of attention layers in state-of-the-art audio diffusion architectures. Next, we demonstrate that applying Contrastive Activation Addition and Sparse Autoencoders in these layers enables more precise control over the generated audio, indicating a direct benefit of the specialization phenomenon. By steering activations of the identified layers, we can alter specific musical elements with high precision, such as modulating tempo or changing a track's mood.

TADA! 활성화 조종을 통한 오디오 확산 모델 튜닝

TADA! Tuning Audio Diffusion Models through Activation Steering

초록

Support