Miglioramento dell'ottimizzazione al momento dell'inferenza per il trasferimento di stile degli effetti vocali con un prior gaussiano

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

May 16, 2025

Autori: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Yuki Mitsufuji, György Fazekas

cs.AI

Abstract

Il trasferimento di stile con ottimizzazione al momento dell'inferenza (ST-ITO) è un approccio recente per trasferire gli effetti applicati di un audio di riferimento a una traccia audio grezza. Ottimizza i parametri degli effetti per minimizzare la distanza tra gli embedding di stile dell'audio elaborato e quello di riferimento. Tuttavia, questo metodo tratta tutte le configurazioni possibili in modo uguale e si basa esclusivamente sullo spazio degli embedding, il che può portare a risultati irrealistici o distorti. Affrontiamo questa problematica introducendo un prior gaussiano derivato da un dataset di preset vocali, DiffVox, sullo spazio dei parametri. L'ottimizzazione risultante è equivalente a una stima massimo a posteriori. Le valutazioni sul trasferimento di effetti vocali sul dataset MedleyDB mostrano miglioramenti significativi nelle metriche rispetto ai metodi di base, inclusi un stimatore cieco di effetti audio, approcci basati sui vicini più prossimi e ST-ITO non calibrato. La calibrazione proposta riduce l'errore quadratico medio dei parametri fino al 33% e corrisponde meglio allo stile di riferimento. Valutazioni soggettive con 16 partecipanti confermano la superiorità del nostro metodo, specialmente in regimi di dati limitati. Questo lavoro dimostra come l'incorporazione di conoscenze a priori al momento dell'inferenza migliori il trasferimento di effetti audio, aprendo la strada a sistemi di elaborazione audio più efficaci e realistici.

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.