Mejora de la Optimización en Tiempo de Inferencia para la Transferencia de Estilo en Efectos Vocales con un Prior Gaussiano

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

May 16, 2025

Autores: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Yuki Mitsufuji, György Fazekas

cs.AI

Resumen

La Transferencia de Estilo con Optimización en Tiempo de Inferencia (ST-ITO) es un enfoque reciente para transferir los efectos aplicados de un audio de referencia a una pista de audio sin procesar. Este método optimiza los parámetros de los efectos para minimizar la distancia entre los embeddings de estilo del audio procesado y el de referencia. Sin embargo, este enfoque trata todas las configuraciones posibles por igual y se basa únicamente en el espacio de embeddings, lo que puede dar lugar a resultados poco realistas o sesgados. Abordamos este problema introduciendo un previo gaussiano derivado de un conjunto de datos de presets vocales, DiffVox, sobre el espacio de parámetros. La optimización resultante es equivalente a una estimación de máxima a posteriori. Las evaluaciones sobre la transferencia de efectos vocales en el conjunto de datos MedleyDB muestran mejoras significativas en varias métricas en comparación con los métodos de referencia, incluyendo un estimador ciego de efectos de audio, enfoques de vecino más cercano y ST-ITO sin calibrar. La calibración propuesta reduce el error cuadrático medio de los parámetros hasta en un 33% y coincide mejor con el estilo de referencia. Las evaluaciones subjetivas con 16 participantes confirman la superioridad de nuestro método, especialmente en regímenes de datos limitados. Este trabajo demuestra cómo la incorporación de conocimiento previo en el tiempo de inferencia mejora la transferencia de efectos de audio, allanando el camino para sistemas de procesamiento de audio más efectivos y realistas.

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.