Verbetering van Inferentie-Tijd Optimalisatie voor Stijloverdracht van Vocale Effecten met een Gaussische Prior

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

May 16, 2025

Auteurs: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Yuki Mitsufuji, György Fazekas

cs.AI

Samenvatting

Style Transfer met Inferentie-Tijd Optimalisatie (ST-ITO) is een recente aanpak voor het overbrengen van de toegepaste effecten van een referentie-audio naar een ruwe audiotrack. Het optimaliseert de effectparameters om de afstand tussen de stijl-embeddings van de bewerkte audio en de referentie te minimaliseren. Deze methode behandelt echter alle mogelijke configuraties gelijk en vertrouwt uitsluitend op de embeddingruimte, wat kan leiden tot onrealistische of bevooroordeelde resultaten. Wij pakken deze valkuil aan door een Gaussiaanse prior, afgeleid van een vocale presetdataset, DiffVox, in te voeren over de parameterruimte. De resulterende optimalisatie is equivalent aan maximum-a-posteriori-schatting. Evaluaties van vocale effectoverdracht op de MedleyDB-dataset laten significante verbeteringen zien in vergelijking met baseline-methoden, waaronder een blinde audio-effectenschatter, nearest-neighbour-benaderingen en ongekalibreerde ST-ITO. De voorgestelde kalibratie vermindert de gemiddelde kwadratische fout van de parameters met tot wel 33% en past de referentiestijl beter aan. Subjectieve evaluaties met 16 deelnemers bevestigen de superioriteit van onze methode, vooral in situaties met beperkte data. Dit werk toont aan hoe het integreren van voorkennis tijdens de inferentietijd de overdracht van audio-effecten verbetert, wat de weg vrijmaakt voor effectievere en realistischer audioverwerkingssystemen.

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.