Verbesserung der Inferenzzeit-Optimierung für den Stiltransfer von Vokaleffekten mit einem Gaußschen Prior

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

May 16, 2025

Autoren: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Yuki Mitsufuji, György Fazekas

cs.AI

Zusammenfassung

Style Transfer mit Inferenzzeit-Optimierung (ST-ITO) ist ein neuer Ansatz zur Übertragung der angewandten Effekte eines Referenz-Audios auf einen Roh-Audio-Track. Es optimiert die Effektparameter, um die Distanz zwischen den Style-Embeddings des verarbeiteten Audios und der Referenz zu minimieren. Diese Methode behandelt jedoch alle möglichen Konfigurationen gleich und verlässt sich ausschließlich auf den Embedding-Raum, was zu unrealistischen oder verzerrten Ergebnissen führen kann. Wir beheben dieses Problem durch die Einführung eines Gaußschen Priors, der aus einem Vocal-Preset-Datensatz, DiffVox, über den Parameterraum abgeleitet wird. Die resultierende Optimierung entspricht einer Maximum-a-Posteriori-Schätzung. Bewertungen zur Übertragung von Vocaleffekten auf dem MedleyDB-Datensatz zeigen signifikante Verbesserungen in den Metriken im Vergleich zu Baseline-Methoden, einschließlich eines blinden Audioeffekt-Schätzers, Nearest-Neighbour-Ansätzen und unkalibriertem ST-ITO. Die vorgeschlagene Kalibrierung reduziert den mittleren quadratischen Fehler der Parameter um bis zu 33 % und passt den Referenzstil besser an. Subjektive Bewertungen mit 16 Teilnehmern bestätigen die Überlegenheit unserer Methode, insbesondere in Szenarien mit begrenzten Daten. Diese Arbeit zeigt, wie die Einbindung von Vorwissen zur Inferenzzeit die Übertragung von Audioeffekten verbessert und den Weg für effektivere und realistischere Audioverarbeitungssysteme ebnet.

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.