Улучшение оптимизации на этапе вывода для передачи стиля вокальных эффектов с использованием гауссовского априорного распределения

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

May 16, 2025

Авторы: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Yuki Mitsufuji, György Fazekas

cs.AI

Аннотация

Перенос стиля с оптимизацией на этапе вывода (ST-ITO) — это современный подход для переноса применённых эффектов с эталонного аудио на исходный аудиотрек. Он оптимизирует параметры эффектов, чтобы минимизировать расстояние между стилевыми представлениями обработанного аудио и эталонного. Однако этот метод рассматривает все возможные конфигурации как равнозначные и полагается исключительно на пространство представлений, что может приводить к нереалистичным или смещённым результатам. Мы устраняем этот недостаток, вводя гауссово априорное распределение, полученное из набора данных вокальных пресетов DiffVox, в пространство параметров. Получаемая оптимизация эквивалентна оценке максимума апостериорной вероятности. Оценки переноса вокальных эффектов на наборе данных MedleyDB показывают значительные улучшения по различным метрикам по сравнению с базовыми методами, включая слепой оценщик аудиоэффектов, методы ближайшего соседа и некалиброванный ST-ITO. Предложенная калибровка снижает среднеквадратичную ошибку параметров до 33% и лучше соответствует эталонному стилю. Субъективные оценки с участием 16 человек подтверждают превосходство нашего метода, особенно в условиях ограниченных данных. Эта работа демонстрирует, как включение априорных знаний на этапе вывода улучшает перенос аудиоэффектов, прокладывая путь к более эффективным и реалистичным системам обработки звука.

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.