Melhorando a Otimização no Momento da Inferência para Transferência de Estilo em Efeitos Vocais com um Prior Gaussiano

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

May 16, 2025

Autores: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Wei-Hsiang Liao, Yuki Mitsufuji, György Fazekas

cs.AI

Resumo

A Transferência de Estilo com Otimização em Tempo de Inferência (ST-ITO) é uma abordagem recente para transferir os efeitos aplicados de um áudio de referência para uma faixa de áudio bruta. Ela otimiza os parâmetros dos efeitos para minimizar a distância entre as incorporações de estilo do áudio processado e o de referência. No entanto, esse método trata todas as configurações possíveis de forma igual e depende exclusivamente do espaço de incorporação, o que pode levar a resultados irreais ou tendenciosos. Nós abordamos essa limitação ao introduzir um prior Gaussiano derivado de um conjunto de dados de predefinições vocais, o DiffVox, sobre o espaço de parâmetros. A otimização resultante é equivalente a uma estimativa de máxima a posteriori. Avaliações sobre a transferência de efeitos vocais no conjunto de dados MedleyDB mostram melhorias significativas em várias métricas em comparação com métodos de base, incluindo um estimador cego de efeitos de áudio, abordagens de vizinho mais próximo e ST-ITO não calibrado. A calibração proposta reduz o erro quadrático médio dos parâmetros em até 33% e corresponde melhor ao estilo de referência. Avaliações subjetivas com 16 participantes confirmam a superioridade do nosso método, especialmente em regimes de dados limitados. Este trabalho demonstra como a incorporação de conhecimento prévio em tempo de inferência aprimora a transferência de efeitos de áudio, abrindo caminho para sistemas de processamento de áudio mais eficazes e realistas.

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.