ガウシアン事前分布を用いたボーカルエフェクトのスタイル転送における推論時最適化の改善

要旨

推論時最適化を用いたスタイル転送（ST-ITO）は、参照音声の効果を生音声トラックに転送するための最近のアプローチである。この手法は、処理された音声と参照音声のスタイル埋め込み間の距離を最小化するために効果パラメータを最適化する。しかし、この方法では全ての可能な設定を均等に扱い、埋め込み空間のみに依存するため、非現実的または偏った結果を招く可能性がある。我々はこの欠点を解決するため、ボーカルプリセットデータセットDiffVoxから導出したガウス事前分布をパラメータ空間に導入する。これにより、最適化は最大事後確率推定と等価となる。MedleyDBデータセットを用いたボーカル効果転送の評価では、ブラインドオーディオ効果推定器、最近傍アプローチ、および未調整のST-ITOと比較して、全ての指標で大幅な改善が見られた。提案する調整により、パラメータの平均二乗誤差は最大33%減少し、参照スタイルとの一致度も向上した。16名の参加者による主観的評価でも、特にデータが限られた状況において、本手法の優位性が確認された。この研究は、推論時に事前知識を組み込むことでオーディオ効果転送が向上し、より効果的で現実的なオーディオ処理システムの道を開くことを示している。

English

Style Transfer with Inference-Time Optimisation (ST-ITO) is a recent approach for transferring the applied effects of a reference audio to a raw audio track. It optimises the effect parameters to minimise the distance between the style embeddings of the processed audio and the reference. However, this method treats all possible configurations equally and relies solely on the embedding space, which can lead to unrealistic or biased results. We address this pitfall by introducing a Gaussian prior derived from a vocal preset dataset, DiffVox, over the parameter space. The resulting optimisation is equivalent to maximum-a-posteriori estimation. Evaluations on vocal effects transfer on the MedleyDB dataset show significant improvements across metrics compared to baselines, including a blind audio effects estimator, nearest-neighbour approaches, and uncalibrated ST-ITO. The proposed calibration reduces parameter mean squared error by up to 33% and matches the reference style better. Subjective evaluations with 16 participants confirm our method's superiority, especially in limited data regimes. This work demonstrates how incorporating prior knowledge in inference time enhances audio effects transfer, paving the way for more effective and realistic audio processing systems.

ガウシアン事前分布を用いたボーカルエフェクトのスタイル転送における推論時最適化の改善

Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior

要旨

Summary

Support

Support