DiffVox: Ein differenzierbares Modell zur Erfassung und Analyse professioneller Effektverteilungen

DiffVox: A Differentiable Model for Capturing and Analysing Professional Effects Distributions

April 20, 2025

Autoren: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Ben Hayes, Wei-Hsiang Liao, György Fazekas, Yuki Mitsufuji

cs.AI

Zusammenfassung

Diese Studie stellt ein neuartiges und interpretierbares Modell, DiffVox, zur Anpassung von Stimm-Effekten in der Musikproduktion vor. DiffVox, kurz für „Differentiable Vocal Fx“, integriert parametrische Equalisation, Dynamikbereichssteuerung, Delay und Hall mit effizienten differenzierbaren Implementierungen, um eine gradientenbasierte Optimierung zur Parameterschätzung zu ermöglichen. Stimm-Presets werden aus zwei Datensätzen abgerufen, die 70 Tracks aus MedleyDB und 365 Tracks aus einer privaten Sammlung umfassen. Die Analyse von Parameterkorrelationen zeigt starke Zusammenhänge zwischen Effekten und Parametern auf, wie beispielsweise Hochpass- und Tiefregalfilter, die oft gemeinsam agieren, um den Bassbereich zu formen, und die Verzögerungszeit, die mit der Intensität der verzögerten Signale korreliert. Die Hauptkomponentenanalyse offenbart Verbindungen zu McAdams' Klangfarbendimensionen, wobei die wichtigste Komponente die wahrgenommene Räumlichkeit moduliert, während die sekundären Komponenten die spektrale Helligkeit beeinflussen. Statistische Tests bestätigen die nicht-Gaußsche Natur der Parameterverteilung und unterstreichen die Komplexität des Stimm-Effekte-Raums. Diese ersten Erkenntnisse über die Parameterverteilungen legen die Grundlage für zukünftige Forschungen in der Modellierung von Stimm-Effekten und dem automatischen Mischen. Unser Quellcode und die Datensätze sind unter https://github.com/SonyResearch/diffvox zugänglich.

English

This study introduces a novel and interpretable model, DiffVox, for matching vocal effects in music production. DiffVox, short for ``Differentiable Vocal Fx", integrates parametric equalisation, dynamic range control, delay, and reverb with efficient differentiable implementations to enable gradient-based optimisation for parameter estimation. Vocal presets are retrieved from two datasets, comprising 70 tracks from MedleyDB and 365 tracks from a private collection. Analysis of parameter correlations highlights strong relationships between effects and parameters, such as the high-pass and low-shelf filters often behaving together to shape the low end, and the delay time correlates with the intensity of the delayed signals. Principal component analysis reveals connections to McAdams' timbre dimensions, where the most crucial component modulates the perceived spaciousness while the secondary components influence spectral brightness. Statistical testing confirms the non-Gaussian nature of the parameter distribution, highlighting the complexity of the vocal effects space. These initial findings on the parameter distributions set the foundation for future research in vocal effects modelling and automatic mixing. Our source code and datasets are accessible at https://github.com/SonyResearch/diffvox.