DiffVox: 전문적인 효과 분포를 포착하고 분석하기 위한 미분 가능 모델

DiffVox: A Differentiable Model for Capturing and Analysing Professional Effects Distributions

April 20, 2025

저자: Chin-Yun Yu, Marco A. Martínez-Ramírez, Junghyun Koo, Ben Hayes, Wei-Hsiang Liao, György Fazekas, Yuki Mitsufuji

cs.AI

초록

본 연구는 음악 프로덕션에서 보컬 이펙트 매칭을 위한 새로운 해석 가능한 모델인 DiffVox를 소개합니다. DiffVox는 "Differentiable Vocal Fx"의 약자로, 파라메트릭 이퀄라이제이션, 다이내믹 레인지 컨트롤, 딜레이, 리버브를 효율적인 미분 가능 구현과 통합하여 파라미터 추정을 위한 그래디언트 기반 최적화를 가능하게 합니다. 보컬 프리셋은 MedleyDB의 70개 트랙과 개인 컬렉션의 365개 트랙으로 구성된 두 데이터셋에서 검색되었습니다. 파라미터 상관관계 분석은 하이패스와 로우셸프 필터가 종종 함께 작용하여 저음대를 형성하는 등 이펙트와 파라미터 간의 강한 관계를 보여주며, 딜레이 시간은 딜레이된 신호의 강도와 상관관계가 있음을 나타냅니다. 주성분 분석은 McAdams의 음색 차원과의 연결을 보여주는데, 가장 중요한 성분은 지각된 공간감을 조절하는 반면, 두 번째 성분들은 스펙트럼 밝기에 영향을 미칩니다. 통계적 검증은 파라미터 분포의 비정규 분포 특성을 확인하며, 보컬 이펙트 공간의 복잡성을 강조합니다. 이러한 파라미터 분포에 대한 초기 발견들은 보컬 이펙트 모델링과 자동 믹싱에 대한 향후 연구의 기초를 마련합니다. 소스 코드와 데이터셋은 https://github.com/SonyResearch/diffvox에서 확인할 수 있습니다.

English

This study introduces a novel and interpretable model, DiffVox, for matching vocal effects in music production. DiffVox, short for ``Differentiable Vocal Fx", integrates parametric equalisation, dynamic range control, delay, and reverb with efficient differentiable implementations to enable gradient-based optimisation for parameter estimation. Vocal presets are retrieved from two datasets, comprising 70 tracks from MedleyDB and 365 tracks from a private collection. Analysis of parameter correlations highlights strong relationships between effects and parameters, such as the high-pass and low-shelf filters often behaving together to shape the low end, and the delay time correlates with the intensity of the delayed signals. Principal component analysis reveals connections to McAdams' timbre dimensions, where the most crucial component modulates the perceived spaciousness while the secondary components influence spectral brightness. Statistical testing confirms the non-Gaussian nature of the parameter distribution, highlighting the complexity of the vocal effects space. These initial findings on the parameter distributions set the foundation for future research in vocal effects modelling and automatic mixing. Our source code and datasets are accessible at https://github.com/SonyResearch/diffvox.