MuCodec: Codec Musicale ad Ultra Basso Bitrate

MuCodec: Ultra Low-Bitrate Music Codec

September 20, 2024

Autori: Yaoxun Xu, Hangting Chen, Jianwei Yu, Wei Tan, Rongzhi Gu, Shun Lei, Zhiwei Lin, Zhiyong Wu

cs.AI

Abstract

I codec musicali sono un aspetto vitale della ricerca sui codec audio, e la compressione a bassissimo bitrate riveste un'importanza significativa per la trasmissione e la generazione di musica. A causa della complessità degli sfondi musicali e della ricchezza delle voci, fare affidamento esclusivamente sulla modellazione delle informazioni semantiche o acustiche non può ricostruire efficacemente la musica con voci e sfondi. Per affrontare questo problema, proponiamo MuCodec, mirato specificamente alla compressione e alla ricostruzione musicale a bassissimi bitrate. MuCodec impiega MuEncoder per estrarre sia le caratteristiche acustiche che semantiche, le discretizza con RVQ e ottiene le caratteristiche Mel-VAE tramite il matching di flussi. La musica viene quindi ricostruita utilizzando un decoder MEL-VAE preaddestrato e HiFi-GAN. MuCodec può ricostruire musica ad alta fedeltà a bitrate ultra bassi (0,35 kbps) o a bitrate elevati (1,35 kbps), ottenendo i migliori risultati finora sia in termini soggettivi che oggettivi. Codice e Demo: https://xuyaoxun.github.io/MuCodec_demo/.

English

Music codecs are a vital aspect of audio codec research, and ultra low-bitrate compression holds significant importance for music transmission and generation. Due to the complexity of music backgrounds and the richness of vocals, solely relying on modeling semantic or acoustic information cannot effectively reconstruct music with both vocals and backgrounds. To address this issue, we propose MuCodec, specifically targeting music compression and reconstruction tasks at ultra low bitrates. MuCodec employs MuEncoder to extract both acoustic and semantic features, discretizes them with RVQ, and obtains Mel-VAE features via flow-matching. The music is then reconstructed using a pre-trained MEL-VAE decoder and HiFi-GAN. MuCodec can reconstruct high-fidelity music at ultra low (0.35kbps) or high bitrates (1.35kbps), achieving the best results to date in both subjective and objective metrics. Code and Demo: https://xuyaoxun.github.io/MuCodec_demo/.