MuCodec: Ultra-Lage-Bitratemuziekcodec

MuCodec: Ultra Low-Bitrate Music Codec

September 20, 2024

Auteurs: Yaoxun Xu, Hangting Chen, Jianwei Yu, Wei Tan, Rongzhi Gu, Shun Lei, Zhiwei Lin, Zhiyong Wu

cs.AI

Samenvatting

Muziekcodecs zijn een essentieel aspect van audiocodeconderzoek, en compressie met ultralage bitsnelheid is van groot belang voor muziektransmissie en -generatie. Vanwege de complexiteit van muziekachtergronden en de rijkdom aan vocalen is het niet voldoende om alleen te vertrouwen op het modelleren van semantische of akoestische informatie om muziek effectief te reconstrueren met zowel vocalen als achtergronden. Om dit probleem aan te pakken, stellen we MuCodec voor, dat zich specifiek richt op muziekcompressie en reconstructietaken bij ultralage bitsnelheden. MuCodec maakt gebruik van MuEncoder om zowel akoestische als semantische kenmerken te extraheren, deze te discretiseren met RVQ, en Mel-VAE-kenmerken te verkrijgen via flow-matching. De muziek wordt vervolgens gereconstrueerd met behulp van een vooraf getrainde MEL-VAE-decoder en HiFi-GAN. MuCodec kan muziek met hoge kwaliteit reconstrueren bij ultralage (0.35 kbps) of hoge bitsnelheden (1.35 kbps), en behaalt tot nu toe de beste resultaten in zowel subjectieve als objectieve metingen. Code en Demo: https://xuyaoxun.github.io/MuCodec_demo/.

English

Music codecs are a vital aspect of audio codec research, and ultra low-bitrate compression holds significant importance for music transmission and generation. Due to the complexity of music backgrounds and the richness of vocals, solely relying on modeling semantic or acoustic information cannot effectively reconstruct music with both vocals and backgrounds. To address this issue, we propose MuCodec, specifically targeting music compression and reconstruction tasks at ultra low bitrates. MuCodec employs MuEncoder to extract both acoustic and semantic features, discretizes them with RVQ, and obtains Mel-VAE features via flow-matching. The music is then reconstructed using a pre-trained MEL-VAE decoder and HiFi-GAN. MuCodec can reconstruct high-fidelity music at ultra low (0.35kbps) or high bitrates (1.35kbps), achieving the best results to date in both subjective and objective metrics. Code and Demo: https://xuyaoxun.github.io/MuCodec_demo/.