MuCodec: Ultra-Low-Bitrate Musikcodec

MuCodec: Ultra Low-Bitrate Music Codec

September 20, 2024

Autoren: Yaoxun Xu, Hangting Chen, Jianwei Yu, Wei Tan, Rongzhi Gu, Shun Lei, Zhiwei Lin, Zhiyong Wu

cs.AI

Zusammenfassung

Musikcodecs sind ein wesentlicher Aspekt der Audiocodec-Forschung, und die Kompression mit extrem niedrigen Bitraten ist von großer Bedeutung für die Übertragung und Erzeugung von Musik. Aufgrund der Komplexität von Musikhintergründen und der Vielfalt der Stimmen kann Musik nicht effektiv nur durch Modellierung semantischer oder akustischer Informationen mit sowohl Stimmen als auch Hintergründen rekonstruiert werden. Um dieses Problem zu lösen, schlagen wir MuCodec vor, das speziell auf Musikkompression und -rekonstruktionsaufgaben bei extrem niedrigen Bitraten abzielt. MuCodec verwendet MuEncoder, um sowohl akustische als auch semantische Merkmale zu extrahieren, diese mit RVQ zu diskretisieren und Mel-VAE-Merkmale über Flow-Matching zu erhalten. Die Musik wird dann mithilfe eines vorab trainierten MEL-VAE-Decoders und HiFi-GAN rekonstruiert. MuCodec kann hochwertige Musik bei extrem niedrigen (0,35 kbps) oder hohen Bitraten (1,35 kbps) rekonstruieren und erzielt die bisher besten Ergebnisse sowohl in subjektiven als auch in objektiven Metriken. Code und Demo: https://xuyaoxun.github.io/MuCodec_demo/.

English

Music codecs are a vital aspect of audio codec research, and ultra low-bitrate compression holds significant importance for music transmission and generation. Due to the complexity of music backgrounds and the richness of vocals, solely relying on modeling semantic or acoustic information cannot effectively reconstruct music with both vocals and backgrounds. To address this issue, we propose MuCodec, specifically targeting music compression and reconstruction tasks at ultra low bitrates. MuCodec employs MuEncoder to extract both acoustic and semantic features, discretizes them with RVQ, and obtains Mel-VAE features via flow-matching. The music is then reconstructed using a pre-trained MEL-VAE decoder and HiFi-GAN. MuCodec can reconstruct high-fidelity music at ultra low (0.35kbps) or high bitrates (1.35kbps), achieving the best results to date in both subjective and objective metrics. Code and Demo: https://xuyaoxun.github.io/MuCodec_demo/.