SemantiCodec: Een Ultra Laag Bitrate Semantische Audiocodec voor Algemeen Geluid

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Auteurs: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) hebben audioverwerking aanzienlijk vooruitgeholpen door middel van audiocodecs die audio omzetten in discrete tokens, waardoor taalmodeltechnieken kunnen worden toegepast op audiogegevens. Traditionele codecs werken echter vaak op hoge bitrates of binnen beperkte domeinen zoals spraak en missen de semantische aanwijzingen die nodig zijn voor efficiënt taalmodelgebruik. Om deze uitdagingen aan te pakken, introduceren we SemantiCodec, een nieuwe codec die is ontworpen om audio te comprimeren tot minder dan honderd tokens per seconde voor diverse audiotypes, waaronder spraak, algemene audio en muziek, zonder kwaliteitsverlies. SemantiCodec beschikt over een dual-encoderarchitectuur: een semantische encoder die gebruikmaakt van een zelfsupervised AudioMAE, gediscretiseerd via k-means clustering op uitgebreide audiogegevens, en een akoestische encoder om de resterende details vast te leggen. De uitvoer van de semantische en akoestische encoder wordt gebruikt om audio te reconstrueren via een op diffusiemodellen gebaseerde decoder. SemantiCodec wordt aangeboden in drie varianten met tokensnelheden van 25, 50 en 100 per seconde, die een reeks ultra-lage bitrates ondersteunen tussen 0,31 kbps en 1,43 kbps. Experimentele resultaten tonen aan dat SemantiCodec de state-of-the-art Descript-codec aanzienlijk overtreft in reconstructiekwaliteit. Onze resultaten suggereren ook dat SemantiCodec aanzienlijk rijkere semantische informatie bevat dan alle geëvalueerde audiocodecs, zelfs bij aanzienlijk lagere bitrates. Onze code en demo's zijn beschikbaar op https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.