SemantiCodec : Un codec audio sémantique à très faible débit binaire pour les sons généraux

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Auteurs: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont considérablement fait progresser le traitement audio grâce à des codecs audio qui convertissent l'audio en jetons discrets, permettant ainsi l'application de techniques de modélisation du langage aux données audio. Cependant, les codecs traditionnels fonctionnent souvent à des débits binaires élevés ou dans des domaines restreints comme la parole, et manquent des indices sémantiques nécessaires pour une modélisation du langage efficace. Pour relever ces défis, nous présentons SemantiCodec, un nouveau codec conçu pour compresser l'audio en moins d'une centaine de jetons par seconde sur divers types d'audio, y compris la parole, l'audio général et la musique, sans compromettre la qualité. SemantiCodec intègre une architecture à double encodeur : un encodeur sémantique utilisant un AudioMAE auto-supervisé, discrétisé par clustering k-means sur de vastes données audio, et un encodeur acoustique pour capturer les détails restants. Les sorties des encodeurs sémantique et acoustique sont utilisées pour reconstruire l'audio via un décodeur basé sur un modèle de diffusion. SemantiCodec est proposé en trois variantes avec des taux de jetons de 25, 50 et 100 par seconde, supportant une gamme de débits binaires ultra-faibles entre 0,31 kbps et 1,43 kbps. Les résultats expérimentaux montrent que SemantiCodec surpasse significativement le codec Descript, l'état de l'art, en termes de qualité de reconstruction. Nos résultats suggèrent également que SemantiCodec contient des informations sémantiques nettement plus riches que tous les codecs audio évalués, même à des débits binaires bien inférieurs. Notre code et nos démonstrations sont disponibles à l'adresse https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.