SemantiCodec: Ein Ultra-Niedrigbitrate-Semantik-Audiocodec für allgemeine Geräusche

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Autoren: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die Audiobearbeitung erheblich vorangetrieben durch Audiocodecs, die Audio in diskrete Tokens umwandeln und somit die Anwendung von Sprachmodellierungstechniken auf Audio-Daten ermöglichen. Traditionelle Codecs arbeiten jedoch oft mit hohen Bitraten oder innerhalb enger Bereiche wie Sprache und fehlen den für effiziente Sprachmodellierung erforderlichen semantischen Hinweisen. Um diese Herausforderungen anzugehen, stellen wir SemantiCodec vor, einen neuartigen Codec, der darauf ausgelegt ist, Audio über verschiedene Audiotypen hinweg, einschließlich Sprache, allgemeines Audio und Musik, in weniger als hundert Tokens pro Sekunde zu komprimieren, ohne die Qualität zu beeinträchtigen. SemantiCodec verfügt über eine Dual-Encoder-Architektur: einen semantischen Encoder, der einen selbstüberwachten AudioMAE verwendet, der durch k-Means-Clustering auf umfangreichen Audio-Daten diskretisiert wird, und einen akustischen Encoder, um die verbleibenden Details zu erfassen. Die Ausgaben des semantischen und des akustischen Encoders werden verwendet, um Audio über einen Decoder auf Basis eines Diffusionsmodells zu rekonstruieren. SemantiCodec wird in drei Varianten mit Tokenraten von 25, 50 und 100 pro Sekunde präsentiert und unterstützt eine Reihe von extrem niedrigen Bitraten zwischen 0,31 kbps und 1,43 kbps. Experimentelle Ergebnisse zeigen, dass SemantiCodec die Qualitätsrekonstruktion des State-of-the-Art-Codecs Descript signifikant übertrifft. Unsere Ergebnisse legen auch nahe, dass SemantiCodec selbst bei erheblich niedrigeren Bitraten signifikant reichhaltigere semantische Informationen als alle bewerteten Audiocodecs enthält. Unser Code und Demos sind verfügbar unter https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.