SemantiCodec: Un Codec Audio Semantico a Bitrate Ultra Basso per Suoni Generici

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Autori: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno compiuto progressi significativi nell'elaborazione audio attraverso codec che convertono l'audio in token discreti, consentendo l'applicazione di tecniche di modellazione linguistica ai dati audio. Tuttavia, i codec tradizionali spesso operano a bitrate elevati o in domini ristretti come il parlato e mancano degli indizi semantici necessari per una modellazione linguistica efficiente. Per affrontare queste sfide, introduciamo SemantiCodec, un nuovo codec progettato per comprimere l'audio in meno di cento token al secondo su diversi tipi di audio, inclusi parlato, audio generico e musica, senza compromettere la qualità. SemantiCodec presenta un'architettura a doppio encoder: un encoder semantico che utilizza un AudioMAE auto-supervisionato, discretizzato mediante clustering k-means su ampi dati audio, e un encoder acustico per catturare i dettagli rimanenti. Le uscite degli encoder semantico e acustico vengono utilizzate per ricostruire l'audio tramite un decoder basato su modelli di diffusione. SemantiCodec è disponibile in tre varianti con tassi di token di 25, 50 e 100 al secondo, supportando una gamma di bitrate ultra-bassi compresi tra 0,31 kbps e 1,43 kbps. I risultati sperimentali dimostrano che SemantiCodec supera significativamente il codec all'avanguardia Descript in termini di qualità di ricostruzione. I nostri risultati suggeriscono inoltre che SemantiCodec contiene informazioni semantiche significativamente più ricche rispetto a tutti i codec audio valutati, anche a bitrate notevolmente inferiori. Il nostro codice e le demo sono disponibili all'indirizzo https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.