SemantiCodec: Um Codec Semântico de Áudio de Taxa de Bits Ultrabaixa para Sons Gerais

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Autores: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) avançaram significativamente o processamento de áudio por meio de codecs que convertem áudio em tokens discretos, permitindo a aplicação de técnicas de modelagem de linguagem a dados de áudio. No entanto, os codecs tradicionais geralmente operam em altas taxas de bits ou em domínios restritos, como fala, e carecem das pistas semânticas necessárias para uma modelagem de linguagem eficiente. Para enfrentar esses desafios, introduzimos o SemantiCodec, um codec inovador projetado para comprimir áudio em menos de cem tokens por segundo em diversos tipos de áudio, incluindo fala, áudio geral e música, sem comprometer a qualidade. O SemantiCodec apresenta uma arquitetura de codificador duplo: um codificador semântico que utiliza um AudioMAE auto-supervisionado, discretizado por meio de agrupamento k-means em extensos dados de áudio, e um codificador acústico para capturar os detalhes restantes. As saídas dos codificadores semântico e acústico são usadas para reconstruir o áudio por meio de um decodificador baseado em modelo de difusão. O SemantiCodec é apresentado em três variantes com taxas de tokens de 25, 50 e 100 por segundo, suportando uma gama de taxas de bits ultrabaixas entre 0,31 kbps e 1,43 kbps. Resultados experimentais demonstram que o SemantiCodec supera significativamente o codec Descript, estado da arte, em qualidade de reconstrução. Nossos resultados também sugerem que o SemantiCodec contém informações semânticas significativamente mais ricas do que todos os codecs de áudio avaliados, mesmo em taxas de bits significativamente mais baixas. Nosso código e demonstrações estão disponíveis em https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.