SemantiCodec: Un códec de audio semántico de tasa de bits ultra baja para sonido general

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Autores: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han avanzado significativamente en el procesamiento de audio a través de códecs que convierten el audio en tokens discretos, permitiendo la aplicación de técnicas de modelado de lenguaje a datos de audio. Sin embargo, los códecs tradicionales suelen operar a altas tasas de bits o en dominios estrechos como el habla, y carecen de las pistas semánticas necesarias para un modelado de lenguaje eficiente. Para abordar estos desafíos, presentamos SemantiCodec, un códec novedoso diseñado para comprimir audio en menos de cien tokens por segundo en diversos tipos de audio, incluyendo habla, audio general y música, sin comprometer la calidad. SemantiCodec cuenta con una arquitectura de doble codificador: un codificador semántico que utiliza un AudioMAE auto-supervisado, discretizado mediante clustering k-means en extensos datos de audio, y un codificador acústico para capturar los detalles restantes. Las salidas de los codificadores semántico y acústico se utilizan para reconstruir el audio a través de un decodificador basado en modelos de difusión. SemantiCodec se presenta en tres variantes con tasas de tokens de 25, 50 y 100 por segundo, soportando un rango de tasas de bits ultra bajas entre 0.31 kbps y 1.43 kbps. Los resultados experimentales demuestran que SemantiCodec supera significativamente al códec de última generación Descript en calidad de reconstrucción. Nuestros resultados también sugieren que SemantiCodec contiene información semántica significativamente más rica que todos los códecs de audio evaluados, incluso a tasas de bits considerablemente más bajas. Nuestro código y demostraciones están disponibles en https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.