SemantiCodec: ультранизкоскоростной семантический аудиокодек для общего звука

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

Авторы: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

Аннотация

Большие языковые модели (LLM) значительно продвинули аудиообработку через аудиокодеки, которые преобразуют аудио в дискретные токены, позволяя применять техники языкового моделирования к аудиоданным. Однако традиционные кодеки часто работают с высокими битрейтами или в узких областях, таких как речь, и лишены семантических подсказок, необходимых для эффективного языкового моделирования. Для решения этих проблем мы представляем SemantiCodec, новый кодек, разработанный для сжатия аудио в менее чем сто токенов в секунду по разнообразным типам аудио, включая речь, общее аудио и музыку, без ущерба качеству. SemantiCodec имеет двойную архитектуру кодировщика: семантический кодировщик, использующий самообучаемый AudioMAE, дискретизированный с использованием кластеризации k-средних на обширных аудиоданных, и акустический кодировщик для захвата оставшихся деталей. Выходы семантического и акустического кодировщиков используются для восстановления аудио с помощью декодера на основе модели диффузии. SemantiCodec представлен в трех вариантах с частотой токенов 25, 50 и 100 в секунду, поддерживая широкий диапазон сверхнизких битрейтов от 0,31 кбит/с до 1,43 кбит/с. Экспериментальные результаты показывают, что SemantiCodec значительно превосходит существующий кодек Descript по качеству восстановления. Наши результаты также указывают на то, что SemantiCodec содержит значительно более богатую семантическую информацию, чем все оцененные аудиокодеки, даже при значительно более низких битрейтах. Наш код и демонстрации доступны по адресу https://haoheliu.github.io/SemantiCodec/.

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.