SemantiCodec：汎用音声向け超低ビットレートセマンティックオーディオコーデック

SemantiCodec: An Ultra Low Bitrate Semantic Audio Codec for General Sound

April 30, 2024

著者: Haohe Liu, Xuenan Xu, Yi Yuan, Mengyue Wu, Wenwu Wang, Mark D. Plumbley

cs.AI

要旨

大規模言語モデル（LLMs）は、オーディオを離散トークンに変換するオーディオコーデックを通じて、オーディオ処理を大幅に進化させ、言語モデリング技術をオーディオデータに適用することを可能にしました。しかし、従来のコーデックは高ビットレートで動作したり、音声などの狭い領域に限定されており、効率的な言語モデリングに必要な意味的な手がかりを欠いていました。これらの課題に対処するため、我々はSemantiCodecを提案します。これは、音声、一般的なオーディオ、音楽など多様なオーディオタイプにおいて、品質を損なうことなく1秒あたり100トークン未満に圧縮する新しいコーデックです。SemantiCodecは、デュアルエンコーダアーキテクチャを採用しています。自己教師ありのAudioMAEを使用した意味エンコーダは、広範なオーディオデータに対してk-meansクラスタリングを用いて離散化され、残りの詳細を捕捉するための音響エンコーダが組み合わされています。意味エンコーダと音響エンコーダの出力は、拡散モデルベースのデコーダを使用してオーディオを再構築するために使用されます。SemantiCodecは、1秒あたり25、50、100トークンの3つのバリエーションで提供され、0.31 kbpsから1.43 kbpsの範囲の超低ビットレートをサポートします。実験結果は、SemantiCodecが再構築品質において最先端のDescriptコーデックを大幅に上回ることを示しています。また、我々の結果は、SemantiCodecが評価されたすべてのオーディオコーデックよりも、大幅に低いビットレートであっても、より豊富な意味情報を含んでいることを示唆しています。コードとデモはhttps://haoheliu.github.io/SemantiCodec/で公開されています。

English

Large language models (LLMs) have significantly advanced audio processing through audio codecs that convert audio into discrete tokens, enabling the application of language modelling techniques to audio data. However, traditional codecs often operate at high bitrates or within narrow domains such as speech and lack the semantic clues required for efficient language modelling. Addressing these challenges, we introduce SemantiCodec, a novel codec designed to compress audio into fewer than a hundred tokens per second across diverse audio types, including speech, general audio, and music, without compromising quality. SemantiCodec features a dual-encoder architecture: a semantic encoder using a self-supervised AudioMAE, discretized using k-means clustering on extensive audio data, and an acoustic encoder to capture the remaining details. The semantic and acoustic encoder outputs are used to reconstruct audio via a diffusion-model-based decoder. SemantiCodec is presented in three variants with token rates of 25, 50, and 100 per second, supporting a range of ultra-low bit rates between 0.31 kbps and 1.43 kbps. Experimental results demonstrate that SemantiCodec significantly outperforms the state-of-the-art Descript codec on reconstruction quality. Our results also suggest that SemantiCodec contains significantly richer semantic information than all evaluated audio codecs, even at significantly lower bitrates. Our code and demos are available at https://haoheliu.github.io/SemantiCodec/.