MagiCodec: Codec Simples com Injeção Gaussiana Mascarada para Reconstrução e Geração de Alta Fidelidade

MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation

May 31, 2025

Autores: Yakun Song, Jiawei Chen, Xiaobin Zhuang, Chenpeng Du, Ziyang Ma, Jian Wu, Jian Cong, Dongya Jia, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Resumo

Codecs neurais de áudio têm feito avanços significativos no mapeamento eficiente de formas de onda de áudio brutas em representações discretas de tokens, que são fundamentais para modelos generativos de áudio contemporâneos. No entanto, a maioria dos codecs existentes é otimizada principalmente para qualidade de reconstrução, frequentemente em detrimento da modelabilidade dos tokens codificados em tarefas subsequentes. Motivados pela necessidade de superar esse gargalo, introduzimos o MagiCodec, um novo codec de áudio baseado em Transformer de camada única e streaming. O MagiCodec foi projetado com um pipeline de treinamento em múltiplas etapas que incorpora injeção de ruído gaussiano e regularização latente, visando explicitamente o aprimoramento da expressividade semântica nos códigos gerados, ao mesmo tempo em que preserva alta fidelidade de reconstrução. Analiticamente, derivamos o efeito da injeção de ruído no domínio da frequência, demonstrando sua eficácia na atenuação de componentes de alta frequência e no fomento de uma tokenização robusta. Avaliações experimentais extensivas mostram que o MagiCodec supera codecs state-of-the-art tanto em qualidade de reconstrução quanto em tarefas subsequentes. Notavelmente, os tokens produzidos pelo MagiCodec exibem distribuições semelhantes à lei de Zipf, como observado em linguagens naturais, melhorando assim a compatibilidade com arquiteturas generativas baseadas em modelos de linguagem. O código e os modelos pré-treinados estão disponíveis em https://github.com/Ereboas/MagiCodec.

English

Neural audio codecs have made significant strides in efficiently mapping raw audio waveforms into discrete token representations, which are foundational for contemporary audio generative models. However, most existing codecs are optimized primarily for reconstruction quality, often at the expense of the downstream modelability of the encoded tokens. Motivated by the need to overcome this bottleneck, we introduce MagiCodec, a novel single-layer, streaming Transformer-based audio codec. MagiCodec is designed with a multistage training pipeline that incorporates Gaussian noise injection and latent regularization, explicitly targeting the enhancement of semantic expressiveness in the generated codes while preserving high reconstruction fidelity. We analytically derive the effect of noise injection in the frequency domain, demonstrating its efficacy in attenuating high-frequency components and fostering robust tokenization. Extensive experimental evaluations show that MagiCodec surpasses state-of-the-art codecs in both reconstruction quality and downstream tasks. Notably, the tokens produced by MagiCodec exhibit Zipf-like distributions, as observed in natural languages, thereby improving compatibility with language-model-based generative architectures. The code and pre-trained models are available at https://github.com/Ereboas/MagiCodec.