MagiCodec: Codec Simple con Inyección Gaussiana Enmascarada para Reconstrucción y Generación de Alta Fidelidad

MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation

May 31, 2025

Autores: Yakun Song, Jiawei Chen, Xiaobin Zhuang, Chenpeng Du, Ziyang Ma, Jian Wu, Jian Cong, Dongya Jia, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Resumen

Los códecs neuronales de audio han logrado avances significativos en el mapeo eficiente de formas de onda de audio en bruto hacia representaciones discretas de tokens, las cuales son fundamentales para los modelos generativos de audio contemporáneos. Sin embargo, la mayoría de los códecs existentes están optimizados principalmente para la calidad de reconstrucción, a menudo a expensas de la modelabilidad descendente de los tokens codificados. Motivados por la necesidad de superar este cuello de botella, presentamos MagiCodec, un novedoso códec de audio basado en Transformers de una sola capa y en tiempo real. MagiCodec está diseñado con una canalización de entrenamiento en múltiples etapas que incorpora inyección de ruido gaussiano y regularización latente, apuntando explícitamente a mejorar la expresividad semántica en los códigos generados mientras se preserva una alta fidelidad de reconstrucción. Analíticamente derivamos el efecto de la inyección de ruido en el dominio de la frecuencia, demostrando su eficacia en la atenuación de componentes de alta frecuencia y el fomento de una tokenización robusta. Evaluaciones experimentales exhaustivas muestran que MagiCodec supera a los códecs más avanzados tanto en calidad de reconstrucción como en tareas descendentes. Es notable que los tokens producidos por MagiCodec exhiben distribuciones similares a las de Zipf, como se observa en los lenguajes naturales, mejorando así la compatibilidad con arquitecturas generativas basadas en modelos de lenguaje. El código y los modelos preentrenados están disponibles en https://github.com/Ereboas/MagiCodec.

English

Neural audio codecs have made significant strides in efficiently mapping raw audio waveforms into discrete token representations, which are foundational for contemporary audio generative models. However, most existing codecs are optimized primarily for reconstruction quality, often at the expense of the downstream modelability of the encoded tokens. Motivated by the need to overcome this bottleneck, we introduce MagiCodec, a novel single-layer, streaming Transformer-based audio codec. MagiCodec is designed with a multistage training pipeline that incorporates Gaussian noise injection and latent regularization, explicitly targeting the enhancement of semantic expressiveness in the generated codes while preserving high reconstruction fidelity. We analytically derive the effect of noise injection in the frequency domain, demonstrating its efficacy in attenuating high-frequency components and fostering robust tokenization. Extensive experimental evaluations show that MagiCodec surpasses state-of-the-art codecs in both reconstruction quality and downstream tasks. Notably, the tokens produced by MagiCodec exhibit Zipf-like distributions, as observed in natural languages, thereby improving compatibility with language-model-based generative architectures. The code and pre-trained models are available at https://github.com/Ereboas/MagiCodec.