MagiCodec: Codec con Iniezione Gaussiana Maschera per Ricostruzione e Generazione ad Alta Fedeltà

MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation

May 31, 2025

Autori: Yakun Song, Jiawei Chen, Xiaobin Zhuang, Chenpeng Du, Ziyang Ma, Jian Wu, Jian Cong, Dongya Jia, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Abstract

I codec neurali audio hanno compiuto progressi significativi nel mappare in modo efficiente le forme d'onda audio grezze in rappresentazioni token discrete, che sono fondamentali per i modelli generativi audio contemporanei. Tuttavia, la maggior parte dei codec esistenti è ottimizzata principalmente per la qualità di ricostruzione, spesso a scapito della modellabilità a valle dei token codificati. Motivati dalla necessità di superare questo collo di bottiglia, introduciamo MagiCodec, un innovativo codec audio basato su Transformer a singolo strato e in streaming. MagiCodec è progettato con una pipeline di addestramento multistadio che incorpora l'iniezione di rumore gaussiano e la regolarizzazione latente, mirando esplicitamente a migliorare l'espressività semantica nei codici generati preservando al contempo un'elevata fedeltà di ricostruzione. Analizziamo analiticamente l'effetto dell'iniezione di rumore nel dominio della frequenza, dimostrando la sua efficacia nell'attenuare le componenti ad alta frequenza e nel favorire una tokenizzazione robusta. Valutazioni sperimentali estensive mostrano che MagiCodec supera i codec all'avanguardia sia nella qualità di ricostruzione che nelle attività a valle. In particolare, i token prodotti da MagiCodec presentano distribuzioni di tipo Zipf, simili a quelle osservate nei linguaggi naturali, migliorando così la compatibilità con le architetture generative basate su modelli linguistici. Il codice e i modelli pre-addestrati sono disponibili all'indirizzo https://github.com/Ereboas/MagiCodec.

English

Neural audio codecs have made significant strides in efficiently mapping raw audio waveforms into discrete token representations, which are foundational for contemporary audio generative models. However, most existing codecs are optimized primarily for reconstruction quality, often at the expense of the downstream modelability of the encoded tokens. Motivated by the need to overcome this bottleneck, we introduce MagiCodec, a novel single-layer, streaming Transformer-based audio codec. MagiCodec is designed with a multistage training pipeline that incorporates Gaussian noise injection and latent regularization, explicitly targeting the enhancement of semantic expressiveness in the generated codes while preserving high reconstruction fidelity. We analytically derive the effect of noise injection in the frequency domain, demonstrating its efficacy in attenuating high-frequency components and fostering robust tokenization. Extensive experimental evaluations show that MagiCodec surpasses state-of-the-art codecs in both reconstruction quality and downstream tasks. Notably, the tokens produced by MagiCodec exhibit Zipf-like distributions, as observed in natural languages, thereby improving compatibility with language-model-based generative architectures. The code and pre-trained models are available at https://github.com/Ereboas/MagiCodec.