MagiCodec: Eenvoudige Codec met Gemaskeerde Gaussische Injectie voor Hoogwaardige Reconstructie en Generatie

MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation

May 31, 2025

Auteurs: Yakun Song, Jiawei Chen, Xiaobin Zhuang, Chenpeng Du, Ziyang Ma, Jian Wu, Jian Cong, Dongya Jia, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Samenvatting

Neurale audiocodecs hebben aanzienlijke vooruitgang geboekt in het efficiënt omzetten van ruwe audiogolfvormen naar discrete tokenrepresentaties, wat fundamenteel is voor hedendaagse generatieve audiomodellen. De meeste bestaande codecs zijn echter voornamelijk geoptimaliseerd voor reconstructiekwaliteit, vaak ten koste van de modelleerbaarheid van de gecodeerde tokens in downstream taken. Gemotiveerd door de noodzaak om deze beperking te overwinnen, introduceren we MagiCodec, een innovatieve, op een Transformer gebaseerde audiocodec met één laag en streamingmogelijkheden. MagiCodec is ontworpen met een meerfasig trainingspijplijn die Gaussische ruisinjectie en latente regularisatie omvat, expliciet gericht op het verbeteren van de semantische expressiviteit van de gegenereerde codes terwijl een hoge reconstructiefideliteit behouden blijft. We analyseren het effect van ruisinjectie in het frequentiedomein analytisch en tonen de effectiviteit ervan aan in het dempen van hoogfrequente componenten en het bevorderen van robuuste tokenisatie. Uitgebreide experimentele evaluaties laten zien dat MagiCodec state-of-the-art codecs overtreft in zowel reconstructiekwaliteit als downstream taken. Opmerkelijk is dat de tokens geproduceerd door MagiCodec Zipf-achtige distributies vertonen, zoals waargenomen in natuurlijke talen, waardoor de compatibiliteit met op taalmodellen gebaseerde generatieve architecturen wordt verbeterd. De code en vooraf getrainde modellen zijn beschikbaar op https://github.com/Ereboas/MagiCodec.

English

Neural audio codecs have made significant strides in efficiently mapping raw audio waveforms into discrete token representations, which are foundational for contemporary audio generative models. However, most existing codecs are optimized primarily for reconstruction quality, often at the expense of the downstream modelability of the encoded tokens. Motivated by the need to overcome this bottleneck, we introduce MagiCodec, a novel single-layer, streaming Transformer-based audio codec. MagiCodec is designed with a multistage training pipeline that incorporates Gaussian noise injection and latent regularization, explicitly targeting the enhancement of semantic expressiveness in the generated codes while preserving high reconstruction fidelity. We analytically derive the effect of noise injection in the frequency domain, demonstrating its efficacy in attenuating high-frequency components and fostering robust tokenization. Extensive experimental evaluations show that MagiCodec surpasses state-of-the-art codecs in both reconstruction quality and downstream tasks. Notably, the tokens produced by MagiCodec exhibit Zipf-like distributions, as observed in natural languages, thereby improving compatibility with language-model-based generative architectures. The code and pre-trained models are available at https://github.com/Ereboas/MagiCodec.