MagiCodec : Codec simple à injection gaussienne masquée pour la reconstruction et la génération haute fidélité

MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation

May 31, 2025

Auteurs: Yakun Song, Jiawei Chen, Xiaobin Zhuang, Chenpeng Du, Ziyang Ma, Jian Wu, Jian Cong, Dongya Jia, Zhuo Chen, Yuping Wang, Yuxuan Wang, Xie Chen

cs.AI

Résumé

Les codecs audio neuronaux ont réalisé des avancées significatives dans la cartographie efficace des formes d'onde audio brutes en représentations discrètes sous forme de tokens, qui sont fondamentales pour les modèles génératifs audio contemporains. Cependant, la plupart des codecs existants sont principalement optimisés pour la qualité de reconstruction, souvent au détriment de la modélisabilité en aval des tokens encodés. Motivés par la nécessité de surmonter ce goulot d'étranglement, nous introduisons MagiCodec, un nouveau codec audio basé sur un Transformer monocouche et en flux continu. MagiCodec est conçu avec un pipeline d'entraînement en plusieurs étapes qui intègre l'injection de bruit gaussien et la régularisation latente, ciblant explicitement l'amélioration de l'expressivité sémantique dans les codes générés tout en préservant une fidélité de reconstruction élevée. Nous dérivons analytiquement l'effet de l'injection de bruit dans le domaine fréquentiel, démontrant son efficacité pour atténuer les composantes haute fréquence et favoriser une tokenisation robuste. Des évaluations expérimentales approfondies montrent que MagiCodec surpasse les codecs de pointe à la fois en qualité de reconstruction et dans les tâches en aval. Notamment, les tokens produits par MagiCodec présentent des distributions de type Zipf, similaires à celles observées dans les langues naturelles, améliorant ainsi la compatibilité avec les architectures génératives basées sur des modèles de langage. Le code et les modèles pré-entraînés sont disponibles à l'adresse https://github.com/Ereboas/MagiCodec.

English

Neural audio codecs have made significant strides in efficiently mapping raw audio waveforms into discrete token representations, which are foundational for contemporary audio generative models. However, most existing codecs are optimized primarily for reconstruction quality, often at the expense of the downstream modelability of the encoded tokens. Motivated by the need to overcome this bottleneck, we introduce MagiCodec, a novel single-layer, streaming Transformer-based audio codec. MagiCodec is designed with a multistage training pipeline that incorporates Gaussian noise injection and latent regularization, explicitly targeting the enhancement of semantic expressiveness in the generated codes while preserving high reconstruction fidelity. We analytically derive the effect of noise injection in the frequency domain, demonstrating its efficacy in attenuating high-frequency components and fostering robust tokenization. Extensive experimental evaluations show that MagiCodec surpasses state-of-the-art codecs in both reconstruction quality and downstream tasks. Notably, the tokens produced by MagiCodec exhibit Zipf-like distributions, as observed in natural languages, thereby improving compatibility with language-model-based generative architectures. The code and pre-trained models are available at https://github.com/Ereboas/MagiCodec.