Jetons Audio Discrets : Bien Plus Qu'une Étude !

Discrete Audio Tokens: More Than a Survey!

June 12, 2025

Auteurs: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli

cs.AI

Résumé

Les tokens audio discrets sont des représentations compactes visant à préserver la qualité perceptuelle, le contenu phonétique et les caractéristiques du locuteur, tout en permettant un stockage et une inférence efficaces, ainsi que des performances compétitives dans diverses tâches en aval. Ils offrent une alternative pratique aux caractéristiques continues, facilitant l'intégration de la parole et de l'audio dans les modèles de langage de grande envergure (LLMs). Alors que l'intérêt pour le traitement audio basé sur les tokens grandit, diverses méthodes de tokenisation ont émergé, et plusieurs études ont passé en revue les derniers progrès dans ce domaine. Cependant, les études existantes se concentrent souvent sur des domaines ou des tâches spécifiques et manquent d'une comparaison unifiée à travers divers benchmarks. Cet article présente une revue systématique et un benchmark des tokeniseurs audio discrets, couvrant trois domaines : la parole, la musique et l'audio général. Nous proposons une taxonomie des approches de tokenisation basée sur l'encodeur-décodeur, les techniques de quantification, le paradigme d'entraînement, la capacité de streaming et les domaines d'application. Nous évaluons les tokeniseurs sur plusieurs benchmarks pour la reconstruction, les performances en aval et la modélisation du langage acoustique, et analysons les compromis à travers des études d'ablation contrôlées. Nos résultats mettent en lumière les principales limitations, les considérations pratiques et les défis ouverts, offrant des perspectives et des orientations pour les recherches futures dans ce domaine en évolution rapide. Pour plus d'informations, y compris nos principaux résultats et la base de données des tokeniseurs, veuillez consulter notre site web : https://poonehmousavi.github.io/dates-website/.

English

Discrete audio tokens are compact representations that aim to preserve perceptual quality, phonetic content, and speaker characteristics while enabling efficient storage and inference, as well as competitive performance across diverse downstream tasks.They provide a practical alternative to continuous features, enabling the integration of speech and audio into modern large language models (LLMs). As interest in token-based audio processing grows, various tokenization methods have emerged, and several surveys have reviewed the latest progress in the field. However, existing studies often focus on specific domains or tasks and lack a unified comparison across various benchmarks. This paper presents a systematic review and benchmark of discrete audio tokenizers, covering three domains: speech, music, and general audio. We propose a taxonomy of tokenization approaches based on encoder-decoder, quantization techniques, training paradigm, streamability, and application domains. We evaluate tokenizers on multiple benchmarks for reconstruction, downstream performance, and acoustic language modeling, and analyze trade-offs through controlled ablation studies. Our findings highlight key limitations, practical considerations, and open challenges, providing insight and guidance for future research in this rapidly evolving area. For more information, including our main results and tokenizer database, please refer to our website: https://poonehmousavi.github.io/dates-website/.