Tokens de Audio Discretos: ¡Más que una Revisión!

Discrete Audio Tokens: More Than a Survey!

June 12, 2025

Autores: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli

cs.AI

Resumen

Los tokens de audio discretos son representaciones compactas que buscan preservar la calidad perceptual, el contenido fonético y las características del hablante, al mismo tiempo que permiten un almacenamiento e inferencia eficientes, así como un rendimiento competitivo en diversas tareas posteriores. Ofrecen una alternativa práctica a las características continuas, facilitando la integración del habla y el audio en los modelos modernos de lenguaje de gran escala (LLMs, por sus siglas en inglés). A medida que crece el interés en el procesamiento de audio basado en tokens, han surgido diversos métodos de tokenización, y varios estudios han revisado los avances más recientes en este campo. Sin embargo, los trabajos existentes suelen centrarse en dominios o tareas específicos y carecen de una comparación unificada en varios puntos de referencia. Este artículo presenta una revisión sistemática y una evaluación comparativa de tokenizadores de audio discretos, abarcando tres dominios: habla, música y audio general. Proponemos una taxonomía de enfoques de tokenización basada en técnicas de codificador-decodificador, cuantización, paradigmas de entrenamiento, capacidad de transmisión en flujo y dominios de aplicación. Evaluamos los tokenizadores en múltiples puntos de referencia para la reconstrucción, el rendimiento en tareas posteriores y el modelado de lenguaje acústico, y analizamos las compensaciones mediante estudios de ablación controlados. Nuestros hallazgos destacan limitaciones clave, consideraciones prácticas y desafíos abiertos, ofreciendo perspectivas y orientación para futuras investigaciones en esta área en rápida evolución. Para obtener más información, incluidos nuestros principales resultados y la base de datos de tokenizadores, consulte nuestro sitio web: https://poonehmousavi.github.io/dates-website/.

English

Discrete audio tokens are compact representations that aim to preserve perceptual quality, phonetic content, and speaker characteristics while enabling efficient storage and inference, as well as competitive performance across diverse downstream tasks.They provide a practical alternative to continuous features, enabling the integration of speech and audio into modern large language models (LLMs). As interest in token-based audio processing grows, various tokenization methods have emerged, and several surveys have reviewed the latest progress in the field. However, existing studies often focus on specific domains or tasks and lack a unified comparison across various benchmarks. This paper presents a systematic review and benchmark of discrete audio tokenizers, covering three domains: speech, music, and general audio. We propose a taxonomy of tokenization approaches based on encoder-decoder, quantization techniques, training paradigm, streamability, and application domains. We evaluate tokenizers on multiple benchmarks for reconstruction, downstream performance, and acoustic language modeling, and analyze trade-offs through controlled ablation studies. Our findings highlight key limitations, practical considerations, and open challenges, providing insight and guidance for future research in this rapidly evolving area. For more information, including our main results and tokenizer database, please refer to our website: https://poonehmousavi.github.io/dates-website/.