Tokens de Áudio Discretos: Muito Mais que um Levantamento!
Discrete Audio Tokens: More Than a Survey!
June 12, 2025
Autores: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli
cs.AI
Resumo
Tokens de áudio discretos são representações compactas que visam preservar
a qualidade perceptual, o conteúdo fonético e as características do falante,
ao mesmo tempo que permitem armazenamento e inferência eficientes, além de
desempenho competitivo em diversas tarefas subsequentes. Eles oferecem uma
alternativa prática aos recursos contínuos, possibilitando a integração de fala
e áudio em modelos de linguagem de grande escala (LLMs). À medida que o
interesse no processamento de áudio baseado em tokens cresce, diversos métodos
de tokenização surgiram, e vários estudos revisaram os avanços mais recentes
neste campo. No entanto, os trabalhos existentes frequentemente se concentram
em domínios ou tarefas específicos e carecem de uma comparação unificada em
vários benchmarks. Este artigo apresenta uma revisão sistemática e um
benchmark de tokenizadores de áudio discretos, abrangendo três domínios: fala,
música e áudio geral. Propomos uma taxonomia das abordagens de tokenização
com base em técnicas de codificador-decodificador, quantização, paradigma de
treinamento, capacidade de streaming e domínios de aplicação. Avaliamos os
tokenizadores em múltiplos benchmarks para reconstrução, desempenho em tarefas
subsequentes e modelagem de linguagem acústica, e analisamos trade-offs por
meio de estudos de ablação controlados. Nossas descobertas destacam limitações
chave, considerações práticas e desafios em aberto, fornecendo insights e
orientações para pesquisas futuras nesta área em rápida evolução. Para mais
informações, incluindo nossos principais resultados e banco de dados de
tokenizadores, consulte nosso site:
https://poonehmousavi.github.io/dates-website/.
English
Discrete audio tokens are compact representations that aim to preserve
perceptual quality, phonetic content, and speaker characteristics while
enabling efficient storage and inference, as well as competitive performance
across diverse downstream tasks.They provide a practical alternative to
continuous features, enabling the integration of speech and audio into modern
large language models (LLMs). As interest in token-based audio processing
grows, various tokenization methods have emerged, and several surveys have
reviewed the latest progress in the field. However, existing studies often
focus on specific domains or tasks and lack a unified comparison across various
benchmarks. This paper presents a systematic review and benchmark of discrete
audio tokenizers, covering three domains: speech, music, and general audio. We
propose a taxonomy of tokenization approaches based on encoder-decoder,
quantization techniques, training paradigm, streamability, and application
domains. We evaluate tokenizers on multiple benchmarks for reconstruction,
downstream performance, and acoustic language modeling, and analyze trade-offs
through controlled ablation studies. Our findings highlight key limitations,
practical considerations, and open challenges, providing insight and guidance
for future research in this rapidly evolving area. For more information,
including our main results and tokenizer database, please refer to our website:
https://poonehmousavi.github.io/dates-website/.