Token Audio Discreti: Più di una semplice rassegna!

Discrete Audio Tokens: More Than a Survey!

June 12, 2025

Autori: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli

cs.AI

Abstract

I token audio discreti sono rappresentazioni compatte che mirano a preservare la qualità percettiva, il contenuto fonetico e le caratteristiche del parlante, consentendo al contempo un'archiviazione e un'inferenza efficienti, nonché prestazioni competitive in una vasta gamma di task downstream. Essi rappresentano un'alternativa pratica alle feature continue, permettendo l'integrazione di voce e audio nei moderni modelli linguistici di grandi dimensioni (LLM). Con il crescente interesse per l'elaborazione audio basata su token, sono emersi vari metodi di tokenizzazione, e diverse rassegne hanno esaminato i progressi più recenti nel campo. Tuttavia, gli studi esistenti spesso si concentrano su domini o task specifici e mancano di un confronto unificato su vari benchmark. Questo articolo presenta una revisione sistematica e un benchmark dei tokenizzatori audio discreti, coprendo tre domini: parlato, musica e audio generico. Proponiamo una tassonomia degli approcci di tokenizzazione basata su encoder-decoder, tecniche di quantizzazione, paradigma di addestramento, streamability e domini di applicazione. Valutiamo i tokenizzatori su più benchmark per la ricostruzione, le prestazioni downstream e la modellazione linguistica acustica, e analizziamo i compromessi attraverso studi di ablazione controllati. I nostri risultati evidenziano limitazioni chiave, considerazioni pratiche e sfide aperte, fornendo intuizioni e linee guida per la ricerca futura in questo settore in rapida evoluzione. Per ulteriori informazioni, inclusi i nostri risultati principali e il database dei tokenizzatori, si prega di consultare il nostro sito web: https://poonehmousavi.github.io/dates-website/.

English

Discrete audio tokens are compact representations that aim to preserve perceptual quality, phonetic content, and speaker characteristics while enabling efficient storage and inference, as well as competitive performance across diverse downstream tasks.They provide a practical alternative to continuous features, enabling the integration of speech and audio into modern large language models (LLMs). As interest in token-based audio processing grows, various tokenization methods have emerged, and several surveys have reviewed the latest progress in the field. However, existing studies often focus on specific domains or tasks and lack a unified comparison across various benchmarks. This paper presents a systematic review and benchmark of discrete audio tokenizers, covering three domains: speech, music, and general audio. We propose a taxonomy of tokenization approaches based on encoder-decoder, quantization techniques, training paradigm, streamability, and application domains. We evaluate tokenizers on multiple benchmarks for reconstruction, downstream performance, and acoustic language modeling, and analyze trade-offs through controlled ablation studies. Our findings highlight key limitations, practical considerations, and open challenges, providing insight and guidance for future research in this rapidly evolving area. For more information, including our main results and tokenizer database, please refer to our website: https://poonehmousavi.github.io/dates-website/.