Discrete Audio Tokens: Meer Dan Een Overzicht!

Discrete Audio Tokens: More Than a Survey!

June 12, 2025

Auteurs: Pooneh Mousavi, Gallil Maimon, Adel Moumen, Darius Petermann, Jiatong Shi, Haibin Wu, Haici Yang, Anastasia Kuznetsova, Artem Ploujnikov, Ricard Marxer, Bhuvana Ramabhadran, Benjamin Elizalde, Loren Lugosch, Jinyu Li, Cem Subakan, Phil Woodland, Minje Kim, Hung-yi Lee, Shinji Watanabe, Yossi Adi, Mirco Ravanelli

cs.AI

Samenvatting

Discrete audiotokens zijn compacte representaties die ernaar streven de perceptuele kwaliteit, fonetische inhoud en sprekerskenmerken te behouden, terwijl ze efficiënte opslag en inferentie mogelijk maken, evenals competitieve prestaties in diverse downstream taken. Ze bieden een praktisch alternatief voor continue kenmerken, waardoor spraak en audio kunnen worden geïntegreerd in moderne grote taalmodellen (LLMs). Naarmate de interesse in tokengebaseerde audiobewerking groeit, zijn verschillende tokenisatiemethoden ontstaan, en hebben verschillende overzichten de laatste ontwikkelingen op dit gebied besproken. Bestaande studies richten zich echter vaak op specifieke domeinen of taken en missen een uniforme vergelijking over verschillende benchmarks. Dit artikel presenteert een systematische review en benchmark van discrete audiotokenizers, waarbij drie domeinen worden behandeld: spraak, muziek en algemene audio. We stellen een taxonomie voor van tokenisatiebenaderingen op basis van encoder-decoder, kwantisatietechnieken, trainingsparadigma, streamability en toepassingsdomeinen. We evalueren tokenizers op meerdere benchmarks voor reconstructie, downstream prestaties en akoestische taalmodellering, en analyseren afwegingen via gecontroleerde ablatiestudies. Onze bevindingen belichten belangrijke beperkingen, praktische overwegingen en open uitdagingen, en bieden inzicht en richtlijnen voor toekomstig onderzoek in dit snel evoluerende gebied. Voor meer informatie, inclusief onze belangrijkste resultaten en tokenizerdatabase, verwijzen we naar onze website: https://poonehmousavi.github.io/dates-website/.

English

Discrete audio tokens are compact representations that aim to preserve perceptual quality, phonetic content, and speaker characteristics while enabling efficient storage and inference, as well as competitive performance across diverse downstream tasks.They provide a practical alternative to continuous features, enabling the integration of speech and audio into modern large language models (LLMs). As interest in token-based audio processing grows, various tokenization methods have emerged, and several surveys have reviewed the latest progress in the field. However, existing studies often focus on specific domains or tasks and lack a unified comparison across various benchmarks. This paper presents a systematic review and benchmark of discrete audio tokenizers, covering three domains: speech, music, and general audio. We propose a taxonomy of tokenization approaches based on encoder-decoder, quantization techniques, training paradigm, streamability, and application domains. We evaluate tokenizers on multiple benchmarks for reconstruction, downstream performance, and acoustic language modeling, and analyze trade-offs through controlled ablation studies. Our findings highlight key limitations, practical considerations, and open challenges, providing insight and guidance for future research in this rapidly evolving area. For more information, including our main results and tokenizer database, please refer to our website: https://poonehmousavi.github.io/dates-website/.