MAEB: Benchmark Massiccio per l'Embedding Audio

MAEB: Massive Audio Embedding Benchmark

February 17, 2026

Autori: Adnan El Assadi, Isaac Chung, Chenghao Xiao, Roman Solomatin, Animesh Jha, Rahul Chand, Silky Singh, Kaitlyn Wang, Ali Sartaz Khan, Marc Moussa Nasser, Sufen Fong, Pengfei He, Alan Xiao, Ayush Sunil Munot, Aditya Shrivastava, Artem Gazizov, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

Abstract

Introduciamo il Massive Audio Embedding Benchmark (MAEB), un benchmark su larga scala che copre 30 task nell'ambito di parlato, musica, suoni ambientali e ragionamento audio-testo cross-modale in oltre 100 lingue. Valutiamo oltre 50 modelli e riscontriamo che nessun singolo modello domina in tutti i task: i modelli contrastivi audio-testo eccellono nella classificazione dei suoni ambientali (ad es. ESC50) ma ottengono punteggi quasi casuali sui task di parlato multilingue (ad es. SIB-FLEURS), mentre i modelli pre-addestrati sul parlato mostrano il pattern opposto. Il clustering rimane impegnativo per tutti i modelli, con risultati solo modesti anche per il modello dalle prestazioni migliori. Osserviamo che i modelli che eccellono nella comprensione acustica spesso performano male sui task linguistici, e viceversa. Dimostriamo inoltre che le prestazioni degli encoder audio su MAEB correlano fortemente con le loro prestazioni quando utilizzati in modelli linguistici di grandi dimensioni per l'audio. MAEB è derivato da MAEB+, una raccolta di 98 task. MAEB è progettato per mantenere la diversità dei task riducendo al contempo i costi di valutazione, e si integra nell'ecosistema MTEB per una valutazione unificata tra le modalità testo, immagine e audio. Rilasciamo MAEB e tutti i 98 task insieme al codice e a una leaderboard all'indirizzo https://github.com/embeddings-benchmark/mteb.

English

We introduce the Massive Audio Embedding Benchmark (MAEB), a large-scale benchmark covering 30 tasks across speech, music, environmental sounds, and cross-modal audio-text reasoning in 100+ languages. We evaluate 50+ models and find that no single model dominates across all tasks: contrastive audio-text models excel at environmental sound classification (e.g., ESC50) but score near random on multilingual speech tasks (e.g., SIB-FLEURS), while speech-pretrained models show the opposite pattern. Clustering remains challenging for all models, with even the best-performing model achieving only modest results. We observe that models excelling on acoustic understanding often perform poorly on linguistic tasks, and vice versa. We also show that the performance of audio encoders on MAEB correlates highly with their performance when used in audio large language models. MAEB is derived from MAEB+, a collection of 98 tasks. MAEB is designed to maintain task diversity while reducing evaluation cost, and it integrates into the MTEB ecosystem for unified evaluation across text, image, and audio modalities. We release MAEB and all 98 tasks along with code and a leaderboard at https://github.com/embeddings-benchmark/mteb.