MAEB: Punto de Referencia Masivo para Incrustaciones de Audio

MAEB: Massive Audio Embedding Benchmark

February 17, 2026

Autores: Adnan El Assadi, Isaac Chung, Chenghao Xiao, Roman Solomatin, Animesh Jha, Rahul Chand, Silky Singh, Kaitlyn Wang, Ali Sartaz Khan, Marc Moussa Nasser, Sufen Fong, Pengfei He, Alan Xiao, Ayush Sunil Munot, Aditya Shrivastava, Artem Gazizov, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

Resumen

Presentamos el Massive Audio Embedding Benchmark (MAEB), un benchmark a gran escala que abarca 30 tareas en los ámbitos del habla, la música, los sonidos ambientales y el razonamiento audio-texto multimodal en más de 100 idiomas. Evaluamos más de 50 modelos y encontramos que ningún modelo domina en todas las tareas: los modelos de contraste audio-texto sobresalen en la clasificación de sonidos ambientales (por ejemplo, ESC50), pero obtienen puntuaciones cercanas al azar en tareas de habla multilingüe (por ejemplo, SIB-FLEURS), mientras que los modelos preentrenados en habla muestran el patrón opuesto. La agrupación (clustering) sigue siendo un desafío para todos los modelos, ya que incluso el de mejor rendimiento logra solo resultados modestos. Observamos que los modelos que sobresalen en la comprensión acústica a menudo tienen un rendimiento deficiente en tareas lingüísticas, y viceversa. También demostramos que el rendimiento de los codificadores de audio en MAEB se correlaciona significativamente con su rendimiento cuando se utilizan en modelos de lenguaje grande (LLM) de audio. MAEB se deriva de MAEB+, una colección de 98 tareas. MAEB está diseñado para mantener la diversidad de tareas mientras reduce el costo de evaluación, y se integra en el ecosistema MTEB para una evaluación unificada en las modalidades de texto, imagen y audio. Publicamos MAEB y las 98 tareas, junto con el código y una tabla de clasificación (leaderboard), en https://github.com/embeddings-benchmark/mteb.

English

We introduce the Massive Audio Embedding Benchmark (MAEB), a large-scale benchmark covering 30 tasks across speech, music, environmental sounds, and cross-modal audio-text reasoning in 100+ languages. We evaluate 50+ models and find that no single model dominates across all tasks: contrastive audio-text models excel at environmental sound classification (e.g., ESC50) but score near random on multilingual speech tasks (e.g., SIB-FLEURS), while speech-pretrained models show the opposite pattern. Clustering remains challenging for all models, with even the best-performing model achieving only modest results. We observe that models excelling on acoustic understanding often perform poorly on linguistic tasks, and vice versa. We also show that the performance of audio encoders on MAEB correlates highly with their performance when used in audio large language models. MAEB is derived from MAEB+, a collection of 98 tasks. MAEB is designed to maintain task diversity while reducing evaluation cost, and it integrates into the MTEB ecosystem for unified evaluation across text, image, and audio modalities. We release MAEB and all 98 tasks along with code and a leaderboard at https://github.com/embeddings-benchmark/mteb.