MAEB: Бенчмарк для массового получения аудио-эмбеддингов

MAEB: Massive Audio Embedding Benchmark

February 17, 2026

Авторы: Adnan El Assadi, Isaac Chung, Chenghao Xiao, Roman Solomatin, Animesh Jha, Rahul Chand, Silky Singh, Kaitlyn Wang, Ali Sartaz Khan, Marc Moussa Nasser, Sufen Fong, Pengfei He, Alan Xiao, Ayush Sunil Munot, Aditya Shrivastava, Artem Gazizov, Niklas Muennighoff, Kenneth Enevoldsen

cs.AI

Аннотация

Мы представляем Масштабный бенчмарк аудио-эмбеддингов (MAEB) — крупный эталонный набор, охватывающий 30 задач в области распознавания речи, музыки, окружающих звуков и кросс-модальных рассуждений «аудио-текст» на более чем 100 языках. Мы оценили более 50 моделей и выяснили, что ни одна модель не доминирует по всем задачам: контрастивные модели «аудио-текст» превосходно справляются с классификацией окружающих звуков (например, ESC50), но показывают результаты, близкие к случайным, в многозадачных речевых задачах (например, SIB-FLEURS), в то время как модели, предобученные на речи, демонстрируют противоположную картину. Кластеризация остается сложной задачей для всех моделей, при этом даже лучшая модель достигает лишь скромных результатов. Мы наблюдаем, что модели, преуспевающие в акустическом понимании, часто плохо справляются с лингвистическими задачами, и наоборот. Мы также показываем, что производительность аудио-энкодеров на MAEB сильно коррелирует с их эффективностью при использовании в больших языковых моделях для аудио. MAEB является производным от MAEB+ — набора из 98 задач. MAEB разработан для сохранения разнообразия задач при сокращении стоимости оценки и интегрирован в экосистему MTEB для унифицированной оценки across текстовой, изображенческой и аудиомодальностей. Мы публикуем MAEB и все 98 задач вместе с кодом и таблицей лидеров по адресу https://github.com/embeddings-benchmark/mteb.

English

We introduce the Massive Audio Embedding Benchmark (MAEB), a large-scale benchmark covering 30 tasks across speech, music, environmental sounds, and cross-modal audio-text reasoning in 100+ languages. We evaluate 50+ models and find that no single model dominates across all tasks: contrastive audio-text models excel at environmental sound classification (e.g., ESC50) but score near random on multilingual speech tasks (e.g., SIB-FLEURS), while speech-pretrained models show the opposite pattern. Clustering remains challenging for all models, with even the best-performing model achieving only modest results. We observe that models excelling on acoustic understanding often perform poorly on linguistic tasks, and vice versa. We also show that the performance of audio encoders on MAEB correlates highly with their performance when used in audio large language models. MAEB is derived from MAEB+, a collection of 98 tasks. MAEB is designed to maintain task diversity while reducing evaluation cost, and it integrates into the MTEB ecosystem for unified evaluation across text, image, and audio modalities. We release MAEB and all 98 tasks along with code and a leaderboard at https://github.com/embeddings-benchmark/mteb.