AHELM: Комплексная оценка аудио-языковых моделей

Аннотация

Оценка аудио-языковых моделей (ALMs) — мультимодальных моделей, которые принимают на вход чередующиеся аудио и текст и выводят текст — затруднена из-за отсутствия стандартизированных бенчмарков; большинство бенчмарков измеряют только одну или две способности и упускают такие оценочные аспекты, как справедливость или безопасность. Кроме того, сравнение моделей между собой затруднено, поскольку отдельные оценки тестируют ограниченное количество моделей и используют различные методы промптинга и параметры вывода. Чтобы устранить эти недостатки, мы представляем AHELM — бенчмарк, который объединяет различные наборы данных, включая два новых синтетических набора аудио-текстовых данных под названием PARADE, оценивающий способность ALMs избегать стереотипов, и CoRe-Bench, измеряющий способность рассуждать на основе разговорного аудио через многоходовые вопросы на вывод, — для комплексной оценки производительности ALMs по 10 аспектам, которые мы определили как важные для разработки и использования ALMs: восприятие аудио, знания, рассуждения, распознавание эмоций, предвзятость, справедливость, многоязычность, устойчивость, токсичность и безопасность. Мы также стандартизируем промпты, параметры вывода и метрики оценки, чтобы обеспечить справедливое сравнение моделей. Мы тестируем 14 ALMs с открытыми весами и закрытыми API от 3 разработчиков, а также 3 дополнительные простые базовые системы, каждая из которых состоит из автоматического распознавания речи и языковой модели. Наши результаты показывают, что, хотя Gemini 2.5 Pro занимает первое место по 5 из 10 аспектов, она демонстрирует групповую несправедливость (p=0.01) в задачах ASR, тогда как большинство других моделей этого не делают. Мы также обнаружили, что базовые системы показывают достаточно хорошие результаты на AHELM, причем одна из них занимает 5-е место в общем рейтинге, несмотря на наличие только возможностей преобразования речи в текст. Для прозрачности все исходные промпты, генерации моделей и выходные данные доступны на нашем сайте по адресу https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM задуман как развивающийся бенчмарк, и со временем будут добавляться новые наборы данных и модели.

English

Evaluations of audio-language models (ALMs) -- multimodal models that take interleaved audio and text as input and output text -- are hindered by the lack of standardized benchmarks; most benchmarks measure only one or two capabilities and omit evaluative aspects such as fairness or safety. Furthermore, comparison across models is difficult as separate evaluations test a limited number of models and use different prompting methods and inference parameters. To address these shortfalls, we introduce AHELM, a benchmark that aggregates various datasets -- including 2 new synthetic audio-text datasets called PARADE, which evaluates the ALMs on avoiding stereotypes, and CoRe-Bench, which measures reasoning over conversational audio through inferential multi-turn question answering -- to holistically measure the performance of ALMs across 10 aspects we have identified as important to the development and usage of ALMs: audio perception, knowledge, reasoning, emotion detection, bias, fairness, multilinguality, robustness, toxicity, and safety. We also standardize the prompts, inference parameters, and evaluation metrics to ensure equitable comparisons across models. We test 14 open-weight and closed-API ALMs from 3 developers and 3 additional simple baseline systems each consisting of an automatic speech recognizer and a language model. Our results show that while Gemini 2.5 Pro ranks top in 5 out of 10 aspects, it exhibits group unfairness (p=0.01) on ASR tasks whereas most of the other models do not. We also find that the baseline systems perform reasonably well on AHELM, with one ranking 5th overall despite having only speech-to-text capabilities. For transparency, all raw prompts, model generations, and outputs are available on our website at https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM is intended to be a living benchmark and new datasets and models will be added over time.

AHELM: Комплексная оценка аудио-языковых моделей

AHELM: A Holistic Evaluation of Audio-Language Models

Аннотация

Support