AHELM: Una Evaluación Integral de Modelos de Audio-Lenguaje

Resumen

Las evaluaciones de los modelos de audio-lenguaje (ALMs, por sus siglas en inglés) —modelos multimodales que reciben como entrada audio y texto intercalados y generan texto como salida— se ven obstaculizadas por la falta de puntos de referencia estandarizados; la mayoría de los benchmarks miden solo una o dos capacidades y omiten aspectos evaluativos como la equidad o la seguridad. Además, la comparación entre modelos es difícil, ya que las evaluaciones separadas prueban un número limitado de modelos y utilizan métodos de indicación (prompting) y parámetros de inferencia diferentes. Para abordar estas deficiencias, presentamos AHELM, un benchmark que agrega diversos conjuntos de datos —incluyendo dos nuevos conjuntos de datos sintéticos de audio-texto llamados PARADE, que evalúa a los ALMs en la evitación de estereotipos, y CoRe-Bench, que mide el razonamiento sobre audio conversacional mediante preguntas inferenciales de múltiples turnos— para medir de manera integral el rendimiento de los ALMs en 10 aspectos que hemos identificado como importantes para el desarrollo y uso de estos modelos: percepción de audio, conocimiento, razonamiento, detección de emociones, sesgo, equidad, multilingüismo, robustez, toxicidad y seguridad. También estandarizamos las indicaciones, los parámetros de inferencia y las métricas de evaluación para garantizar comparaciones equitativas entre modelos. Evaluamos 14 ALMs de código abierto y API cerrada de 3 desarrolladores, junto con 3 sistemas de línea base simples adicionales, cada uno compuesto por un reconocedor automático de voz y un modelo de lenguaje. Nuestros resultados muestran que, aunque Gemini 2.5 Pro ocupa el primer lugar en 5 de los 10 aspectos, exhibe inequidad grupal (p=0.01) en tareas de ASR, mientras que la mayoría de los otros modelos no lo hacen. También encontramos que los sistemas de línea base tienen un rendimiento razonablemente bueno en AHELM, con uno ocupando el 5º lugar general a pesar de tener solo capacidades de conversión de voz a texto. Para garantizar transparencia, todas las indicaciones, generaciones de modelos y salidas están disponibles en nuestro sitio web en https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM está diseñado para ser un benchmark en constante evolución, y se agregarán nuevos conjuntos de datos y modelos con el tiempo.

English

Evaluations of audio-language models (ALMs) -- multimodal models that take interleaved audio and text as input and output text -- are hindered by the lack of standardized benchmarks; most benchmarks measure only one or two capabilities and omit evaluative aspects such as fairness or safety. Furthermore, comparison across models is difficult as separate evaluations test a limited number of models and use different prompting methods and inference parameters. To address these shortfalls, we introduce AHELM, a benchmark that aggregates various datasets -- including 2 new synthetic audio-text datasets called PARADE, which evaluates the ALMs on avoiding stereotypes, and CoRe-Bench, which measures reasoning over conversational audio through inferential multi-turn question answering -- to holistically measure the performance of ALMs across 10 aspects we have identified as important to the development and usage of ALMs: audio perception, knowledge, reasoning, emotion detection, bias, fairness, multilinguality, robustness, toxicity, and safety. We also standardize the prompts, inference parameters, and evaluation metrics to ensure equitable comparisons across models. We test 14 open-weight and closed-API ALMs from 3 developers and 3 additional simple baseline systems each consisting of an automatic speech recognizer and a language model. Our results show that while Gemini 2.5 Pro ranks top in 5 out of 10 aspects, it exhibits group unfairness (p=0.01) on ASR tasks whereas most of the other models do not. We also find that the baseline systems perform reasonably well on AHELM, with one ranking 5th overall despite having only speech-to-text capabilities. For transparency, all raw prompts, model generations, and outputs are available on our website at https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM is intended to be a living benchmark and new datasets and models will be added over time.

AHELM: Una Evaluación Integral de Modelos de Audio-Lenguaje

AHELM: A Holistic Evaluation of Audio-Language Models

Resumen

Support