AHELM: Een holistische evaluatie van audio-taalmodellen

Samenvatting

Evaluaties van audio-taalmodelen (ALMs) — multimodale modellen die afwisselend audio en tekst als invoer accepteren en tekst als uitvoer genereren — worden belemmerd door het ontbreken van gestandaardiseerde benchmarks; de meeste benchmarks meten slechts één of twee capaciteiten en laten evaluatieve aspecten zoals eerlijkheid of veiligheid buiten beschouwing. Bovendien is vergelijking tussen modellen moeilijk omdat afzonderlijke evaluaties een beperkt aantal modellen testen en verschillende promptmethoden en inferentieparameters gebruiken. Om deze tekortkomingen aan te pakken, introduceren we AHELM, een benchmark die verschillende datasets samenbrengt — inclusief twee nieuwe synthetische audio-tekst datasets genaamd PARADE, die de ALMs evalueert op het vermijden van stereotypen, en CoRe-Bench, die redeneren over conversatie-audio meet via inferentiële meerrondevraag-antwoordtaken — om de prestaties van ALMs holistisch te meten over 10 aspecten die we hebben geïdentificeerd als belangrijk voor de ontwikkeling en het gebruik van ALMs: audiowaarneming, kennis, redeneren, emotiedetectie, bias, eerlijkheid, meertaligheid, robuustheid, toxiciteit en veiligheid. We standaardiseren ook de prompts, inferentieparameters en evaluatiemetrics om eerlijke vergelijkingen tussen modellen te garanderen. We testen 14 open-weight en closed-API ALMs van 3 ontwikkelaars en 3 aanvullende eenvoudige baselinesystemen, elk bestaande uit een automatische spraakherkenner en een taalmodel. Onze resultaten tonen dat hoewel Gemini 2.5 Pro in 5 van de 10 aspecten bovenaan staat, het groepsoneerlijkheid vertoont (p=0.01) bij ASR-taken, terwijl de meeste andere modellen dit niet doen. We constateren ook dat de baselinesystemen redelijk goed presteren op AHELM, waarbij één systeem ondanks alleen spraak-naar-tekstmogelijkheden de 5e plaats behaalt. Voor transparantie zijn alle ruwe prompts, modelgeneraties en uitvoeren beschikbaar op onze website op https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM is bedoeld als een levende benchmark, en nieuwe datasets en modellen zullen in de loop van de tijd worden toegevoegd.

English

Evaluations of audio-language models (ALMs) -- multimodal models that take interleaved audio and text as input and output text -- are hindered by the lack of standardized benchmarks; most benchmarks measure only one or two capabilities and omit evaluative aspects such as fairness or safety. Furthermore, comparison across models is difficult as separate evaluations test a limited number of models and use different prompting methods and inference parameters. To address these shortfalls, we introduce AHELM, a benchmark that aggregates various datasets -- including 2 new synthetic audio-text datasets called PARADE, which evaluates the ALMs on avoiding stereotypes, and CoRe-Bench, which measures reasoning over conversational audio through inferential multi-turn question answering -- to holistically measure the performance of ALMs across 10 aspects we have identified as important to the development and usage of ALMs: audio perception, knowledge, reasoning, emotion detection, bias, fairness, multilinguality, robustness, toxicity, and safety. We also standardize the prompts, inference parameters, and evaluation metrics to ensure equitable comparisons across models. We test 14 open-weight and closed-API ALMs from 3 developers and 3 additional simple baseline systems each consisting of an automatic speech recognizer and a language model. Our results show that while Gemini 2.5 Pro ranks top in 5 out of 10 aspects, it exhibits group unfairness (p=0.01) on ASR tasks whereas most of the other models do not. We also find that the baseline systems perform reasonably well on AHELM, with one ranking 5th overall despite having only speech-to-text capabilities. For transparency, all raw prompts, model generations, and outputs are available on our website at https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM is intended to be a living benchmark and new datasets and models will be added over time.

AHELM: Een holistische evaluatie van audio-taalmodellen

AHELM: A Holistic Evaluation of Audio-Language Models

Samenvatting

Support