AHELM: Eine ganzheitliche Bewertung von Audio-Sprach-Modellen

papers.abstract

Bewertungen von Audio-Sprachmodellen (ALMs) – multimodale Modelle, die verschachtelte Audio- und Textdaten als Eingabe erhalten und Text ausgeben – werden durch das Fehlen standardisierter Benchmarks behindert; die meisten Benchmarks messen nur eine oder zwei Fähigkeiten und lassen Bewertungsaspekte wie Fairness oder Sicherheit außer Acht. Darüber hinaus ist der Vergleich zwischen Modellen schwierig, da separate Bewertungen nur eine begrenzte Anzahl von Modellen testen und unterschiedliche Prompting-Methoden und Inferenzparameter verwenden. Um diese Defizite zu beheben, stellen wir AHELM vor, einen Benchmark, der verschiedene Datensätze zusammenfasst – einschließlich zweier neuer synthetischer Audio-Text-Datensätze namens PARADE, der die ALMs auf die Vermeidung von Stereotypen testet, und CoRe-Bench, der das schlussfolgernde Denken über Konversations-Audio durch mehrstufige Frage-Antwort-Aufgaben misst –, um die Leistung von ALMs ganzheitlich über 10 Aspekte zu bewerten, die wir als wichtig für die Entwicklung und Nutzung von ALMs identifiziert haben: Audio-Wahrnehmung, Wissen, Schlussfolgerung, Emotionserkennung, Bias, Fairness, Mehrsprachigkeit, Robustheit, Toxizität und Sicherheit. Wir standardisieren auch die Prompts, Inferenzparameter und Bewertungsmetriken, um faire Vergleiche zwischen den Modellen zu gewährleisten. Wir testen 14 Open-Weight- und Closed-API-ALMs von 3 Entwicklern sowie 3 zusätzliche einfache Basissysteme, die jeweils aus einem automatischen Spracherkenner und einem Sprachmodell bestehen. Unsere Ergebnisse zeigen, dass Gemini 2.5 Pro zwar in 5 von 10 Aspekten an der Spitze steht, jedoch bei ASR-Aufgaben Gruppenungerechtigkeit (p=0,01) aufweist, während die meisten anderen Modelle dies nicht tun. Wir stellen außerdem fest, dass die Basissysteme auf AHELM recht gut abschneiden, wobei eines trotz nur textbasierter Sprach-zu-Text-Fähigkeiten insgesamt den 5. Platz belegt. Für Transparenz sind alle Rohprompts, Modellgenerationen und Ausgaben auf unserer Website unter https://crfm.stanford.edu/helm/audio/v1.0.0 verfügbar. AHELM soll ein lebendiger Benchmark sein, und im Laufe der Zeit werden neue Datensätze und Modelle hinzugefügt.

English

Evaluations of audio-language models (ALMs) -- multimodal models that take interleaved audio and text as input and output text -- are hindered by the lack of standardized benchmarks; most benchmarks measure only one or two capabilities and omit evaluative aspects such as fairness or safety. Furthermore, comparison across models is difficult as separate evaluations test a limited number of models and use different prompting methods and inference parameters. To address these shortfalls, we introduce AHELM, a benchmark that aggregates various datasets -- including 2 new synthetic audio-text datasets called PARADE, which evaluates the ALMs on avoiding stereotypes, and CoRe-Bench, which measures reasoning over conversational audio through inferential multi-turn question answering -- to holistically measure the performance of ALMs across 10 aspects we have identified as important to the development and usage of ALMs: audio perception, knowledge, reasoning, emotion detection, bias, fairness, multilinguality, robustness, toxicity, and safety. We also standardize the prompts, inference parameters, and evaluation metrics to ensure equitable comparisons across models. We test 14 open-weight and closed-API ALMs from 3 developers and 3 additional simple baseline systems each consisting of an automatic speech recognizer and a language model. Our results show that while Gemini 2.5 Pro ranks top in 5 out of 10 aspects, it exhibits group unfairness (p=0.01) on ASR tasks whereas most of the other models do not. We also find that the baseline systems perform reasonably well on AHELM, with one ranking 5th overall despite having only speech-to-text capabilities. For transparency, all raw prompts, model generations, and outputs are available on our website at https://crfm.stanford.edu/helm/audio/v1.0.0. AHELM is intended to be a living benchmark and new datasets and models will be added over time.

AHELM: Eine ganzheitliche Bewertung von Audio-Sprach-Modellen

AHELM: A Holistic Evaluation of Audio-Language Models

papers.abstract

Support