Achte auf die Lücke! Statische und interaktive Bewertungen großer Audio-Modelle

Mind the Gap! Static and Interactive Evaluations of Large Audio Models

February 21, 2025

Autoren: Minzhi Li, William Barr Held, Michael J Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang

cs.AI

Zusammenfassung

Mit der zunehmenden Verbreitung von KI-Chatbots bietet die Sprachinteraktion einen überzeugenden Weg, um schnelle, hochbandbreitige Kommunikation für semantische und soziale Signale zu ermöglichen. Dies hat die Forschung zu Großen Audio-Modellen (LAMs) vorangetrieben, um sprachbasierte Erlebnisse zu ermöglichen. Die Entwicklung von LAMs muss jedoch mit den Nutzerzielen in Einklang gebracht werden, was ein klares Verständnis der Nutzerbedürfnisse und -präferenzen erfordert, um zuverlässige Fortschrittsmetriken festzulegen. Diese Studie begegnet diesen Herausforderungen, indem sie einen interaktiven Ansatz zur Bewertung von LAMs einführt und 7.500 LAM-Interaktionen von 484 Teilnehmern sammelt. Durch die Themenmodellierung von Nutzeranfragen identifizieren wir primäre Anwendungsfälle für Audio-Schnittstellen. Anschließend analysieren wir die Präferenzrangfolgen der Nutzer und das qualitative Feedback, um festzustellen, welche Modelle am besten mit den Nutzerbedürfnissen übereinstimmen. Schließlich bewerten wir, wie statische Benchmarks die interaktive Leistung vorhersagen - unsere Analyse zeigt, dass kein einzelner Benchmark stark mit den interaktiven Ergebnissen korreliert (tau leq 0,33 für alle Benchmarks). Die Kombination mehrerer grobkörniger Merkmale liefert eine bescheidene Vorhersagekraft (R^2=0,30), wobei nur zwei von zwanzig Datensätzen zur gesprochenen Fragebeantwortung und Altersvorhersage signifikant positive Korrelationen aufweisen. Dies legt nahe, dass es einen klaren Bedarf gibt, LAM-Bewertungen zu entwickeln, die besser mit den Nutzerpräferenzen korrelieren.

English

As AI chatbots become ubiquitous, voice interaction presents a compelling way to enable rapid, high-bandwidth communication for both semantic and social signals. This has driven research into Large Audio Models (LAMs) to power voice-native experiences. However, aligning LAM development with user goals requires a clear understanding of user needs and preferences to establish reliable progress metrics. This study addresses these challenges by introducing an interactive approach to evaluate LAMs and collecting 7,500 LAM interactions from 484 participants. Through topic modeling of user queries, we identify primary use cases for audio interfaces. We then analyze user preference rankings and qualitative feedback to determine which models best align with user needs. Finally, we evaluate how static benchmarks predict interactive performance - our analysis reveals no individual benchmark strongly correlates with interactive results (tau leq 0.33 for all benchmarks). While combining multiple coarse-grained features yields modest predictive power (R^2=0.30), only two out of twenty datasets on spoken question answering and age prediction show significantly positive correlations. This suggests a clear need to develop LAM evaluations that better correlate with user preferences.