Let op het Verschil! Statische en Interactieve Evaluaties van Grote Audio Modellen

Mind the Gap! Static and Interactive Evaluations of Large Audio Models

February 21, 2025

Auteurs: Minzhi Li, William Barr Held, Michael J Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang

cs.AI

Samenvatting

Nu AI-chatbots alomtegenwoordig worden, biedt spraakinteractie een overtuigende manier om snelle, hoogbandbreedte communicatie mogelijk te maken voor zowel semantische als sociale signalen. Dit heeft geleid tot onderzoek naar Grote Audio Modellen (GAM's) om spraak-native ervaringen mogelijk te maken. Het afstemmen van de ontwikkeling van GAM's op gebruikersdoelen vereist echter een duidelijk begrip van gebruikersbehoeften en voorkeuren om betrouwbare voortgangsmetingen vast te stellen. Deze studie pakt deze uitdagingen aan door een interactieve benadering te introduceren om GAM's te evalueren en 7.500 GAM-interacties te verzamelen van 484 deelnemers. Door middel van onderwerpmodellering van gebruikersvragen identificeren we primaire gebruiksscenario's voor audio-interfaces. Vervolgens analyseren we gebruikersvoorkeursranglijsten en kwalitatieve feedback om te bepalen welke modellen het beste aansluiten bij de behoeften van gebruikers. Ten slotte evalueren we hoe statische benchmarks de interactieve prestaties voorspellen - onze analyse onthult dat geen enkele individuele benchmark sterk correleert met interactieve resultaten (tau leq 0.33 voor alle benchmarks). Hoewel het combineren van meerdere grofkorrelige kenmerken een bescheiden voorspellend vermogen oplevert (R^2=0.30), tonen slechts twee van de twintig datasets over gesproken vraagbeantwoording en leeftijdsvoorspelling significant positieve correlaties. Dit suggereert een duidelijke behoefte om GAM-evaluaties te ontwikkelen die beter correleren met gebruikersvoorkeuren.

English

As AI chatbots become ubiquitous, voice interaction presents a compelling way to enable rapid, high-bandwidth communication for both semantic and social signals. This has driven research into Large Audio Models (LAMs) to power voice-native experiences. However, aligning LAM development with user goals requires a clear understanding of user needs and preferences to establish reliable progress metrics. This study addresses these challenges by introducing an interactive approach to evaluate LAMs and collecting 7,500 LAM interactions from 484 participants. Through topic modeling of user queries, we identify primary use cases for audio interfaces. We then analyze user preference rankings and qualitative feedback to determine which models best align with user needs. Finally, we evaluate how static benchmarks predict interactive performance - our analysis reveals no individual benchmark strongly correlates with interactive results (tau leq 0.33 for all benchmarks). While combining multiple coarse-grained features yields modest predictive power (R^2=0.30), only two out of twenty datasets on spoken question answering and age prediction show significantly positive correlations. This suggests a clear need to develop LAM evaluations that better correlate with user preferences.