Attenzione al Divario! Valutazioni Statiche e Interattive dei Modelli Audio di Grande Scala

Mind the Gap! Static and Interactive Evaluations of Large Audio Models

February 21, 2025

Autori: Minzhi Li, William Barr Held, Michael J Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang

cs.AI

Abstract

Man mano che i chatbot basati su intelligenza artificiale diventano onnipresenti, l'interazione vocale si presenta come un modo convincente per abilitare una comunicazione rapida e ad alta larghezza di banda, sia per i segnali semantici che per quelli sociali. Ciò ha spinto la ricerca sui Large Audio Models (LAM) per alimentare esperienze native vocali. Tuttavia, allineare lo sviluppo dei LAM con gli obiettivi degli utenti richiede una chiara comprensione delle loro esigenze e preferenze per stabilire metriche di progresso affidabili. Questo studio affronta queste sfide introducendo un approccio interattivo per valutare i LAM e raccogliendo 7.500 interazioni con LAM da 484 partecipanti. Attraverso il topic modeling delle query degli utenti, identifichiamo i principali casi d'uso per le interfacce audio. Analizziamo poi le classifiche di preferenza degli utenti e i feedback qualitativi per determinare quali modelli si allineano meglio alle loro esigenze. Infine, valutiamo come i benchmark statici predicono le prestazioni interattive: la nostra analisi rivela che nessun benchmark individuale è fortemente correlato con i risultati interattivi (tau ≤ 0.33 per tutti i benchmark). Sebbene la combinazione di più caratteristiche a grana grossa offra un potere predittivo modesto (R^2=0.30), solo due su venti dataset relativi alla risposta a domande vocali e alla previsione dell'età mostrano correlazioni significativamente positive. Ciò suggerisce una chiara necessità di sviluppare valutazioni dei LAM che siano meglio correlate con le preferenze degli utenti.

English

As AI chatbots become ubiquitous, voice interaction presents a compelling way to enable rapid, high-bandwidth communication for both semantic and social signals. This has driven research into Large Audio Models (LAMs) to power voice-native experiences. However, aligning LAM development with user goals requires a clear understanding of user needs and preferences to establish reliable progress metrics. This study addresses these challenges by introducing an interactive approach to evaluate LAMs and collecting 7,500 LAM interactions from 484 participants. Through topic modeling of user queries, we identify primary use cases for audio interfaces. We then analyze user preference rankings and qualitative feedback to determine which models best align with user needs. Finally, we evaluate how static benchmarks predict interactive performance - our analysis reveals no individual benchmark strongly correlates with interactive results (tau leq 0.33 for all benchmarks). While combining multiple coarse-grained features yields modest predictive power (R^2=0.30), only two out of twenty datasets on spoken question answering and age prediction show significantly positive correlations. This suggests a clear need to develop LAM evaluations that better correlate with user preferences.