Attention à l'écart ! Évaluations statiques et interactives des grands modèles audio

Mind the Gap! Static and Interactive Evaluations of Large Audio Models

February 21, 2025

Auteurs: Minzhi Li, William Barr Held, Michael J Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang

cs.AI

Résumé

Alors que les chatbots IA deviennent omniprésents, l'interaction vocale représente une approche convaincante pour permettre une communication rapide et à haut débit, tant pour les signaux sémantiques que sociaux. Cela a stimulé la recherche sur les Modèles Audio de Grande Taille (LAMs) pour alimenter des expériences natives de la voix. Cependant, aligner le développement des LAMs sur les objectifs des utilisateurs nécessite une compréhension claire de leurs besoins et préférences afin d'établir des métriques de progression fiables. Cette étude aborde ces défis en introduisant une approche interactive pour évaluer les LAMs et en collectant 7 500 interactions LAM auprès de 484 participants. Grâce à la modélisation thématique des requêtes des utilisateurs, nous identifions les principaux cas d'utilisation pour les interfaces audio. Nous analysons ensuite les classements de préférence des utilisateurs et les retours qualitatifs pour déterminer quels modèles correspondent le mieux à leurs besoins. Enfin, nous évaluons dans quelle mesure les benchmarks statiques prédisent la performance interactive - notre analyse révèle qu'aucun benchmark individuel ne corrèle fortement avec les résultats interactifs (tau ≤ 0,33 pour tous les benchmarks). Bien que la combinaison de multiples caractéristiques grossières offre un pouvoir prédictif modeste (R²=0,30), seuls deux des vingt jeux de données sur la réponse à des questions orales et la prédiction d'âge montrent des corrélations significativement positives. Cela souligne un besoin clair de développer des évaluations de LAMs qui corrèlent mieux avec les préférences des utilisateurs.

English

As AI chatbots become ubiquitous, voice interaction presents a compelling way to enable rapid, high-bandwidth communication for both semantic and social signals. This has driven research into Large Audio Models (LAMs) to power voice-native experiences. However, aligning LAM development with user goals requires a clear understanding of user needs and preferences to establish reliable progress metrics. This study addresses these challenges by introducing an interactive approach to evaluate LAMs and collecting 7,500 LAM interactions from 484 participants. Through topic modeling of user queries, we identify primary use cases for audio interfaces. We then analyze user preference rankings and qualitative feedback to determine which models best align with user needs. Finally, we evaluate how static benchmarks predict interactive performance - our analysis reveals no individual benchmark strongly correlates with interactive results (tau leq 0.33 for all benchmarks). While combining multiple coarse-grained features yields modest predictive power (R^2=0.30), only two out of twenty datasets on spoken question answering and age prediction show significantly positive correlations. This suggests a clear need to develop LAM evaluations that better correlate with user preferences.