Atenção à Lacuna! Avaliações Estáticas e Interativas de Modelos de Áudio de Grande Escala

Mind the Gap! Static and Interactive Evaluations of Large Audio Models

February 21, 2025

Autores: Minzhi Li, William Barr Held, Michael J Ryan, Kunat Pipatanakul, Potsawee Manakul, Hao Zhu, Diyi Yang

cs.AI

Resumo

À medida que os chatbots de IA se tornam onipresentes, a interação por voz apresenta uma forma convincente de permitir uma comunicação rápida e de alta largura de banda tanto para sinais semânticos quanto sociais. Isso tem impulsionado pesquisas em Modelos de Áudio de Grande Escala (LAMs, na sigla em inglês) para alimentar experiências nativas de voz. No entanto, alinhar o desenvolvimento de LAMs com os objetivos dos usuários requer uma compreensão clara das necessidades e preferências dos usuários para estabelecer métricas de progresso confiáveis. Este estudo aborda esses desafios ao introduzir uma abordagem interativa para avaliar LAMs e coletar 7.500 interações de LAMs de 484 participantes. Por meio da modelagem de tópicos das consultas dos usuários, identificamos os principais casos de uso para interfaces de áudio. Em seguida, analisamos as classificações de preferência dos usuários e feedbacks qualitativos para determinar quais modelos melhor se alinham com as necessidades dos usuários. Por fim, avaliamos como benchmarks estáticos preveem o desempenho interativo - nossa análise revela que nenhum benchmark individual apresenta uma correlação forte com os resultados interativos (tau ≤ 0,33 para todos os benchmarks). Embora a combinação de múltiplas características de granularidade grossa ofereça um poder preditivo modesto (R^2=0,30), apenas dois de vinte conjuntos de dados sobre resposta a perguntas faladas e previsão de idade mostram correlações significativamente positivas. Isso sugere uma clara necessidade de desenvolver avaliações de LAMs que se correlacionem melhor com as preferências dos usuários.

English

As AI chatbots become ubiquitous, voice interaction presents a compelling way to enable rapid, high-bandwidth communication for both semantic and social signals. This has driven research into Large Audio Models (LAMs) to power voice-native experiences. However, aligning LAM development with user goals requires a clear understanding of user needs and preferences to establish reliable progress metrics. This study addresses these challenges by introducing an interactive approach to evaluate LAMs and collecting 7,500 LAM interactions from 484 participants. Through topic modeling of user queries, we identify primary use cases for audio interfaces. We then analyze user preference rankings and qualitative feedback to determine which models best align with user needs. Finally, we evaluate how static benchmarks predict interactive performance - our analysis reveals no individual benchmark strongly correlates with interactive results (tau leq 0.33 for all benchmarks). While combining multiple coarse-grained features yields modest predictive power (R^2=0.30), only two out of twenty datasets on spoken question answering and age prediction show significantly positive correlations. This suggests a clear need to develop LAM evaluations that better correlate with user preferences.