PARSA-Bench: Um Benchmark Abrangente para Modelos de Linguagem de Áudio em Persa
PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark
March 15, 2026
Autores: Mohammad Javad Ranjbar Kalahroodi, Mohammad Amini, Parmis Bathayan, Heshaam Faili, Azadeh Shakery
cs.AI
Resumo
O persa apresenta desafios únicos de compreensão auditiva através de sua poesia clássica, música tradicional e code-switching generalizado – nenhum deles capturado por benchmarks existentes. Apresentamos o PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), o primeiro benchmark para avaliar grandes modelos de áudio e linguagem na língua e cultura persa, compreendendo 16 tarefas e mais de 8.000 amostras em compreensão de fala, análise paralinguística e compreensão de áudio cultural. Dez tarefas são recém-introduzidas, incluindo detecção de métrica e estilo poético, compreensão de música tradicional persa e detecção de code-switching. Linhas de base baseadas apenas em texto superam consistentemente as contrapartes de áudio, sugerindo que os modelos podem não aproveitar informações específicas do áudio além do que a transcrição por si só fornece. Tarefas com base cultural expõem um modo de falha qualitativamente distinto: todos os modelos apresentam desempenho próximo ao acaso aleatório na detecção de vazn, independentemente da escala, sugerindo que a percepção prosódica permanece fora do alcance dos modelos atuais. O conjunto de dados está publicamente disponível em https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench.
English
Persian poses unique audio understanding challenges through its classical poetry, traditional music, and pervasive code-switching - none captured by existing benchmarks. We introduce PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), the first benchmark for evaluating large audio-language models on Persian language and culture, comprising 16 tasks and over 8,000 samples across speech understanding, paralinguistic analysis, and cultural audio understanding. Ten tasks are newly introduced, including poetry meter and style detection, traditional Persian music understanding, and code-switching detection. Text-only baselines consistently outperform audio counterparts, suggesting models may not leverage audio-specific information beyond what transcription alone provides. Culturally-grounded tasks expose a qualitatively distinct failure mode: all models perform near random chance on vazn detection regardless of scale, suggesting prosodic perception remains beyond the reach of current models. The dataset is publicly available at https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench