PARSA-Bench: Un Benchmark Completo per Modelli Audio-Linguistici Persiani
PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark
March 15, 2026
Autori: Mohammad Javad Ranjbar Kalahroodi, Mohammad Amini, Parmis Bathayan, Heshaam Faili, Azadeh Shakery
cs.AI
Abstract
Il persiano presenta sfide uniche nella comprensione audio attraverso la sua poesia classica, la musica tradizionale e l'onnipresente code-switching - aspetti non catturati da benchmark esistenti. Presentiamo PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), il primo benchmark per valutare modelli audio-linguistici di grandi dimensioni sulla lingua e cultura persiana, comprendente 16 task e oltre 8.000 campioni tra comprensione del parlato, analisi paralinguistica e comprensione audio culturale. Dieci task sono newly introduced, inclusi rilevamento di metro e stile poetico, comprensione della musica tradizionale persiana e rilevamento del code-switching. I baseline basati solo su testo superano costantemente le controparti audio, suggerendo che i modelli potrebbero non sfruttare informazioni specifiche dell'audio oltre quanto fornito dalla sola trascrizione. I task culturalmente radicati rivelano una modalità di fallimento qualitativamente distinta: tutti i modelli performano vicino al caso casuale nel rilevamento del vazn indipendentemente dalla scala, suggerendo che la percezione prosodica rimanga fuori dalla portata dei modelli attuali. Il dataset è pubblicamente disponibile su https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench.
English
Persian poses unique audio understanding challenges through its classical poetry, traditional music, and pervasive code-switching - none captured by existing benchmarks. We introduce PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), the first benchmark for evaluating large audio-language models on Persian language and culture, comprising 16 tasks and over 8,000 samples across speech understanding, paralinguistic analysis, and cultural audio understanding. Ten tasks are newly introduced, including poetry meter and style detection, traditional Persian music understanding, and code-switching detection. Text-only baselines consistently outperform audio counterparts, suggesting models may not leverage audio-specific information beyond what transcription alone provides. Culturally-grounded tasks expose a qualitatively distinct failure mode: all models perform near random chance on vazn detection regardless of scale, suggesting prosodic perception remains beyond the reach of current models. The dataset is publicly available at https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench