PARSA-Bench: Een Uitgebreide Benchmark voor Perzische Audio-Taalmodellen
PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark
March 15, 2026
Auteurs: Mohammad Javad Ranjbar Kalahroodi, Mohammad Amini, Parmis Bathayan, Heshaam Faili, Azadeh Shakery
cs.AI
Samenvatting
Het Perzisch stelt unieke uitdagingen voor audiobegrip door zijn klassieke poëzie, traditionele muziek en alomtegenwoordige code-switching - geen van alle vastgelegd in bestaande benchmarks. Wij introduceren PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), de eerste benchmark voor het evalueren van grote audio-taalmodellen op de Perzische taal en cultuur, bestaande uit 16 taken en meer dan 8.000 samples op het gebied van spraakbegrip, paralinguïstische analyse en cultureel audiobegrip. Tien taken worden nieuw geïntroduceerd, waaronder poëziemeter- en stijldetectie, begrip van traditionele Perzische muziek en detectie van code-switching. Tekstuele basislijnen presteren consistent beter dan audio-equivalenten, wat suggereert dat modellen mogelijk geen audio-specifieke informatie benutten buiten wat transcriptie alleen biedt. Cultureel verankerde taken onthullen een kwalitatief ander foutpatroon: alle modellen presteren bijna op kansniveau voor vazn-detectie, ongeacht hun schaal, wat suggereert dat prosodische perceptie buiten het bereik van huidige modellen blijft. De dataset is openbaar beschikbaar op https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench.
English
Persian poses unique audio understanding challenges through its classical poetry, traditional music, and pervasive code-switching - none captured by existing benchmarks. We introduce PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), the first benchmark for evaluating large audio-language models on Persian language and culture, comprising 16 tasks and over 8,000 samples across speech understanding, paralinguistic analysis, and cultural audio understanding. Ten tasks are newly introduced, including poetry meter and style detection, traditional Persian music understanding, and code-switching detection. Text-only baselines consistently outperform audio counterparts, suggesting models may not leverage audio-specific information beyond what transcription alone provides. Culturally-grounded tasks expose a qualitatively distinct failure mode: all models perform near random chance on vazn detection regardless of scale, suggesting prosodic perception remains beyond the reach of current models. The dataset is publicly available at https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench