PARSA-Bench: Ein umfassender Benchmark für persische Audio-Sprach-Modelle
PARSA-Bench: A Comprehensive Persian Audio-Language Model Benchmark
March 15, 2026
Autoren: Mohammad Javad Ranjbar Kalahroodi, Mohammad Amini, Parmis Bathayan, Heshaam Faili, Azadeh Shakery
cs.AI
Zusammenfassung
Das Persische stellt einzigartige Herausforderungen für das Audioverständnis durch seine klassische Poesie, traditionelle Musik und allgegenwärtige Code-Switching-Phänomene dar – keine davon wird von bestehenden Benchmarks erfasst. Wir stellen PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark) vor, den ersten Benchmark zur Bewertung großer Audio-Sprach-Modelle für die persische Sprache und Kultur. Er umfasst 16 Aufgaben und über 8.000 Beispiele aus den Bereichen Sprachverständnis, paralinguistische Analyse und kulturelles Audioverständnis. Zehn Aufgaben werden neu eingeführt, darunter die Erkennung von Versmaß und Stil in der Poesie, das Verständnis traditioneller persischer Musik und die Detektion von Code-Switching. Textbasierte Baseline-Modelle schneiden durchgängig besser ab als audio-basierte Ansätze, was darauf hindeutet, dass Modelle möglicherweise keine audiospezifischen Informationen über das hinaus nutzen, was die Transkription allein liefert. Kulturell verwurzelte Aufgaben offenbaren einen qualitativ distincten Fehlermodus: Alle Modelle zeigen unabhängig von ihrer Größe nahezu zufällige Ergebnisse bei der Vazn-Erkennung, was darauf hindeutet, dass die prosodische Wahrnehmung die Reichweite aktueller Modelle übersteigt. Der Datensatz ist öffentlich verfügbar unter https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench.
English
Persian poses unique audio understanding challenges through its classical poetry, traditional music, and pervasive code-switching - none captured by existing benchmarks. We introduce PARSA-Bench (Persian Audio Reasoning and Speech Assessment Benchmark), the first benchmark for evaluating large audio-language models on Persian language and culture, comprising 16 tasks and over 8,000 samples across speech understanding, paralinguistic analysis, and cultural audio understanding. Ten tasks are newly introduced, including poetry meter and style detection, traditional Persian music understanding, and code-switching detection. Text-only baselines consistently outperform audio counterparts, suggesting models may not leverage audio-specific information beyond what transcription alone provides. Culturally-grounded tasks expose a qualitatively distinct failure mode: all models perform near random chance on vazn detection regardless of scale, suggesting prosodic perception remains beyond the reach of current models. The dataset is publicly available at https://huggingface.co/datasets/MohammadJRanjbar/PARSA-Bench