PluraMath: Erweiterung der Evaluierung mathematischen Denkens über ressourcenreiche Sprachen hinaus

Zusammenfassung

Mathematisches Reasoning ist zu einer zentralen Aufgabe für die Evaluierung und das Feintuning von Reasoning Large Language Models (LLMs) geworden, dennoch sind bestehende Benchmarks stark auf ressourcenstarke Sprachen ausgerichtet, wobei Englisch und Chinesisch sowohl in den vortrainierten Korpora als auch in den Evaluierungssammlungen dominieren. Der kürzlich veröffentlichte Datensatz PolyMath (Wang et al., 2025) stellt einen wichtigen Fortschritt dar, dennoch ist seine Abdeckung auf nur 18 ressourcenstarke Sprachen beschränkt. Um diese Lücke zu schließen, führen wir PluraMath ein, eine Erweiterung von PolyMath auf 18 weitere unterrepräsentierte Sprachen aus 6 Sprachfamilien – von mittel- bis zu extrem ressourcenschwachen Umgebungen. Wir haben den Datensatz durch eine menschlich kuratierte Pipeline erstellt, bei der Muttersprachler vorberechnete Übersetzungen gründlich validiert haben. Mit PluraMath benchmarken wir dann 27 Reasoning-LLMs über vier Modellgrößen hinweg – kleine, mittelgroße, große und geschlossene Ensembles – und untersuchen die mehrsprachigen mathematischen Reasoning-Fähigkeiten von State-of-the-Art-Modellen unter verschiedenen sprachlichen Bedingungen. Unsere detaillierte Analyse bestätigt eine anhaltende Lücke in der mathematischen Reasoning-Leistung zwischen ressourcenstarken und unterrepräsentierten Sprachen, wobei stärkere Ergebnisse weitgehend mit einer besseren Fähigkeit zur Befolgung von Anweisungen verbunden sind. Wir stellen unseren Datensatz, die Datenakquise-Pipeline und den Evaluierungsrahmen vollständig als Open Source zur Verfügung, mit dem Ziel, die Hürde für die Entwicklung mehrsprachiger Benchmarks für unterrepräsentierte Gemeinschaften zu senken.

English

Mathematical reasoning has become a central task for evaluating and tuning reasoning Large Language Models (LLMs), yet existing benchmarks remain heavily biased toward high-resource languages, with English and Chinese dominating both pre-training corpora and evaluation suites. The recently released PolyMath (Wang et al., 2025) dataset represents a significant step forward, yet its coverage is still limited to 18 only high-resource languages. To address this gap, we introduce PluraMath, an extension of PolyMath to 18 additional {underrepresented languages spanning 6 language families -- ranging from mid-resource to extreme low-resource settings. We constructed the dataset through a human-curated pipeline, where native speakers thoroughly validated pre-computed translations. Using PluraMath, we then benchmark 27 reasoning LLMs across four model scales -- small, mid-size, large, and closed-source ensembles -- probing the multilingual mathematical reasoning capabilities of state-of-the-art models under diverse linguistic conditions. Our fine-grained analysis confirms a persistent gap in mathematical reasoning performance between high-resource and underrepresented languages, with stronger results largely associated with better instruction-following ability. We fully open-source our dataset, data acquisition pipeline, and evaluation framework, with the goal of lowering the barrier to multilingual benchmark development for underrepresented communities.