RoMath: Ein Benchmark für mathematische Argumentationen auf Rumänisch

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Autoren: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Zusammenfassung

Mathematik wurde lange Zeit hauptsächlich durch natürliche Sprache vermittelt, primär zum Verständnis durch Menschen. Mit dem Aufkommen von mechanisierter Mathematik und Beweisassistenten besteht ein wachsender Bedarf, informelle mathematische Texte zu verstehen, doch die meisten bestehenden Benchmarks konzentrieren sich ausschließlich auf Englisch und vernachlässigen andere Sprachen. Dieser Artikel stellt RoMath vor, eine rumänische Benchmark-Suite für mathematisches Denken, die aus drei Datensätzen besteht: RoMath-Baccalaureate, RoMath-Competitions und RoMath-Synthetic, die verschiedene mathematische Bereiche und Schwierigkeitsgrade abdecken und darauf abzielen, nicht-englische Sprachmodelle zu verbessern und die Entwicklung multilingualer KI voranzutreiben. Durch die Fokussierung auf Rumänisch, eine Sprache mit geringen Ressourcen und einzigartigen sprachlichen Merkmalen, begegnet RoMath den Einschränkungen von anglozentrischen Modellen und betont die Notwendigkeit dedizierter Ressourcen jenseits einfacher automatischer Übersetzungen. Wir evaluieren mehrere offene Sprachmodelle und unterstreichen die Bedeutung der Erstellung von Ressourcen für unterrepräsentierte Sprachen. Wir stellen den Code und den Datensatz zur Verfügung.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.