RoMath : Un banc de testare pentru raționament matematic în limba română

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Auteurs: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Résumé

Les mathématiques ont longtemps été transmises à travers le langage naturel, principalement pour la compréhension humaine. Avec l'avènement des mathématiques mécanisées et des assistants de preuve, il est de plus en plus nécessaire de comprendre le texte mathématique informel, pourtant la plupart des référentiels existants se concentrent uniquement sur l'anglais, en négligeant les autres langues. Cet article présente RoMath, une suite de référentiels de raisonnement mathématique roumaine comprenant trois ensembles de données : RoMath-Baccalauréat, RoMath-Compétitions et RoMath-Synthétique, qui couvrent une gamme de domaines mathématiques et de niveaux de difficulté, dans le but d'améliorer les modèles linguistiques non anglophones et de promouvoir le développement de l'IA multilingue. En se concentrant sur le roumain, une langue à ressources limitées avec des caractéristiques linguistiques uniques, RoMath aborde les limitations des modèles anglo-centriques et souligne le besoin de ressources dédiées au-delà de la simple traduction automatique. Nous évaluons plusieurs modèles linguistiques à poids ouverts, mettant en avant l'importance de créer des ressources pour les langues sous-représentées. Nous mettons le code et l'ensemble de données à disposition.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.