RoMath: Un banco de pruebas de razonamiento matemático en rumano

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Autores: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Resumen

Las matemáticas han sido transmitidas durante mucho tiempo a través del lenguaje natural, principalmente para la comprensión humana. Con el surgimiento de las matemáticas mecanizadas y asistentes de prueba, hay una creciente necesidad de comprender el texto matemático informal, sin embargo, la mayoría de los benchmarks existentes se centran únicamente en inglés, pasando por alto otros idiomas. Este documento presenta RoMath, un conjunto de benchmarks de razonamiento matemático rumano que comprende tres conjuntos de datos: RoMath-Baccalaureate, RoMath-Competitions y RoMath-Synthetic, que cubren una variedad de dominios matemáticos y niveles de dificultad, con el objetivo de mejorar los modelos de idiomas no ingleses y promover el desarrollo de IA multilingüe. Al centrarse en el rumano, un idioma de recursos limitados con características lingüísticas únicas, RoMath aborda las limitaciones de los modelos anglocéntricos y enfatiza la necesidad de recursos dedicados más allá de una simple traducción automática. Evaluamos varios modelos de lenguaje de peso abierto, resaltando la importancia de crear recursos para idiomas subrepresentados. Ponemos a disposición el código y el conjunto de datos.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.