RoMath: Um Benchmark de Raciocínio Matemático em Romeno

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Autores: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Resumo

A matemática tem sido tradicionalmente transmitida por meio da linguagem natural, principalmente para a compreensão humana. Com o surgimento da matemática mecanizada e assistentes de prova, há uma crescente necessidade de compreender textos matemáticos informais, no entanto, a maioria dos benchmarks existentes foca exclusivamente no inglês, ignorando outras línguas. Este artigo apresenta o RoMath, um conjunto de benchmarks de raciocínio matemático em romeno composto por três conjuntos de dados: RoMath-Baccalaureate, RoMath-Competitions e RoMath-Synthetic, que abrangem uma variedade de domínios matemáticos e níveis de dificuldade, com o objetivo de melhorar modelos de idiomas não ingleses e promover o desenvolvimento de IA multilíngue. Ao focar no romeno, um idioma de recursos limitados com características linguísticas únicas, o RoMath aborda as limitações dos modelos anglo-cêntricos e destaca a necessidade de recursos dedicados além da simples tradução automática. Avaliamos vários modelos de linguagem de peso aberto, destacando a importância de criar recursos para idiomas sub-representados. Disponibilizamos o código e o conjunto de dados.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.