RoMath: Una serie di test per la ragionamento matematico in lingua rumena

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Autori: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Abstract

La matematica è stata a lungo trasmessa attraverso il linguaggio naturale, principalmente per la comprensione umana. Con la diffusione della matematica meccanizzata e degli assistenti alla dimostrazione, c'è una crescente necessità di comprendere il testo matematico informale, tuttavia la maggior parte dei benchmark esistenti si concentra esclusivamente sull'inglese, trascurando le altre lingue. Questo articolo introduce RoMath, una suite di benchmark di ragionamento matematico in lingua rumena che comprende tre set di dati: RoMath-Baccalaureate, RoMath-Competitions e RoMath-Synthetic, che coprono una serie di domini matematici e livelli di difficoltà, con l'obiettivo di migliorare i modelli linguistici non in lingua inglese e promuovere lo sviluppo dell'IA multilingue. Concentrandosi sul rumeno, una lingua a risorse limitate con caratteristiche linguistiche uniche, RoMath affronta le limitazioni dei modelli anglo-centrici e sottolinea la necessità di risorse dedicate al di là della semplice traduzione automatica. Valutiamo diversi modelli di linguaggio open-weight, evidenziando l'importanza della creazione di risorse per le lingue sottorappresentate. Mettiamo a disposizione il codice e il set di dati.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.