RoMath: Een benchmark voor wiskundige redenering in het Roemeens.

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Auteurs: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Samenvatting

Wiskunde is lange tijd overgebracht via natuurlijke taal, voornamelijk voor menselijk begrip. Met de opkomst van gemechaniseerde wiskunde en bewijsondersteunende systemen is er een groeiende behoefte om informele wiskundige tekst te begrijpen, maar de meeste bestaande benchmarks richten zich uitsluitend op het Engels en verwaarlozen andere talen. Dit artikel introduceert RoMath, een Roemeense benchmark suite voor wiskundig redeneren bestaande uit drie datasets: RoMath-Baccalaureate, RoMath-Competitions en RoMath-Synthetic, die een scala aan wiskundige domeinen en moeilijkheidsniveaus bestrijken, met als doel niet-Engelstalige modellen te verbeteren en de ontwikkeling van meertalige AI te bevorderen. Door te focussen op het Roemeens, een taal met weinig bronnen en unieke linguïstische kenmerken, adresseert RoMath de beperkingen van Anglo-centrische modellen en benadrukt de noodzaak van toegewijde bronnen voorbij eenvoudige automatische vertaling. We benchmarken verschillende open-gewicht taalmodellen, waarbij we het belang van het creëren van bronnen voor ondervertegenwoordigde talen benadrukken. We stellen de code en dataset beschikbaar.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.