RoMath: Математический бенчмарк на румынском языке

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

Авторы: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

Аннотация

Математика долгое время передавалась через естественный язык, в основном для понимания человеком. С появлением механизированной математики и помощников по доказательствам возникает растущая необходимость понимания неформального математического текста, однако большинство существующих бенчмарков сосредотачиваются исключительно на английском языке, игнорируя другие языки. В данной статье представлен RoMath - набор бенчмарков по математическому рассуждению на румынском языке, включающий три набора данных: RoMath-Баккалауреат, RoMath-Соревнования и RoMath-Синтетический, охватывающие различные математические области и уровни сложности, с целью улучшения моделей на неанглийских языках и стимулирования развития мультиязычного искусственного интеллекта. Сосредотачиваясь на румынском языке, языке с ограниченными ресурсами и уникальными лингвистическими особенностями, RoMath решает ограничения англо-центричных моделей и подчеркивает необходимость специализированных ресурсов за пределами простого автоматического перевода. Мы проводим оценку нескольких моделей языка с открытым весом, подчеркивая важность создания ресурсов для недостаточно представленных языков. Мы предоставляем доступ к коду и набору данных.

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.