RoMath: ルーマニア語における数学的推論のベンチマーク

RoMath: A Mathematical Reasoning Benchmark in Romanian

September 17, 2024

著者: Adrian Cosma, Ana-Maria Bucur, Emilian Radoi

cs.AI

要旨

数学は長い間、主に人間の理解のために自然言語を通じて伝えられてきました。機械化された数学と証明支援システムの台頭により、非形式的な数学テキストを理解する必要性が高まっていますが、既存のベンチマークのほとんどは英語に焦点を当てており、他の言語を見落としています。本論文では、ルーマニアの数学推論ベンチマークであるRoMathを紹介します。RoMathには、数学のさまざまな領域と難易度レベルをカバーする3つのデータセット、RoMath-Baccalaureate、RoMath-Competitions、RoMath-Syntheticが含まれており、非英語の言語モデルの向上と多言語AIの開発を促進することを目指しています。ルーマニア語に焦点を当てることで、ユニークな言語的特徴を持つリソースが限られている言語に対処し、英語中心のモデルの制限に対処し、単純な自動翻訳を超えた専用リソースの必要性を強調しています。いくつかのオープンウェイト言語モデルをベンチマークし、代表的でない言語のためのリソース作成の重要性を強調します。コードとデータセットを公開しています。

English

Mathematics has long been conveyed through natural language, primarily for human understanding. With the rise of mechanized mathematics and proof assistants, there is a growing need to understand informal mathematical text, yet most existing benchmarks focus solely on English, overlooking other languages. This paper introduces RoMath, a Romanian mathematical reasoning benchmark suite comprising three datasets: RoMath-Baccalaureate, RoMath-Competitions and RoMath-Synthetic, which cover a range of mathematical domains and difficulty levels, aiming to improve non-English language models and promote multilingual AI development. By focusing on Romanian, a low-resource language with unique linguistic features, RoMath addresses the limitations of Anglo-centric models and emphasizes the need for dedicated resources beyond simple automatic translation. We benchmark several open-weight language models, highlighting the importance of creating resources for underrepresented languages. We make the code and dataset available.