SAND-Math: LLMを活用した新規・難解・有用な数学問題と解答の生成
SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers
July 28, 2025
著者: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum
cs.AI
要旨
高度な数学的推論能力を備えた大規模言語モデル（LLMs）に対する需要が、産業界全体で高まっている。しかし、性能の高い数学的LLMsの開発は、難易度が高く新規性のあるトレーニングデータの不足によって深刻なボトルネックに直面している。本論文では、この問題に対処するため、SAND-Math（Synthetic Augmented Novel and Difficult Mathematics problems and solutions）を提案する。このパイプラインは、まず高品質な問題をゼロから生成し、その後、新たに開発した「Difficulty Hiking」ステップを通じてその複雑さを体系的に高めるものである。我々のアプローチの有効性は、以下の2つの主要な発見によって示されている。第一に、強力なベースラインにSAND-Mathデータを追加することで性能が大幅に向上し、AIME25ベンチマークにおいて次善の合成データセットを最大17.85ポイント上回った。第二に、詳細なアブレーションスタディにおいて、Difficulty Hikingプロセスが非常に効果的であることを示した。平均問題難易度を5.02から5.98に引き上げることで、AIME25の性能が46.38％から49.23％に向上した。完全な生成パイプライン、最終データセット、およびファインチューニングされたモデルは、より能力が高く効率的な数学的推論LLMsを構築するための実用的でスケーラブルなツールキットを形成する。SAND-Mathデータセットは以下のURLで公開されている：
https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}
English
The demand for Large Language Models (LLMs) capable of sophisticated
mathematical reasoning is growing across industries. However, the development
of performant mathematical LLMs is critically bottlenecked by the scarcity of
difficult, novel training data. We introduce SAND-Math (Synthetic
Augmented Novel and Difficult Mathematics problems and solutions), a pipeline
that addresses this by first generating high-quality problems from scratch and
then systematically elevating their complexity via a new Difficulty
Hiking step. We demonstrate the effectiveness of our approach through two key
findings. First, augmenting a strong baseline with SAND-Math data significantly
boosts performance, outperforming the next-best synthetic dataset by
uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a
dedicated ablation study, we show our Difficulty Hiking process is highly
effective: by increasing average problem difficulty from 5.02 to 5.98, this
step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation
pipeline, final dataset, and a fine-tuned model form a practical and scalable
toolkit for building more capable and efficient mathematical reasoning LLMs.
SAND-Math dataset is released here:
https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}