SAND-Math: Het gebruik van LLM's om nieuwe, uitdagende en nuttige wiskundevragen en antwoorden te genereren

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers

July 28, 2025

Auteurs: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum

cs.AI

Samenvatting

De vraag naar Large Language Models (LLMs) die geavanceerd wiskundig redeneren aankunnen, groeit in verschillende sectoren. De ontwikkeling van performante wiskundige LLMs wordt echter ernstig belemmerd door het gebrek aan uitdagende, nieuwe trainingsdata. Wij introduceren SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), een pijplijn die dit probleem aanpakt door eerst hoogwaardige problemen van scratch te genereren en vervolgens hun complexiteit systematisch te verhogen via een nieuwe stap genaamd Difficulty Hiking. Wij demonstreren de effectiviteit van onze aanpak door twee belangrijke bevindingen. Ten eerste verbetert het versterken van een sterke baseline met SAND-Math data de prestaties aanzienlijk, waarbij het de op één na beste synthetische dataset overtreft met een stijging van 17,85 absolute punten op de AIME25 benchmark. Ten tweede tonen we in een toegewijde ablatiestudie aan dat ons Difficulty Hiking-proces zeer effectief is: door de gemiddelde probleem moeilijkheid te verhogen van 5,02 naar 5,98, verhoogt deze stap de AIME25-prestatie van 46,38% naar 49,23%. De volledige generatiepijplijn, de uiteindelijke dataset en een fijn afgestemd model vormen een praktische en schaalbare toolkit voor het bouwen van krachtigere en efficiëntere wiskundige redeneer-LLMs. De SAND-Math dataset is hier vrijgegeven: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}

English

The demand for Large Language Models (LLMs) capable of sophisticated mathematical reasoning is growing across industries. However, the development of performant mathematical LLMs is critically bottlenecked by the scarcity of difficult, novel training data. We introduce SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), a pipeline that addresses this by first generating high-quality problems from scratch and then systematically elevating their complexity via a new Difficulty Hiking step. We demonstrate the effectiveness of our approach through two key findings. First, augmenting a strong baseline with SAND-Math data significantly boosts performance, outperforming the next-best synthetic dataset by uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a dedicated ablation study, we show our Difficulty Hiking process is highly effective: by increasing average problem difficulty from 5.02 to 5.98, this step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation pipeline, final dataset, and a fine-tuned model form a practical and scalable toolkit for building more capable and efficient mathematical reasoning LLMs. SAND-Math dataset is released here: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}