SAND-Math: Nutzung von LLMs zur Generierung neuartiger, anspruchsvoller und nützlicher mathematischer Fragen und Antworten

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers

July 28, 2025

papers.authors: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum

cs.AI

papers.abstract

Die Nachfrage nach Large Language Models (LLMs), die zu anspruchsvollem mathematischem Denken in der Lage sind, wächst branchenübergreifend. Die Entwicklung leistungsstarker mathematischer LLMs wird jedoch entscheidend durch den Mangel an schwierigen, neuartigen Trainingsdaten behindert. Wir stellen SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions) vor, eine Pipeline, die dieses Problem angeht, indem sie zunächst hochwertige Aufgaben von Grund auf generiert und deren Komplexität dann systematisch durch einen neuen Schritt, den sogenannten Difficulty Hiking, erhöht. Wir demonstrieren die Wirksamkeit unseres Ansatzes durch zwei zentrale Erkenntnisse. Erstens führt die Anreicherung eines starken Basismodells mit SAND-Math-Daten zu einer signifikanten Leistungssteigerung, die das nächstbeste synthetische Dataset auf dem AIME25-Benchmark um bis zu 17,85 absolute Punkte übertrifft. Zweitens zeigen wir in einer speziellen Ablationsstudie, dass unser Difficulty-Hiking-Prozess äußerst effektiv ist: Durch die Erhöhung der durchschnittlichen Aufgabenschwierigkeit von 5,02 auf 5,98 steigert dieser Schritt die AIME25-Leistung von 46,38 % auf 49,23 %. Die vollständige Generationspipeline, der finale Datensatz und ein feinabgestimmtes Modell bilden ein praktisches und skalierbares Toolkit für den Aufbau leistungsfähigerer und effizienterer LLMs für mathematisches Denken. Der SAND-Math-Datensatz ist hier verfügbar: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}

English

The demand for Large Language Models (LLMs) capable of sophisticated mathematical reasoning is growing across industries. However, the development of performant mathematical LLMs is critically bottlenecked by the scarcity of difficult, novel training data. We introduce SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), a pipeline that addresses this by first generating high-quality problems from scratch and then systematically elevating their complexity via a new Difficulty Hiking step. We demonstrate the effectiveness of our approach through two key findings. First, augmenting a strong baseline with SAND-Math data significantly boosts performance, outperforming the next-best synthetic dataset by uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a dedicated ablation study, we show our Difficulty Hiking process is highly effective: by increasing average problem difficulty from 5.02 to 5.98, this step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation pipeline, final dataset, and a fine-tuned model form a practical and scalable toolkit for building more capable and efficient mathematical reasoning LLMs. SAND-Math dataset is released here: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}