SAND-Math: Utilizzo di LLM per Generare Domande e Risposte Matematiche Nuove, Difficili e Utili

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers

July 28, 2025

Autori: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum

cs.AI

Abstract

La richiesta di modelli linguistici di grandi dimensioni (LLM) in grado di eseguire ragionamenti matematici sofisticati è in crescita in vari settori. Tuttavia, lo sviluppo di LLM matematici performanti è fortemente limitato dalla scarsità di dati di addestramento difficili e innovativi. Introduciamo SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), una pipeline che affronta questo problema generando prima problemi di alta qualità da zero e poi aumentando sistematicamente la loro complessità attraverso un nuovo passaggio chiamato Difficulty Hiking. Dimostriamo l'efficacia del nostro approccio attraverso due risultati chiave. In primo luogo, arricchendo una solida baseline con i dati di SAND-Math si ottiene un significativo miglioramento delle prestazioni, superando il miglior dataset sintetico esistente di ben 17,85 punti assoluti sul benchmark AIME25. In secondo luogo, in uno studio di ablazione dedicato, mostriamo che il processo di Difficulty Hiking è altamente efficace: aumentando la difficoltà media dei problemi da 5,02 a 5,98, questo passaggio migliora le prestazioni su AIME25 dal 46,38% al 49,23%. La pipeline completa di generazione, il dataset finale e un modello fine-tuned costituiscono un toolkit pratico e scalabile per costruire LLM matematici più capaci ed efficienti. Il dataset SAND-Math è disponibile qui: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}

English

The demand for Large Language Models (LLMs) capable of sophisticated mathematical reasoning is growing across industries. However, the development of performant mathematical LLMs is critically bottlenecked by the scarcity of difficult, novel training data. We introduce SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), a pipeline that addresses this by first generating high-quality problems from scratch and then systematically elevating their complexity via a new Difficulty Hiking step. We demonstrate the effectiveness of our approach through two key findings. First, augmenting a strong baseline with SAND-Math data significantly boosts performance, outperforming the next-best synthetic dataset by uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a dedicated ablation study, we show our Difficulty Hiking process is highly effective: by increasing average problem difficulty from 5.02 to 5.98, this step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation pipeline, final dataset, and a fine-tuned model form a practical and scalable toolkit for building more capable and efficient mathematical reasoning LLMs. SAND-Math dataset is released here: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}