SAND-Math : Utilisation des LLM pour générer des questions et réponses mathématiques nouvelles, difficiles et utiles

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers

July 28, 2025

papers.authors: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum

cs.AI

papers.abstract

La demande pour des modèles de langage de grande taille (LLMs) capables de raisonnements mathématiques sophistiqués est en croissance dans divers secteurs. Cependant, le développement de LLMs performants en mathématiques est fortement limité par la rareté de données d'entraînement difficiles et novatrices. Nous présentons SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), un pipeline qui répond à ce problème en générant d'abord des problèmes de haute qualité à partir de zéro, puis en augmentant systématiquement leur complexité grâce à une nouvelle étape appelée Difficulty Hiking. Nous démontrons l'efficacité de notre approche à travers deux résultats clés. Premièrement, l'enrichissement d'un modèle de référence avec les données de SAND-Math améliore significativement les performances, surpassant le meilleur ensemble de données synthétiques existant de 17,85 points absolus sur le benchmark AIME25. Deuxièmement, dans une étude d'ablation dédiée, nous montrons que notre processus de Difficulty Hiking est très efficace : en augmentant la difficulté moyenne des problèmes de 5,02 à 5,98, cette étape améliore les performances sur AIME25 de 46,38 % à 49,23 %. Le pipeline complet de génération, l'ensemble de données final et un modèle affiné constituent une boîte à outils pratique et évolutive pour construire des LLMs de raisonnement mathématique plus performants et efficaces. Le jeu de données SAND-Math est disponible ici : https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}

English

The demand for Large Language Models (LLMs) capable of sophisticated mathematical reasoning is growing across industries. However, the development of performant mathematical LLMs is critically bottlenecked by the scarcity of difficult, novel training data. We introduce SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), a pipeline that addresses this by first generating high-quality problems from scratch and then systematically elevating their complexity via a new Difficulty Hiking step. We demonstrate the effectiveness of our approach through two key findings. First, augmenting a strong baseline with SAND-Math data significantly boosts performance, outperforming the next-best synthetic dataset by uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a dedicated ablation study, we show our Difficulty Hiking process is highly effective: by increasing average problem difficulty from 5.02 to 5.98, this step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation pipeline, final dataset, and a fine-tuned model form a practical and scalable toolkit for building more capable and efficient mathematical reasoning LLMs. SAND-Math dataset is released here: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}