SAND-Math: Uso de LLMs para Generar Preguntas y Respuestas Matemáticas Novedosas, Difíciles y Útiles

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers

July 28, 2025

Autores: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum

cs.AI

Resumen

La demanda de Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) capaces de realizar razonamientos matemáticos sofisticados está creciendo en diversos sectores. Sin embargo, el desarrollo de LLMs matemáticos de alto rendimiento se ve gravemente limitado por la escasez de datos de entrenamiento difíciles y novedosos. Presentamos SAND-Math (Problemas y Soluciones Matemáticas Sintéticas, Aumentadas, Novedosas y Difíciles), una pipeline que aborda este problema generando primero problemas de alta calidad desde cero y luego elevando sistemáticamente su complejidad mediante un nuevo paso denominado Difficulty Hiking (Aumento de Dificultad). Demostramos la efectividad de nuestro enfoque a través de dos hallazgos clave. En primer lugar, al aumentar un modelo base sólido con datos de SAND-Math, se mejora significativamente el rendimiento, superando al mejor conjunto de datos sintéticos en hasta 17.85 puntos absolutos en el benchmark AIME25. En segundo lugar, en un estudio de ablación dedicado, mostramos que nuestro proceso de Difficulty Hiking es altamente efectivo: al aumentar la dificultad promedio de los problemas de 5.02 a 5.98, este paso eleva el rendimiento en AIME25 del 46.38% al 49.23%. La pipeline completa de generación, el conjunto de datos final y un modelo ajustado forman un kit de herramientas práctico y escalable para construir LLMs de razonamiento matemático más capaces y eficientes. El conjunto de datos SAND-Math está disponible aquí: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}.

English

The demand for Large Language Models (LLMs) capable of sophisticated mathematical reasoning is growing across industries. However, the development of performant mathematical LLMs is critically bottlenecked by the scarcity of difficult, novel training data. We introduce SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), a pipeline that addresses this by first generating high-quality problems from scratch and then systematically elevating their complexity via a new Difficulty Hiking step. We demonstrate the effectiveness of our approach through two key findings. First, augmenting a strong baseline with SAND-Math data significantly boosts performance, outperforming the next-best synthetic dataset by uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a dedicated ablation study, we show our Difficulty Hiking process is highly effective: by increasing average problem difficulty from 5.02 to 5.98, this step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation pipeline, final dataset, and a fine-tuned model form a practical and scalable toolkit for building more capable and efficient mathematical reasoning LLMs. SAND-Math dataset is released here: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}