SAND-Math: Utilizando LLMs para Gerar Questões e Respostas Matemáticas Novas, Desafiadoras e Úteis
SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers
July 28, 2025
Autores: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum
cs.AI
Resumo
A demanda por Modelos de Linguagem de Grande Escala (LLMs) capazes de realizar raciocínio matemático sofisticado está crescendo em diversos setores. No entanto, o desenvolvimento de LLMs matemáticos de alto desempenho é severamente limitado pela escassez de dados de treinamento desafiadores e inovadores. Apresentamos o SAND-Math (Problemas e Soluções Matemáticas Sintéticas, Aumentadas, Novas e Difíceis), um pipeline que aborda essa questão ao gerar problemas de alta qualidade do zero e, em seguida, elevar sistematicamente sua complexidade por meio de uma nova etapa chamada Difficulty Hiking. Demonstramos a eficácia de nossa abordagem por meio de dois resultados principais. Primeiro, ao aumentar um modelo de referência robusto com dados do SAND-Math, observamos um ganho significativo de desempenho, superando o melhor conjunto de dados sintéticos em até 17,85 pontos absolutos no benchmark AIME25. Segundo, em um estudo de ablação dedicado, mostramos que o processo de Difficulty Hiking é altamente eficaz: ao aumentar a dificuldade média dos problemas de 5,02 para 5,98, essa etapa eleva o desempenho no AIME25 de 46,38% para 49,23%. O pipeline completo de geração, o conjunto de dados final e um modelo ajustado formam um kit de ferramentas prático e escalável para a construção de LLMs de raciocínio matemático mais capazes e eficientes. O conjunto de dados SAND-Math está disponível em: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}
English
The demand for Large Language Models (LLMs) capable of sophisticated
mathematical reasoning is growing across industries. However, the development
of performant mathematical LLMs is critically bottlenecked by the scarcity of
difficult, novel training data. We introduce SAND-Math (Synthetic
Augmented Novel and Difficult Mathematics problems and solutions), a pipeline
that addresses this by first generating high-quality problems from scratch and
then systematically elevating their complexity via a new Difficulty
Hiking step. We demonstrate the effectiveness of our approach through two key
findings. First, augmenting a strong baseline with SAND-Math data significantly
boosts performance, outperforming the next-best synthetic dataset by
uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a
dedicated ablation study, we show our Difficulty Hiking process is highly
effective: by increasing average problem difficulty from 5.02 to 5.98, this
step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation
pipeline, final dataset, and a fine-tuned model form a practical and scalable
toolkit for building more capable and efficient mathematical reasoning LLMs.
SAND-Math dataset is released here:
https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}