SAND-Math: Использование языковых моделей для генерации новых, сложных и полезных математических вопросов и ответов

SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers

July 28, 2025

Авторы: Chaitanya Manem, Pratik Prabhanjan Brahma, Prakamya Mishra, Zicheng Liu, Emad Barsoum

cs.AI

Аннотация

Спрос на крупные языковые модели (LLM), способные к сложному математическому рассуждению, растет в различных отраслях. Однако разработка эффективных математических LLM серьезно ограничивается дефицитом сложных и новых данных для обучения. Мы представляем SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions) — конвейер, который решает эту проблему, сначала генерируя высококачественные задачи с нуля, а затем систематически повышая их сложность с помощью нового этапа Difficulty Hiking. Мы демонстрируем эффективность нашего подхода на основе двух ключевых результатов. Во-первых, дополнение сильной базовой модели данными SAND-Math значительно повышает производительность, превосходя лучший синтетический набор данных на 17,85 абсолютных пункта на бенчмарке AIME25. Во-вторых, в рамках специального исследования мы показываем, что процесс Difficulty Hiking является высокоэффективным: увеличивая среднюю сложность задачи с 5,02 до 5,98, этот этап повышает производительность на AIME25 с 46,38% до 49,23%. Полный конвейер генерации, финальный набор данных и доработанная модель формируют практичный и масштабируемый инструментарий для создания более мощных и эффективных LLM, способных к математическому рассуждению. Набор данных SAND-Math доступен по ссылке: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}.

English

The demand for Large Language Models (LLMs) capable of sophisticated mathematical reasoning is growing across industries. However, the development of performant mathematical LLMs is critically bottlenecked by the scarcity of difficult, novel training data. We introduce SAND-Math (Synthetic Augmented Novel and Difficult Mathematics problems and solutions), a pipeline that addresses this by first generating high-quality problems from scratch and then systematically elevating their complexity via a new Difficulty Hiking step. We demonstrate the effectiveness of our approach through two key findings. First, augmenting a strong baseline with SAND-Math data significantly boosts performance, outperforming the next-best synthetic dataset by uparrow 17.85 absolute points on the AIME25 benchmark. Second, in a dedicated ablation study, we show our Difficulty Hiking process is highly effective: by increasing average problem difficulty from 5.02 to 5.98, this step lifts AIME25 performance from 46.38\% to 49.23\%. The full generation pipeline, final dataset, and a fine-tuned model form a practical and scalable toolkit for building more capable and efficient mathematical reasoning LLMs. SAND-Math dataset is released here: https://huggingface.co/datasets/amd/SAND-MATH{https://huggingface.co/datasets/amd/SAND-MATH}