Сложнее — значит лучше: повышение математических рассуждений с помощью учитывающего сложность GRPO и многогранной переформулировки вопросов

Harder Is Better: Boosting Mathematical Reasoning via Difficulty-Aware GRPO and Multi-Aspect Question Reformulation

January 28, 2026

Авторы: Yanqi Dai, Yuxiang Ji, Xiao Zhang, Yong Wang, Xiangxiang Chu, Zhiwu Lu

cs.AI

Аннотация

Подход RLVR (обучение с подкреплением с верифицируемыми вознаграждениями) предлагает надежный механизм для улучшения математических рассуждений в больших моделях. Однако мы выявляем систематическую недостаточность внимания к более сложным задачам в существующих методах как с алгоритмической, так и с точки зрения данных, несмотря на их важность для совершенствования недостаточно развитых способностей. Алгоритмически, широко используемая оптимизация групповой относительной политики (GRPO) страдает от имплицитного дисбаланса, при котором величина обновлений политики ниже для более сложных задач. С точки зрения данных, подходы к аугментации в основном перефразируют вопросы для повышения разнообразия, не систематически увеличивая внутреннюю сложность. Для решения этих проблем мы предлагаем двухуровневую структуру MathForge для улучшения математических рассуждений, нацеленную на сложные задачи с обеих перспектив, которая включает алгоритм Difficulty-Aware Group Policy Optimization (DGPO) и стратегию Multi-Aspect Question Reformulation (MQR). В частности, DGPO сначала исправляет имплицитный дисбаланс в GRPO с помощью сбалансированной по сложности оценки группового преимущества и дополнительно приоритизирует сложные задачи с помощью взвешивания на уровне вопросов, учитывающего сложность. Тем временем MQR переформулирует вопросы по нескольким аспектам для увеличения сложности при сохранении исходного правильного ответа. В целом, MathForge формирует синергетический цикл: MQR расширяет границы данных, а DGPO эффективно обучается на аугментированных данных. Многочисленные эксперименты показывают, что MathForge значительно превосходит существующие методы в различных задачах математических рассуждений. Код и аугментированные данные доступны по адресу https://github.com/AMAP-ML/MathForge.

English

Reinforcement Learning with Verifiable Rewards (RLVR) offers a robust mechanism for enhancing mathematical reasoning in large models. However, we identify a systematic lack of emphasis on more challenging questions in existing methods from both algorithmic and data perspectives, despite their importance for refining underdeveloped capabilities. Algorithmically, widely used Group Relative Policy Optimization (GRPO) suffers from an implicit imbalance where the magnitude of policy updates is lower for harder questions. Data-wise, augmentation approaches primarily rephrase questions to enhance diversity without systematically increasing intrinsic difficulty. To address these issues, we propose a two-dual MathForge framework to improve mathematical reasoning by targeting harder questions from both perspectives, which comprises a Difficulty-Aware Group Policy Optimization (DGPO) algorithm and a Multi-Aspect Question Reformulation (MQR) strategy. Specifically, DGPO first rectifies the implicit imbalance in GRPO via difficulty-balanced group advantage estimation, and further prioritizes harder questions by difficulty-aware question-level weighting. Meanwhile, MQR reformulates questions across multiple aspects to increase difficulty while maintaining the original gold answer. Overall, MathForge forms a synergistic loop: MQR expands the data frontier, and DGPO effectively learns from the augmented data. Extensive experiments show that MathForge significantly outperforms existing methods on various mathematical reasoning tasks. The code and augmented data are all available at https://github.com/AMAP-ML/MathForge.