Mais Difícil É Melhor: Impulsionando o Raciocínio Matemático via GRPO com Consciência de Dificuldade e Reformulação de Questões Multi-Aspecto
Harder Is Better: Boosting Mathematical Reasoning via Difficulty-Aware GRPO and Multi-Aspect Question Reformulation
January 28, 2026
Autores: Yanqi Dai, Yuxiang Ji, Xiao Zhang, Yong Wang, Xiangxiang Chu, Zhiwu Lu
cs.AI
Resumo
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) oferece um mecanismo robusto para aprimorar o raciocínio matemático em modelos de grande escala. No entanto, identificamos uma falta sistemática de ênfase em questões mais desafiadoras nos métodos existentes, tanto das perspectivas algorítmica quanto de dados, apesar de sua importância para refinar capacidades subdesenvolvidas. Algoritmicamente, a amplamente utilizada Otimização de Política Relativa de Grupo (GRPO) sofre com um desequilíbrio implícito, em que a magnitude das atualizações da política é menor para questões mais difíceis. Em termos de dados, as abordagens de aumento (augmentation) principalmente reformulam as questões para aumentar a diversidade, sem elevar sistematicamente a dificuldade intrínseca.
Para abordar essas questões, propomos a estrutura MathForge de dupla vertente para melhorar o raciocínio matemático, visando questões mais difíceis a partir de ambas as perspectivas. Ela compreende um algoritmo de Otimização de Política de Grupo com Consciência da Dificuldade (DGPO) e uma estratégia de Reformulação de Questões com Múltiplos Aspectos (MQR). Especificamente, o DGPO primeiro retifica o desequilíbrio implícito do GRPO por meio de uma estimativa de vantagem de grupo balanceada por dificuldade e, ainda, prioriza as questões mais difíceis através de uma ponderação a nível de questão consciente da dificuldade. Entretanto, o MQR reformula as questões em múltiplos aspectos para aumentar a dificuldade, mantendo a resposta correta (gold answer) original.
No geral, o MathForge forma um ciclo sinérgico: o MQR expande a fronteira de dados e o DGPO aprende efetivamente com os dados aumentados. Experimentos extensivos mostram que o MathForge supera significativamente os métodos existentes em várias tarefas de raciocínio matemático. O código e os dados aumentados estão disponíveis em https://github.com/AMAP-ML/MathForge.
English
Reinforcement Learning with Verifiable Rewards (RLVR) offers a robust mechanism for enhancing mathematical reasoning in large models. However, we identify a systematic lack of emphasis on more challenging questions in existing methods from both algorithmic and data perspectives, despite their importance for refining underdeveloped capabilities. Algorithmically, widely used Group Relative Policy Optimization (GRPO) suffers from an implicit imbalance where the magnitude of policy updates is lower for harder questions. Data-wise, augmentation approaches primarily rephrase questions to enhance diversity without systematically increasing intrinsic difficulty. To address these issues, we propose a two-dual MathForge framework to improve mathematical reasoning by targeting harder questions from both perspectives, which comprises a Difficulty-Aware Group Policy Optimization (DGPO) algorithm and a Multi-Aspect Question Reformulation (MQR) strategy. Specifically, DGPO first rectifies the implicit imbalance in GRPO via difficulty-balanced group advantage estimation, and further prioritizes harder questions by difficulty-aware question-level weighting. Meanwhile, MQR reformulates questions across multiple aspects to increase difficulty while maintaining the original gold answer. Overall, MathForge forms a synergistic loop: MQR expands the data frontier, and DGPO effectively learns from the augmented data. Extensive experiments show that MathForge significantly outperforms existing methods on various mathematical reasoning tasks. The code and augmented data are all available at https://github.com/AMAP-ML/MathForge.