Tornando o Raciocínio Matemático Adaptativo
Making Mathematical Reasoning Adaptive
October 6, 2025
Autores: Zhejian Lai, Xiang Geng, Zhijun Wang, Yang Bai, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xuezhi Cao, Xunliang Cai, Shujian Huang
cs.AI
Resumo
O raciocínio matemático é um indicador primário da inteligência de modelos de linguagem de grande escala (LLMs). No entanto, os LLMs existentes apresentam falhas de robustez e generalização. Este artigo atribui essas deficiências ao raciocínio espúrio, ou seja, à produção de respostas a partir de características superficiais. Para enfrentar esse desafio, propomos o framework AdaR para permitir o raciocínio adaptativo, no qual os modelos se baseiam na lógica de resolução de problemas para produzir respostas. O AdaR sintetiza consultas logicamente equivalentes variando os valores das variáveis e treina os modelos com RLVR nesses dados para penalizar a lógica espúria, ao mesmo tempo que incentiva a lógica adaptativa. Para melhorar a qualidade dos dados, extraímos a lógica de resolução de problemas da consulta original e geramos a resposta correspondente por meio de execução de código, aplicando em seguida uma verificação de sanidade. Os resultados experimentais demonstram que o AdaR melhora a robustez e a generalização, alcançando uma melhoria substancial no raciocínio matemático enquanto mantém alta eficiência de dados. A análise indica que a síntese de dados e o RLVR funcionam de forma coordenada para permitir o raciocínio adaptativo em LLMs. Análises subsequentes derivam insights-chave de design sobre o efeito de fatores críticos e a aplicabilidade para instruir LLMs. Nosso projeto está disponível em https://github.com/LaiZhejian/AdaR.
English
Mathematical reasoning is a primary indicator of large language models (LLMs)
intelligence. However, existing LLMs exhibit failures of robustness and
generalization. This paper attributes these deficiencies to spurious reasoning,
i.e., producing answers from superficial features. To address this challenge,
we propose the AdaR framework to enable adaptive reasoning, wherein models rely
on problem-solving logic to produce answers. AdaR synthesizes logically
equivalent queries by varying variable values, and trains models with RLVR on
these data to penalize spurious logic while encouraging adaptive logic. To
improve data quality, we extract the problem-solving logic from the original
query and generate the corresponding answer by code execution, then apply a
sanity check. Experimental results demonstrate that AdaR improves robustness
and generalization, achieving substantial improvement in mathematical reasoning
while maintaining high data efficiency. Analysis indicates that data synthesis
and RLVR function in a coordinated manner to enable adaptive reasoning in LLMs.
Subsequent analyses derive key design insights into the effect of critical
factors and the applicability to instruct LLMs. Our project is available at
https://github.com/LaiZhejian/AdaR