Haciendo que el Razonamiento Matemático sea Adaptativo
Making Mathematical Reasoning Adaptive
October 6, 2025
Autores: Zhejian Lai, Xiang Geng, Zhijun Wang, Yang Bai, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xuezhi Cao, Xunliang Cai, Shujian Huang
cs.AI
Resumen
El razonamiento matemático es un indicador primario de la inteligencia de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Sin embargo, los LLMs existentes presentan fallos en robustez y generalización. Este artículo atribuye estas deficiencias al razonamiento espurio, es decir, la generación de respuestas a partir de características superficiales. Para abordar este desafío, proponemos el marco AdaR, que permite el razonamiento adaptativo, en el cual los modelos se basan en la lógica de resolución de problemas para producir respuestas. AdaR sintetiza consultas lógicamente equivalentes al variar los valores de las variables y entrena los modelos con RLVR (Refuerzo de Lógica y Verificación de Robustez) sobre estos datos para penalizar la lógica espuria mientras fomenta la lógica adaptativa. Para mejorar la calidad de los datos, extraemos la lógica de resolución de problemas de la consulta original y generamos la respuesta correspondiente mediante la ejecución de código, aplicando luego una verificación de coherencia. Los resultados experimentales demuestran que AdaR mejora la robustez y la generalización, logrando avances significativos en el razonamiento matemático mientras mantiene una alta eficiencia en el uso de datos. El análisis indica que la síntesis de datos y RLVR funcionan de manera coordinada para habilitar el razonamiento adaptativo en los LLMs. Análisis posteriores derivan ideas clave de diseño sobre el efecto de factores críticos y la aplicabilidad para instruir a los LLMs. Nuestro proyecto está disponible en https://github.com/LaiZhejian/AdaR.
English
Mathematical reasoning is a primary indicator of large language models (LLMs)
intelligence. However, existing LLMs exhibit failures of robustness and
generalization. This paper attributes these deficiencies to spurious reasoning,
i.e., producing answers from superficial features. To address this challenge,
we propose the AdaR framework to enable adaptive reasoning, wherein models rely
on problem-solving logic to produce answers. AdaR synthesizes logically
equivalent queries by varying variable values, and trains models with RLVR on
these data to penalize spurious logic while encouraging adaptive logic. To
improve data quality, we extract the problem-solving logic from the original
query and generate the corresponding answer by code execution, then apply a
sanity check. Experimental results demonstrate that AdaR improves robustness
and generalization, achieving substantial improvement in mathematical reasoning
while maintaining high data efficiency. Analysis indicates that data synthesis
and RLVR function in a coordinated manner to enable adaptive reasoning in LLMs.
Subsequent analyses derive key design insights into the effect of critical
factors and the applicability to instruct LLMs. Our project is available at
https://github.com/LaiZhejian/AdaR