Mathematisches Denken adaptiv gestalten
Making Mathematical Reasoning Adaptive
October 6, 2025
papers.authors: Zhejian Lai, Xiang Geng, Zhijun Wang, Yang Bai, Jiahuan Li, Rongxiang Weng, Jingang Wang, Xuezhi Cao, Xunliang Cai, Shujian Huang
cs.AI
papers.abstract
Mathematisches Denken ist ein primärer Indikator für die Intelligenz von großen Sprachmodellen (LLMs). Allerdings zeigen bestehende LLMs Schwächen in Bezug auf Robustheit und Generalisierung. Diese Arbeit führt diese Defizite auf fehlerhaftes Schlussfolgern zurück, d.h. das Erzeugen von Antworten basierend auf oberflächlichen Merkmalen. Um diese Herausforderung zu bewältigen, schlagen wir das AdaR-Framework vor, das adaptives Denken ermöglicht, bei dem Modelle auf Problemlösungslogik zurückgreifen, um Antworten zu generieren. AdaR synthetisiert logisch äquivalente Anfragen durch Variation von Variablenwerten und trainiert Modelle mit RLVR auf diesen Daten, um fehlerhafte Logik zu bestrafen und gleichzeitig adaptives Denken zu fördern. Um die Datenqualität zu verbessern, extrahieren wir die Problemlösungslogik aus der ursprünglichen Anfrage und generieren die entsprechende Antwort durch Code-Ausführung, gefolgt von einer Plausibilitätsprüfung. Experimentelle Ergebnisse zeigen, dass AdaR die Robustheit und Generalisierung verbessert und eine deutliche Steigerung im mathematischen Denken erreicht, während gleichzeitig eine hohe Dateneffizienz gewährleistet wird. Analysen zeigen, dass Datensynthese und RLVR koordiniert zusammenwirken, um adaptives Denken in LLMs zu ermöglichen. Weitere Analysen liefern wichtige Erkenntnisse über die Auswirkungen kritischer Faktoren und die Anwendbarkeit zur Instruktion von LLMs. Unser Projekt ist verfügbar unter https://github.com/LaiZhejian/AdaR.
English
Mathematical reasoning is a primary indicator of large language models (LLMs)
intelligence. However, existing LLMs exhibit failures of robustness and
generalization. This paper attributes these deficiencies to spurious reasoning,
i.e., producing answers from superficial features. To address this challenge,
we propose the AdaR framework to enable adaptive reasoning, wherein models rely
on problem-solving logic to produce answers. AdaR synthesizes logically
equivalent queries by varying variable values, and trains models with RLVR on
these data to penalize spurious logic while encouraging adaptive logic. To
improve data quality, we extract the problem-solving logic from the original
query and generate the corresponding answer by code execution, then apply a
sanity check. Experimental results demonstrate that AdaR improves robustness
and generalization, achieving substantial improvement in mathematical reasoning
while maintaining high data efficiency. Analysis indicates that data synthesis
and RLVR function in a coordinated manner to enable adaptive reasoning in LLMs.
Subsequent analyses derive key design insights into the effect of critical
factors and the applicability to instruct LLMs. Our project is available at
https://github.com/LaiZhejian/AdaR