MathSE: Verbetering van multimodale wiskundige redeneervaardigheden via zelf-evoluerende iteratieve reflectie en beloningsgestuurde fine-tuning

MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning

November 10, 2025

Auteurs: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang

cs.AI

Samenvatting

Multimodale grote-taalmmodellen (MLLM's) hebben opmerkelijke capaciteiten getoond bij visueel-taalkundige vraag-antwoordtaken. Ondanks hun sterke punten, lopen deze modellen vaak tegen problemen aan bij het uitvoeren van complexe redeneertaken, zoals het oplossen van wiskundige problemen. Eerdere onderzoeken richtten zich op fine-tuning met gespecialiseerde wiskundige datasets. Deze datasets worden echter doorgaans direct gedistilleerd uit leraarmodellen, die alleen statische redeneerpatronen vastleggen, wat aanzienlijke verschillen oplevert in vergelijking met leerlingmodellen. Deze afhankelijkheid van vaste, door de leraar gegenereerde datasets beperkt niet alleen het vermogen van het model om zich aan te passen aan nieuwe of complexere vragen die buiten de grenzen van de trainingsdata vallen, maar ontbeert ook de iteratieve diepgang die nodig is voor robuuste generalisatie. Om deze beperkingen te overwinnen, stellen wij \method voor, een Mathematisch Zelf-Evoluerend raamwerk voor MLLM's. In tegenstelling tot traditionele one-shot fine-tuning paradigma's, verfijnt \method het model iteratief door cycli van inferentie, reflectie en op beloning gebaseerde feedback. Specifiek benutten wij iteratieve fine-tuning door correcte redeneerpaden van inferentie uit de vorige fase te incorporeren en reflecties van een gespecialiseerd Uitkomst-Beloningsmodel (Outcome Reward Model, ORM) te integreren. Om de effectiviteit van \method te verifiëren, evalueren we het op een reeks uitdagende benchmarks, waarbij significante prestatieverbeteringen ten opzichte van de basismodellen worden aangetoond. Opmerkelijk is dat onze experimentele resultaten op MathVL-test het toonaangevende open-source multimodale wiskundige redeneermodel QVQ overtreffen. Onze code en modellen zijn beschikbaar op https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.