MathSE: Verbesserung des multimodalen mathematischen Denkvermögens durch sich selbst entwickelnde iterative Reflexion und belohnungsgesteuertes Feinabstimmen
MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning
November 10, 2025
papers.authors: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang
cs.AI
papers.abstract
Multimodale große Sprachmodelle (MLLMs) haben bemerkenswerte Fähigkeiten bei visuell-sprachlichen Antwortaufgaben unter Beweis gestellt. Trotz ihrer Stärken stoßen diese Modelle häufig auf Schwierigkeiten, komplexe Denkaufgaben wie das Lösen mathematischer Probleme zu bewältigen. Bisherige Arbeiten konzentrierten sich auf das Feinabstimmen spezialisierter mathematischer Datensätze. Diese Datensätze werden jedoch typischerweise direkt von Lehrermodellen destilliert, die nur statische Denkmuster erfassen und erhebliche Lücken im Vergleich zu Schülermodellen hinterlassen. Diese Abhängigkeit von festen, lehrerbasierten Datensätzen schränkt nicht nur die Fähigkeit des Modells ein, sich auf neuartige oder komplexere Fragen anzupassen, die über den Rahmen der Trainingsdaten hinausgehen, sondern es fehlt auch an der iterativen Tiefe, die für eine robuste Generalisierung erforderlich ist. Um diese Grenzen zu überwinden, schlagen wir \method, einen mathematischen selbstentwickelnden Rahmen für MLLMs, vor. Im Gegensatz zu traditionellen Paradigmen der Feinabstimmung in einem Schritt verfeinert \method das Modell iterativ durch Zyklen von Inferenz, Reflexion und belohnungsbasiertem Feedback. Insbesondere nutzen wir iterative Feinabstimmung, indem wir korrekte Denkpfade aus Inferenzen der vorherigen Stufe einbeziehen und Reflexionen eines spezialisierten Outcome Reward Model (ORM) integrieren. Um die Wirksamkeit von \method zu überprüfen, evaluieren wir es anhand einer Reihe anspruchsvoller Benchmarks und zeigen signifikante Leistungssteigerungen gegenüber Basismodellen. Bemerkenswerterweise übertreffen unsere experimentellen Ergebnisse auf MathVL-test das führende Open-Source-Modell für multimodales mathematisches Denken, QVQ. Unser Code und unsere Modelle sind verfügbar unter https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.
English
Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.