MathSE: Miglioramento del ragionamento matematico multimodale tramite riflessione iterativa auto-evolutiva e fine-tuning guidato da ricompense

MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning

November 10, 2025

Autori: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) hanno dimostrato capacità notevoli nei compiti di risposta visivo-linguistici. Nonostante i loro punti di forza, questi modelli incontrano spesso difficoltà nel raggiungere compiti di ragionamento complesso come la risoluzione di problemi matematici. I lavori precedenti si sono concentrati sul fine-tuning su dataset matematici specializzati. Tuttavia, questi dataset sono tipicamente distillati direttamente da modelli insegnanti, che catturano solo pattern di ragionamento statici, lasciando divari sostanziali rispetto ai modelli studente. Questa dipendenza da dataset fissi derivati da insegnanti non solo limita la capacità del modello di adattarsi a domande nuove o più intricate che vanno oltre i confini dei dati di addestramento, ma manca anche della profondità iterativa necessaria per una generalizzazione robusta. Per superare queste limitazioni, proponiamo \method, un framework di Auto-Evoluzione Matematica per MLLM. A differenza dei paradigmi tradizionali di fine-tuning one-shot, \method affina iterativamente il modello attraverso cicli di inferenza, riflessione e feedback basato su ricompense. Nello specifico, sfruttiamo il fine-tuning iterativo incorporando percorsi di ragionamento corretti derivati dall'inferenza dello stadio precedente e integrando riflessioni da un modello di ricompensa per esiti specializzato. Per verificare l'efficacia di \method, lo valutiamo su una serie di benchmark impegnativi, dimostrando significativi miglioramenti delle prestazioni rispetto ai modelli base. Degno di nota, i nostri risultati sperimentali su MathVL-test superano il principale modello di ragionamento matematico multimodale open-source, QVQ. Il nostro codice e i nostri modelli sono disponibili all'indirizzo https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.