MathSE: Melhorando o Raciocínio Matemático Multimodal por meio de Reflexão Iterativa de Auto-Evolução e Ajuste Fino Guiado por Recompensa

MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning

November 10, 2025

Autores: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang

cs.AI

Resumo

Os modelos de linguagem grandes multimodais (MLLMs) demonstraram capacidades notáveis em tarefas de resposta visão-linguagem. Apesar dos seus pontos fortes, estes modelos frequentemente enfrentam desafios na realização de tarefas complexas de raciocínio, como a resolução de problemas matemáticos. Trabalhos anteriores concentraram-se no *fine-tuning* em conjuntos de dados matemáticos especializados. No entanto, estes conjuntos de dados são tipicamente destilados diretamente a partir de modelos professor, que capturam apenas padrões de raciocínio estáticos, deixando lacunas substanciais em comparação com os modelos estudante. Esta dependência de conjuntos de dados fixos derivados do professor não só restringe a capacidade do modelo de se adaptar a questões novas ou mais intrincadas que vão além dos limites dos dados de treino, como também carece da profundidade iterativa necessária para uma generalização robusta. Para superar estas limitações, propomos o \method, uma estrutura de Auto-Evolução Matemática para MLLMs. Em contraste com os paradigmas tradicionais de *fine-tuning* único, o \method refina iterativamente o modelo através de ciclos de inferência, reflexão e *feedback* baseado em recompensa. Especificamente, aproveitamos o *fine-tuning* iterativo, incorporando caminhos de raciocínio corretos derivados da inferência da fase anterior e integrando reflexões de um Modelo de Recompensa de Resultado (ORM) especializado. Para verificar a eficácia do \method, avaliamo-lo num conjunto de benchmarks desafiadores, demonstrando ganhos de desempenho significativos face aos modelos base. Notablemente, os nossos resultados experimentais no MathVL-test superam o principal modelo de raciocínio matemático multimodal de código aberto, o QVQ. O nosso código e modelos estão disponíveis em https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.