MathSE: Mejora del Razonamiento Matemático Multimodal mediante la Reflexión Iterativa de Autoevolución y el Ajuste Fino Guiado por Recompensas

MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning

November 10, 2025

Autores: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang

cs.AI

Resumen

Los modelos lingüísticos multimodales de gran escala (MLLMs) han demostrado capacidades notables en tareas de respuesta visión-lenguaje. A pesar de sus fortalezas, estos modelos a menudo encuentran dificultades para lograr tareas de razonamiento complejo como la resolución de problemas matemáticos. Trabajos previos se han centrado en el ajuste fino en conjuntos de datos matemáticos especializados. Sin embargo, estos conjuntos de datos suelen ser destilados directamente de modelos docentes, que capturan únicamente patrones de razonamiento estáticos, dejando brechas sustanciales en comparación con los modelos estudiantiles. Esta dependencia de conjuntos de datos fijos derivados de docentes no solo restringe la capacidad del modelo para adaptarse a preguntas novedosas o más intrincadas que se extienden más allá de los límites de los datos de entrenamiento, sino que también carece de la profundidad iterativa necesaria para una generalización robusta. Para superar estas limitaciones, proponemos \method, un marco de Auto-Evolución Matemática para MLLMs. A diferencia de los paradigmas tradicionales de ajuste fino de una sola vez, \method refina iterativamente el modelo mediante ciclos de inferencia, reflexión y retroalimentación basada en recompensas. Específicamente, aprovechamos el ajuste fino iterativo incorporando trayectorias de razonamiento correctas derivadas de inferencias en etapas previas e integrando reflexiones de un Modelo de Recompensa de Resultados (ORM) especializado. Para verificar la efectividad de \method, lo evaluamos en un conjunto de benchmarks desafiantes, demostrando ganancias significativas de rendimiento sobre los modelos base. Notablemente, nuestros resultados experimentales en MathVL-test superan al principal modelo de razonamiento matemático multimodal de código abierto QVQ. Nuestro código y modelos están disponibles en https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.