MathSE : Amélioration du raisonnement mathématique multimodal par réflexion itérative auto-évolutive et réglage fin guidé par récompense
MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning
November 10, 2025
papers.authors: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang
cs.AI
papers.abstract
Les modèles de langage multimodaux (MLLM) ont démontré des capacités remarquables dans les tâches de question-réponse visuo-linguistiques. Malgré leurs forces, ces modèles rencontrent souvent des difficultés à réaliser des tâches de raisonnement complexes telles que la résolution de problèmes mathématiques. Les travaux antérieurs se sont concentrés sur le fine-tuning sur des ensembles de données mathématiques spécialisés. Cependant, ces ensembles de données sont généralement distillés directement à partir de modèles enseignants, qui ne capturent que des schémas de raisonnement statiques, laissant un écart substantiel par rapport aux modèles étudiants. Cette dépendance à des ensembles de données fixes dérivés de modèles enseignants restreint non seulement la capacité du modèle à s'adapter à des questions nouvelles ou plus complexes qui dépassent le cadre des données d'entraînement, mais manque également de la profondeur itérative nécessaire à une généralisation robuste. Pour surmonter ces limitations, nous proposons \method, un cadre d'auto-évolution mathématique pour les MLLM. Contrairement aux paradigmes traditionnels de fine-tuning en une seule étape, \method affine itérativement le modèle par des cycles d'inférence, de réflexion et de rétroaction basée sur des récompenses. Concrètement, nous tirons parti d'un fine-tuning itératif en incorporant des chemins de raisonnement corrects dérivés de l'inférence à l'étape précédente et en intégrant les réflexions d'un modèle de récompense par résultat (ORM) spécialisé. Pour vérifier l'efficacité de \method, nous l'évaluons sur une série de benchmarks difficiles, démontrant des gains de performance significatifs par rapport aux modèles de base. Notamment, nos résultats expérimentaux sur MathVL-test surpassent le principal modèle de raisonnement mathématique multimodal open-source QVQ. Notre code et nos modèles sont disponibles à l'adresse https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.
English
Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.