La Vision Compte : Des Perturbations Visuelles Simples Peuvent Améliorer le Raisonnement Mathématique Multimodal

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Auteurs: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Résumé

Malgré les progrès rapides des modèles de langage multimodaux de grande taille (MLLMs), ceux-ci ont largement négligé l'importance du traitement visuel. Dans une expérience simple mais révélatrice, nous constatons de manière intéressante que les modèles basés uniquement sur le langage, lorsqu'ils sont fournis avec des légendes d'images, peuvent atteindre des performances comparables, voire supérieures, à celles des MLLMs qui consomment des entrées visuelles brutes. Cela suggère que les MLLMs actuels peuvent générer des descriptions visuelles précises mais échouent à les intégrer efficacement lors du raisonnement. Motivés par cette observation, nous proposons un cadre simple de perturbation visuelle qui améliore la robustesse perceptuelle sans nécessiter de modifications algorithmiques ou de données d'entraînement supplémentaires. Notre approche introduit trois perturbations ciblées : la concaténation de distracteurs, le mixup préservant la dominance et la rotation aléatoire, qui peuvent être facilement intégrées dans les pipelines post-entraînement existants, y compris SFT, DPO et GRPO. À travers des expériences approfondies sur plusieurs ensembles de données, nous démontrons des améliorations constantes dans les performances de raisonnement mathématique, avec des gains comparables à ceux obtenus par des changements algorithmiques. De plus, nous obtenons des performances compétitives parmi les modèles open-source de 7B ajustés par renforcement en entraînant Qwen2.5-VL-7B avec perturbation visuelle. Grâce à des études d'ablation complètes, nous analysons l'efficacité des différentes stratégies de perturbation, révélant que chaque type de perturbation contribue de manière unique à différents aspects du raisonnement visuel. Nos résultats mettent en évidence le rôle crucial de la perturbation visuelle dans le raisonnement mathématique multimodal : un meilleur raisonnement commence par une meilleure vision. Notre code est disponible à l'adresse https://github.com/YutingLi0606/Vision-Matters.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.