Visie doet ertoe: Eenvoudige visuele verstoringen kunnen multimodale wiskundige redenering verbeteren

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Auteurs: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Samenvatting

Ondanks de snelle vooruitgang van multimodale grote taalmodellen (MLLMs), hebben ze grotendeels het belang van visuele verwerking over het hoofd gezien. In een eenvoudig maar veelzeggend experiment vinden we interessant genoeg dat taalmodellen, wanneer ze worden voorzien van beeldbeschrijvingen, vergelijkbare of zelfs betere prestaties kunnen bereiken dan MLLMs die ruwe visuele invoer verwerken. Dit suggereert dat huidige MLLMs weliswaar nauwkeurige visuele beschrijvingen kunnen genereren, maar deze niet effectief kunnen integreren tijdens het redeneren. Gemotiveerd door dit inzicht, stellen we een eenvoudig raamwerk voor visuele perturbatie voor dat de perceptuele robuustheid verbetert zonder algoritmische aanpassingen of aanvullende trainingsgegevens te vereisen. Onze aanpak introduceert drie gerichte perturbaties: distractor-concatenatie, dominantie-behoudende mixup en willekeurige rotatie, die eenvoudig kunnen worden geïntegreerd in bestaande post-trainingspijplijnen, waaronder SFT, DPO en GRPO. Door middel van uitgebreide experimenten over meerdere datasets tonen we consistente verbeteringen aan in wiskundig redeneervermogen, met winsten die vergelijkbaar zijn met die bereikt door algoritmische wijzigingen. Daarnaast behalen we competitieve prestaties onder open-source 7B RL-afgestemde modellen door Qwen2.5-VL-7B te trainen met visuele perturbatie. Via uitgebreide ablatiestudies analyseren we de effectiviteit van verschillende perturbatiestrategieën, waarbij blijkt dat elk perturbatietype uniek bijdraagt aan verschillende aspecten van visueel redeneren. Onze bevindingen benadrukken de cruciale rol van visuele perturbatie in multimodaal wiskundig redeneren: beter redeneren begint met beter zien. Onze code is beschikbaar op https://github.com/YutingLi0606/Vision-Matters.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.