La Visione Conta: Semplici Perturbazioni Visive Possono Potenziare il Ragionamento Matematico Multimodale

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Autori: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Abstract

Nonostante i rapidi progressi dei modelli linguistici multimodali di grandi dimensioni (MLLMs), questi hanno largamente trascurato l'importanza dell'elaborazione visiva. In un esperimento semplice ma rivelatore, troviamo in modo interessante che i modelli basati esclusivamente sul linguaggio, quando forniti di didascalie per le immagini, possono ottenere prestazioni comparabili o addirittura migliori rispetto agli MLLMs che consumano input visivi grezzi. Ciò suggerisce che gli attuali MLLMs possono generare descrizioni visive accurate ma non riescono a integrarle efficacemente durante il ragionamento. Motivati da questo, proponiamo un semplice framework di perturbazione visiva che migliora la robustezza percettiva senza richiedere modifiche algoritmiche o dati di addestramento aggiuntivi. Il nostro approccio introduce tre perturbazioni mirate: concatenazione di distrattori, mixup che preserva la dominanza e rotazione casuale, che possono essere facilmente integrate nelle pipeline esistenti post-addestramento, inclusi SFT, DPO e GRPO. Attraverso esperimenti estesi su più dataset, dimostriamo miglioramenti consistenti nelle prestazioni di ragionamento matematico, con guadagni comparabili a quelli ottenuti attraverso cambiamenti algoritmici. Inoltre, otteniamo prestazioni competitive tra i modelli open-source da 7B ottimizzati con RL addestrando Qwen2.5-VL-7B con perturbazione visiva. Attraverso studi di ablazione completi, analizziamo l'efficacia di diverse strategie di perturbazione, rivelando che ogni tipo di perturbazione contribuisce in modo unico a diversi aspetti del ragionamento visivo. Le nostre scoperte evidenziano il ruolo cruciale della perturbazione visiva nel ragionamento matematico multimodale: un ragionamento migliore inizia con una visione migliore. Il nostro codice è disponibile all'indirizzo https://github.com/YutingLi0606/Vision-Matters.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.