Vision Matters: Einfache visuelle Störungen können multimodales mathematisches Denken fördern

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Autoren: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Zusammenfassung

Trotz der rasanten Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) wurde die Bedeutung der visuellen Verarbeitung weitgehend übersehen. In einem einfachen, aber aufschlussreichen Experiment stellen wir interessanterweise fest, dass sprachbasierte Modelle, wenn sie mit Bildbeschreibungen versehen werden, eine vergleichbare oder sogar bessere Leistung erzielen können als MLLMs, die rohe visuelle Eingaben verarbeiten. Dies deutet darauf hin, dass aktuelle MLLMs zwar präzise visuelle Beschreibungen generieren können, diese jedoch während des Schlussfolgerns nicht effektiv integrieren. Motiviert durch diese Erkenntnis schlagen wir ein einfaches Framework für visuelle Störungen vor, das die perzeptive Robustheit verbessert, ohne algorithmische Anpassungen oder zusätzliche Trainingsdaten zu erfordern. Unser Ansatz führt drei gezielte Störungen ein: die Konkatenation von Ablenkern, den dominanzbewahrenden Mixup und die zufällige Rotation, die problemlos in bestehende Post-Training-Pipelines wie SFT, DPO und GRPO integriert werden können. Durch umfangreiche Experimente über mehrere Datensätze hinweg zeigen wir konsistente Verbesserungen in der mathematischen Schlussfolgerungsleistung, mit Gewinnen, die denen durch algorithmische Änderungen erreichten vergleichbar sind. Zusätzlich erzielen wir eine wettbewerbsfähige Leistung unter Open-Source-7B-RL-optimierten Modellen, indem wir Qwen2.5-VL-7B mit visuellen Störungen trainieren. Durch umfassende Ablationsstudien analysieren wir die Wirksamkeit verschiedener Störungsstrategien und zeigen, dass jeder Störungstyp einzigartig zu verschiedenen Aspekten der visuellen Schlussfolgerung beiträgt. Unsere Ergebnisse unterstreichen die entscheidende Rolle visueller Störungen bei der multimodalen mathematischen Schlussfolgerung: Besseres Schlussfolgern beginnt mit besserem Sehen. Unser Code ist unter https://github.com/YutingLi0606/Vision-Matters verfügbar.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.