A Visão Importa: Perturbações Visuais Simples Podem Melhorar o Raciocínio Matemático Multimodal

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Autores: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Resumo

Apesar do rápido progresso dos modelos de linguagem multimodal de grande escala (MLLMs), eles têm negligenciado em grande parte a importância do processamento visual. Em um experimento simples, mas revelador, descobrimos de forma interessante que modelos exclusivamente de linguagem, quando fornecidos com legendas de imagens, podem alcançar desempenho comparável ou até superior ao dos MLLMs que consomem entradas visuais brutas. Isso sugere que os MLLMs atuais podem gerar descrições visuais precisas, mas falham em integrá-las efetivamente durante o raciocínio. Motivados por isso, propomos uma estrutura simples de perturbação visual que aumenta a robustez perceptiva sem exigir modificações algorítmicas ou dados adicionais de treinamento. Nossa abordagem introduz três perturbações direcionadas: concatenação de distratores, mixup que preserva a dominância e rotação aleatória, que podem ser facilmente integradas em pipelines pós-treinamento existentes, incluindo SFT, DPO e GRPO. Por meio de extensos experimentos em vários conjuntos de dados, demonstramos melhorias consistentes no desempenho de raciocínio matemático, com ganhos comparáveis aos alcançados por meio de mudanças algorítmicas. Além disso, alcançamos desempenho competitivo entre os modelos de 7B ajustados por RL de código aberto ao treinar o Qwen2.5-VL-7B com perturbação visual. Através de estudos abrangentes de ablação, analisamos a eficácia de diferentes estratégias de perturbação, revelando que cada tipo de perturbação contribui de forma única para diferentes aspectos do raciocínio visual. Nossas descobertas destacam o papel crítico da perturbação visual no raciocínio matemático multimodal: um melhor raciocínio começa com uma melhor visão. Nosso código está disponível em https://github.com/YutingLi0606/Vision-Matters.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.