La visión importa: perturbaciones visuales simples pueden potenciar el razonamiento matemático multimodal

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Autores: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Resumen

A pesar del rápido progreso de los modelos de lenguaje multimodal de gran escala (MLLMs), estos han pasado por alto en gran medida la importancia del procesamiento visual. En un experimento simple pero revelador, encontramos de manera interesante que los modelos exclusivamente de lenguaje, cuando se les proporcionan descripciones de imágenes, pueden lograr un rendimiento comparable o incluso mejor que los MLLMs que consumen entradas visuales en bruto. Esto sugiere que los MLLMs actuales pueden generar descripciones visuales precisas, pero fallan en integrarlas efectivamente durante el razonamiento. Motivados por esto, proponemos un marco simple de perturbación visual que mejora la robustez perceptual sin requerir modificaciones algorítmicas ni datos adicionales de entrenamiento. Nuestro enfoque introduce tres perturbaciones específicas: concatenación de distractores, mezcla que preserva la dominancia y rotación aleatoria, que pueden integrarse fácilmente en los pipelines existentes post-entrenamiento, incluyendo SFT, DPO y GRPO. A través de extensos experimentos en múltiples conjuntos de datos, demostramos mejoras consistentes en el rendimiento del razonamiento matemático, con ganancias comparables a las logradas mediante cambios algorítmicos. Además, alcanzamos un rendimiento competitivo entre los modelos de 7B ajustados con RL de código abierto al entrenar Qwen2.5-VL-7B con perturbación visual. Mediante estudios de ablación exhaustivos, analizamos la efectividad de las diferentes estrategias de perturbación, revelando que cada tipo de perturbación contribuye de manera única a diferentes aspectos del razonamiento visual. Nuestros hallazgos destacan el papel crítico de la perturbación visual en el razonamiento matemático multimodal: un mejor razonamiento comienza con una mejor visión. Nuestro código está disponible en https://github.com/YutingLi0606/Vision-Matters.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.