Зрение имеет значение: простые визуальные возмущения могут улучшить мультимодальное математическое рассуждение

Vision Matters: Simple Visual Perturbations Can Boost Multimodal Math Reasoning

June 11, 2025

Авторы: Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Linghe Kong, Lichao Sun, Weiran Huang

cs.AI

Аннотация

Несмотря на быстрый прогресс мультимодальных больших языковых моделей (MLLMs), они в значительной степени упускают из виду важность визуальной обработки. В простом, но показательном эксперименте мы обнаружили, что языковые модели, снабженные описаниями изображений, могут достичь сопоставимой или даже лучшей производительности, чем MLLMs, которые обрабатывают исходные визуальные данные. Это свидетельствует о том, что современные MLLMs могут генерировать точные визуальные описания, но не способны эффективно интегрировать их в процесс рассуждений. Вдохновленные этим, мы предлагаем простую структуру визуальных возмущений, которая повышает устойчивость восприятия без необходимости внесения алгоритмических изменений или использования дополнительных обучающих данных. Наш подход включает три целенаправленных типа возмущений: конкатенацию отвлекающих элементов, смешивание с сохранением доминирования и случайное вращение, которые могут быть легко интегрированы в существующие посттренировочные конвейеры, включая SFT, DPO и GRPO. В ходе обширных экспериментов на множестве наборов данных мы демонстрируем устойчивое улучшение производительности в математических рассуждениях, достигая результатов, сопоставимых с теми, которые достигаются за счет алгоритмических изменений. Кроме того, мы достигаем конкурентоспособной производительности среди открытых 7B RL-настроенных моделей, обучая Qwen2.5-VL-7B с использованием визуальных возмущений. В ходе всесторонних абляционных исследований мы анализируем эффективность различных стратегий возмущений, выявляя, что каждый тип возмущения вносит уникальный вклад в различные аспекты визуального рассуждения. Наши результаты подчеркивают критическую роль визуальных возмущений в мультимодальных математических рассуждениях: лучшее рассуждение начинается с лучшего видения. Наш код доступен по адресу https://github.com/YutingLi0606/Vision-Matters.

English

Despite the rapid progress of multimodal large language models (MLLMs), they have largely overlooked the importance of visual processing. In a simple yet revealing experiment, we interestingly find that language-only models, when provided with image captions, can achieve comparable or even better performance than MLLMs that consume raw visual inputs. This suggests that current MLLMs may generate accurate visual descriptions but fail to effectively integrate them during reasoning. Motivated by this, we propose a simple visual perturbation framework that enhances perceptual robustness without requiring algorithmic modifications or additional training data. Our approach introduces three targeted perturbations: distractor concatenation, dominance-preserving mixup, and random rotation, that can be easily integrated into existing post-training pipelines including SFT, DPO, and GRPO. Through extensive experiments across multiple datasets, we demonstrate consistent improvements in mathematical reasoning performance, with gains comparable to those achieved through algorithmic changes. Additionally, we achieve competitive performance among open-source 7B RL-tuned models by training Qwen2.5-VL-7B with visual perturbation. Through comprehensive ablation studies, we analyze the effectiveness of different perturbation strategies, revealing that each perturbation type contributes uniquely to different aspects of visual reasoning. Our findings highlight the critical role of visual perturbation in multimodal mathematical reasoning: better reasoning begins with better seeing. Our code is available at https://github.com/YutingLi0606/Vision-Matters.