От восприятия к рассуждению: декомпозиция восприятия и рассуждения для мелкозернистого визуального рассуждения

Аннотация

Тонкозернистое визуальное рассуждение остаётся сложной задачей для визуально-языковых моделей, особенно когда небольшие, но критически важные визуальные подсказки скрыты в изображениях высокого разрешения. Существующие подходы полагаются на многократное кадрирование или визуальный поиск во время тестирования для получения локальных свидетельств, однако они, как правило, не проводят явного разграничения между восприятием и рассуждением. В данной статье мы предлагаем P2R (Perceive-to-Reason) — единый фреймворк, который формулирует тонкозернистое визуальное рассуждение как двухстадийный процесс: сначала модель локализует релевантные вопросу свидетельства в роли Воспринимающего модуля (Perceiver), а затем отвечает на вопрос в роли Рассуждающего модуля (Reasoner) на основе аннотированного изображения и вырезанных областей. Для лучшего согласования обучения с такой декомпозицией мы дополнительно вводим PRA-GRPO (Perception-Reasoning Alternating GRPO) — ролевую стратегию обучения с подкреплением, которая чередует обновления, ориентированные на восприятие, и обновления, ориентированные на рассуждение, используя только супервизию по финальному ответу. Построенная на основе Qwen3-VL-Instruct-2B/4B/8B, модель P2R стабильно улучшает производительность при различных масштабах моделей. В частности, P2R-4B достигает 93.2% на V-Star, 81.9% на HR-Bench-4K и 80.5% на HR-Bench-8K, существенно превосходя соответствующую базовую архитектуру. Дальнейшие эксперименты показывают, что преимущества P2R распространяются за пределы бенчмарков высокого разрешения на более широкий круг задач мультимодального рассуждения. Эти результаты свидетельствуют о том, что явное разделение восприятия и рассуждения обеспечивает эффективный фреймворк для тонкозернистого визуального рассуждения.

English

Fine-grained visual reasoning remains challenging for vision-language models, especially when small but critical visual cues are buried in high-resolution images. Existing approaches rely on repeated cropping or test-time visual search to introduce local evidence, but they typically do not explicitly distinguish perception from reasoning. In this paper, we propose Perceive-to-Reason (P2R), a unified framework that formulates fine-grained visual reasoning as a two-stage process: the model first localizes question-relevant evidence as a Perceiver, and then answers the question as a Reasoner based on the annotated image and cropped regions. To better align training with this decoupled formulation, we further introduce Perception-Reasoning Alternating GRPO (PRA-GRPO), a role-aware reinforcement learning strategy that alternates between perception-focused and reasoning-focused updates using only final-answer supervision. Built on top of Qwen3-VL-Instruct-2B/4B/8B, P2R consistently improves performance across model scales. In particular, P2R-4B achieves 93.2% on V-Star, 81.9% on HR-Bench-4K, and 80.5% on HR-Bench-8K, substantially outperforming its corresponding backbone. Further experiments show that the benefits of P2R extend beyond high-resolution benchmarks to broader multimodal reasoning tasks. These results suggest that explicitly decoupling perception from reasoning provides an effective framework for fine-grained visual reasoning.