지각-추론: 세분화된 시각적 추론을 위한 지각과 추론의 분리

초록

세밀한 시각적 추론은 시각-언어 모델에게 여전히 어려운 과제이며, 특히 작지만 중요한 시각적 단서가 고해상도 이미지에 묻혀 있는 경우에 더욱 그렇다. 기존 접근법은 반복적인 자르기 또는 테스트 시간 시각적 검색에 의존하여 국소적 증거를 도입하지만, 일반적으로 지각과 추론을 명시적으로 구분하지 않는다. 본 논문에서는 세밀한 시각적 추론을 두 단계 과정으로 정식화하는 통합 프레임워크인 P2R(Perceive-to-Reason)을 제안한다. 모델은 먼저 Perceiver로서 질문과 관련된 증거를 국소화한 다음, 주석이 달린 이미지와 잘린 영역을 기반으로 Reasoner로서 질문에 답변한다. 이러한 분리된 정식화에 훈련을 더 잘 정렬하기 위해, 최종 답변 감독만을 사용하여 지각 중심 업데이트와 추론 중심 업데이트를 번갈아 수행하는 역할 인식 강화 학습 전략인 PRA-GRPO(Perception-Reasoning Alternating GRPO)를 추가로 도입한다. Qwen3-VL-Instruct-2B/4B/8B를 기반으로 구축된 P2R은 모델 규모 전반에 걸쳐 일관되게 성능을 향상시킨다. 특히 P2R-4B는 V-Star에서 93.2%, HR-Bench-4K에서 81.9%, HR-Bench-8K에서 80.5%를 달성하여 해당 백본을 크게 능가한다. 추가 실험 결과는 P2R의 이점이 고해상도 벤치마크를 넘어 더 광범위한 다중 모드 추론 작업으로 확장됨을 보여준다. 이러한 결과는 지각과 추론을 명시적으로 분리하는 것이 세밀한 시각적 추론을 위한 효과적인 프레임워크를 제공함을 시사한다.

English

Fine-grained visual reasoning remains challenging for vision-language models, especially when small but critical visual cues are buried in high-resolution images. Existing approaches rely on repeated cropping or test-time visual search to introduce local evidence, but they typically do not explicitly distinguish perception from reasoning. In this paper, we propose Perceive-to-Reason (P2R), a unified framework that formulates fine-grained visual reasoning as a two-stage process: the model first localizes question-relevant evidence as a Perceiver, and then answers the question as a Reasoner based on the annotated image and cropped regions. To better align training with this decoupled formulation, we further introduce Perception-Reasoning Alternating GRPO (PRA-GRPO), a role-aware reinforcement learning strategy that alternates between perception-focused and reasoning-focused updates using only final-answer supervision. Built on top of Qwen3-VL-Instruct-2B/4B/8B, P2R consistently improves performance across model scales. In particular, P2R-4B achieves 93.2% on V-Star, 81.9% on HR-Bench-4K, and 80.5% on HR-Bench-8K, substantially outperforming its corresponding backbone. Further experiments show that the benefits of P2R extend beyond high-resolution benchmarks to broader multimodal reasoning tasks. These results suggest that explicitly decoupling perception from reasoning provides an effective framework for fine-grained visual reasoning.