Wahrnehmen-um-zu-Schlussfolgern: Entkopplung von Wahrnehmung und Schlussfolgerung für feinkörniges visuelles Reasoning

Zusammenfassung

Feinkörniges visuelles Schlussfolgern bleibt für Sprach-Bild-Modelle eine Herausforderung, insbesondere wenn kleine, aber kritische visuelle Hinweise in hochauflösenden Bildern verborgen sind. Bestehende Ansätze basieren auf wiederholtem Zuschneiden oder testzeitlicher visueller Suche, um lokale Evidenz einzubringen, unterscheiden jedoch typischerweise nicht explizit zwischen Wahrnehmung und Schlussfolgerung. In dieser Arbeit schlagen wir Perceive-to-Reason (P2R) vor, ein einheitliches Framework, das feinkörniges visuelles Schlussfolgern als zweistufigen Prozess formuliert: Das Modell lokalisiert zunächst fragebezogene Evidenz als Perceiver und beantwortet dann die Frage als Reasoner basierend auf dem annotierten Bild und den zugeschnittenen Regionen. Um das Training besser an diese entkoppelte Formulierung anzupassen, führen wir zusätzlich Perception-Reasoning Alternating GRPO (PRA-GRPO) ein, eine rollenbewusste Verstärkungslernstrategie, die zwischen wahrnehmungsfokussierten und schlussfolgerungsfokussierten Aktualisierungen unter ausschließlicher Verwendung der Überwachung durch die endgültige Antwort wechselt. Aufbauend auf Qwen3-VL-Instruct-2B/4B/8B verbessert P2R konsistent die Leistung über alle Modellgrößen hinweg. Insbesondere erreicht P2R-4B 93,2 % auf V-Star, 81,9 % auf HR-Bench-4K und 80,5 % auf HR-Bench-8K und übertrifft damit das entsprechende Basisnetzwerk deutlich. Weitere Experimente zeigen, dass die Vorteile von P2R über hochauflösende Benchmarks hinaus auf breitere multimodale Schlussfolgerungsaufgaben ausgeweitet werden können. Diese Ergebnisse deuten darauf hin, dass die explizite Entkopplung von Wahrnehmung und Schlussfolgerung einen effektiven Rahmen für feinkörniges visuelles Schlussfolgern bietet.

English

Fine-grained visual reasoning remains challenging for vision-language models, especially when small but critical visual cues are buried in high-resolution images. Existing approaches rely on repeated cropping or test-time visual search to introduce local evidence, but they typically do not explicitly distinguish perception from reasoning. In this paper, we propose Perceive-to-Reason (P2R), a unified framework that formulates fine-grained visual reasoning as a two-stage process: the model first localizes question-relevant evidence as a Perceiver, and then answers the question as a Reasoner based on the annotated image and cropped regions. To better align training with this decoupled formulation, we further introduce Perception-Reasoning Alternating GRPO (PRA-GRPO), a role-aware reinforcement learning strategy that alternates between perception-focused and reasoning-focused updates using only final-answer supervision. Built on top of Qwen3-VL-Instruct-2B/4B/8B, P2R consistently improves performance across model scales. In particular, P2R-4B achieves 93.2% on V-Star, 81.9% on HR-Bench-4K, and 80.5% on HR-Bench-8K, substantially outperforming its corresponding backbone. Further experiments show that the benefits of P2R extend beyond high-resolution benchmarks to broader multimodal reasoning tasks. These results suggest that explicitly decoupling perception from reasoning provides an effective framework for fine-grained visual reasoning.