PixelEyes: Entkopplung von Wahrnehmung und Reasoning für die punktgenaue Suche nach visuellen Belegen

Zusammenfassung

Diese Arbeit untersucht mehrstufiges visuelles Schlussfolgern und stellt fest, dass MLLMs wiederholt daran scheitern, das Ziel zu lokalisieren, was zu langen, redundanten Trajektorien führt. Wir führen dieses Scheitern auf die Vermischung von Schlussfolgern und Wahrnehmung in einem einzigen Modell zurück: Das MLLM schlussfolgert und lokalisiert gleichzeitig, und eine ungenaue Lokalisierung löst zusätzliche Schlussfolgerungsschritte aus, die die Trajektorie aufblähen. Um dieses Problem zu lösen, schlagen wir PixelEyes vor, einen Agenten für mehrstufiges visuelles Schlussfolgern, der Schlussfolgern und Wahrnehmung explizit entkoppelt: Der Schlussfolgerer entscheidet, wonach gesucht werden soll, während ein spezialisiertes Wahrnehmungswerkzeug beantwortet, wo es sich befindet. Konkret führt PixelEyes 1) eine maskengeführte visuelle Suche ein. Ein Referring-Segmentierungsmodell wird aufgerufen, um eine maskengenaue Lokalisierung zu liefern, wodurch der Schlussfolgerer nicht mehr die Ungenauigkeit der Verankerung ausgleichen muss. 2) eine Breitensuche über semantische Regionen (Semantic-region BFS). Um redundante Schleifen zu vermeiden, die durch wiederholtes Zuschneiden falscher Unterregionen entstehen, organisieren wir die Erkundung als Breitensuche über semantische Regionen. Um diese Fähigkeiten zu verinnerlichen, erstellen wir den Datensatz PixelEyes-6K, indem wir Experten-Trajektorien aus vorhandenen Daten neu synthetisieren. Dies bettet unsere maskengeführte Suche und BFS-Logik explizit in das Modell ein. Wir führen ferner Pinpoint-Bench ein, einen Benchmark für visuelle Suche ohne Hinweise, d.h. es werden keine Ortsangaben in der Frage gegeben, mit Instanzmasken und Begrenzungsrahmen, die Lokalisierungsfehler von Schlussfolgerungsfehlern trennen und eine detaillierte Analyse von Fehlermodi wie Unaufmerksamkeitsblindheit ermöglichen. Aktuelle hochmoderne MLLMs und visuelle Schlussfolgerungsagenten lassen auf Pinpoint-Bench großen Verbesserungsspielraum, was dessen Qualität und Schwierigkeit belegt. Code und Modelle werden als Open Source bereitgestellt.

English

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.