PixelEyes: Desacoplando percepción y razonamiento para la búsqueda precisa de evidencia visual

Resumen

Este artículo explora el razonamiento visual en múltiples turnos y observa que los MLLMs fracasan repetidamente al localizar el objetivo, generando trayectorias largas y redundantes. Atribuimos este fallo al entrelazamiento del razonamiento y la percepción dentro de un único modelo: el MLLM razona y localiza simultáneamente, y una localización inexacta desencadena turnos de razonamiento adicionales que alargan la trayectoria. Para resolver este problema, proponemos PixelEyes, un agente de razonamiento visual multiturno que desacopla explícitamente el razonamiento de la percepción; es decir, el razonador decide qué buscar, mientras que una herramienta de percepción especializada responde dónde se encuentra. Específicamente, PixelEyes introduce: 1) Búsqueda visual guiada por máscaras. Se invoca un modelo de segmentación referencial para proporcionar una localización precisa mediante máscaras, liberando al razonador de la necesidad de compensar un anclaje impreciso. 2) Búsqueda en anchura por regiones semánticas. Para eliminar bucles redundantes causados por recortar repetidamente subregiones incorrectas, organizamos la exploración como una búsqueda en anchura sobre regiones semánticas. Para internalizar estas capacidades, construimos el conjunto de datos PixelEyes-6K mediante la resíntesis de trayectorias expertas a partir de datos existentes, incorporando explícitamente nuestra lógica de búsqueda guiada por máscaras y BFS en el modelo. Además, introducimos Pinpoint-Bench, un punto de referencia de búsqueda visual sin pistas, es decir, no se proporcionan indicaciones de ubicación en la pregunta, con máscaras y cajas delimitadoras a nivel de instancia que separan los fallos de localización de los fallos de razonamiento, permitiendo un análisis detallado de modos de fallo como la ceguera por inatención. Los modelos MLLM y agentes de razonamiento visual más avanzados dejan un amplio margen de mejora en Pinpoint-Bench, lo que demuestra su calidad y dificultad. El código y los modelos son de código abierto.

English

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.