PixelEyes : Découplage de la perception et du raisonnement pour la recherche précise de preuves visuelles

Résumé

Cet article explore le raisonnement visuel multi-tours et observe que les MLLMs échouent à plusieurs reprises à localiser la cible, ce qui entraîne des trajectoires longues et redondantes. Nous attribuons cet échec à l'intrication du raisonnement et de la perception au sein d'un seul modèle : le MLLM raisonne et localise simultanément, et une localisation inexacte déclenche des tours de raisonnement supplémentaires qui alourdissent la trajectoire. Pour résoudre ce problème, nous proposons PixelEyes, un agent de raisonnement visuel multi-tours qui découple explicitement le raisonnement de la perception, c'est-à-dire que le raisonneur décide quoi chercher, tandis qu'un outil de perception spécialisé indique où il se trouve. Spécifiquement, PixelEyes introduit 1) la Recherche Visuelle Guidée par Masque. Un modèle de segmentation par référence est invoqué pour fournir une localisation précise par masque, libérant le raisonneur de la nécessité de compenser un ancrage imprécis. 2) la Recherche en Largeur par Régions Sémantiques (BFS). Pour éliminer les boucles redondantes causées par le recadrage répété de sous-régions incorrectes, nous organisons l'exploration comme une recherche en largeur sur les régions sémantiques. Pour internaliser ces capacités, nous construisons l'ensemble de données PixelEyes-6K en resynthétisant des trajectoires expertes à partir de données existantes. Cela intègre explicitement notre logique de recherche guidée par masque et de BFS dans le modèle. Nous introduisons également Pinpoint-Bench, un benchmark de recherche visuelle sans indice, c'est-à-dire qu'aucun indice de localisation n'est fourni dans la question, avec des masques de niveau instance et des boîtes englobantes qui séparent les échecs de localisation des échecs de raisonnement, permettant une analyse fine des modes d'échec tels que la cécité d'inattention. Les MLLMs et agents de raisonnement visuel récents de pointe laissent une large marge d'amélioration sur Pinpoint-Bench, démontrant sa qualité et sa difficulté. Le code et les modèles sont open-source.

English

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.