PixelEyes: Разделение восприятия и рассуждения для точного поиска визуальных доказательств

Аннотация

Данная статья исследует многошаговое визуальное рассуждение и показывает, что мультимодальные большие языковые модели (MLLM) систематически терпят неудачу при локализации цели, что приводит к длинным избыточным траекториям. Мы связываем эту неудачу с переплетением рассуждения и восприятия в рамках единой модели: MLLM рассуждает и локализует одновременно, причем неточная локализация запускает дополнительные шаги рассуждения, раздувающие траекторию. Для решения этой проблемы мы предлагаем PixelEyes — агента многошагового визуального рассуждения, который явно разделяет рассуждение и восприятие, т.е. модуль рассуждения решает, что искать, а специализированный инструмент восприятия отвечает на вопрос «где». В частности, PixelEyes вводит: 1) Масконаправляемый визуальный поиск. Вызывается референтная модель сегментации, обеспечивающая локализацию с точностью до маски, что освобождает модуль рассуждения от необходимости компенсировать неточное сопоставление. 2) Поиск в ширину по семантическим областям (BFS). Чтобы исключить избыточные циклы, возникающие из-за повторного кадрирования неверных подобластей, мы организуем исследование как поиск в ширину по семантическим областям. Для интернализации этих возможностей мы конструируем набор данных PixelEyes-6K путем ресинтеза экспертных траекторий из существующих данных. Это явно встраивает в модель логику нашего масконаправляемого поиска и BFS. Мы также представляем Pinpoint-Bench — бенчмарк визуального поиска без подсказок (т.е. в вопросе не предоставляются координаты цели), содержащий маски и ограничивающие рамки на уровне экземпляров, которые позволяют разделить ошибки локализации и ошибки рассуждения, обеспечивая детальный анализ видов отказов, таких как слепота по невниманию. Современные MLLM и агенты визуального рассуждения оставляют значительный простор для улучшения на Pinpoint-Bench, что подтверждает качество и сложность этого бенчмарка. Код и модели опубликованы в открытом доступе.

English

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.