PixelEyes: 정밀 시각적 증거 탐색을 위한 지각과 추론의 분리

초록

본 논문은 다중 턴 시각적 추론(multi-turn visual reasoning)을 탐구하며, MLLM(Multimodal Large Language Models)이 반복적으로 대상을 위치 파악(localization)하는데 실패하여 길고 중복된 궤적(trajectory)을 생성함을 관찰한다. 우리는 이러한 실패를 단일 모델 내에서 추론(reasoning)과 지각(perception)이 얽혀 있는 데서 비롯한다고 본다. 즉, MLLM은 추론과 위치 파악을 동시에 수행하며, 부정확한 위치 파악이 추가적인 추론 턴을 유발하여 궤적을 비대하게 만든다. 이 문제를 해결하기 위해 우리는 PixelEyes를 제안한다. 이는 추론과 지각을 명시적으로 분리한 다중 턴 시각적 추론 에이전트로, 추론기(reasoner)는 무엇을 찾을지 결정하고, 특화된 지각 도구(perception tool)는 그것이 어디에 있는지 담당한다. 구체적으로 PixelEyes는 1) 마스크 기반 시각적 탐색(Mask-guided Visual Search)을 도입한다. 참조 분할 모델(referring segmentation model)을 호출하여 마스크 수준의 정밀한 위치 파악을 제공함으로써, 추론기가 부정확한 접지(grounding)를 보상해야 하는 부담을 없앤다. 2) 의미적 영역 기반 너비 우선 탐색(Semantic-region Breadth-first Search, BFS)을 도입한다. 잘못된 하위 영역을 반복적으로 자르는 데서 발생하는 중복 루프를 제거하기 위해, 탐색을 의미적 영역에 대한 너비 우선 탐색으로 구성한다. 이러한 능력을 내재화하기 위해 기존 데이터에서 전문가 궤적을 재합성하여 PixelEyes-6K 데이터셋을 구축한다. 이는 마스크 기반 탐색과 BFS 로직을 모델에 명시적으로 주입한다. 또한, 질문에 위치 단서가 전혀 없는 제로 힌트 시각적 탐색(zero-hint visual search) 벤치마크인 Pinpoint-Bench를 도입한다. 이 벤치마크는 인스턴스 수준의 마스크와 경계 상자를 제공하여 위치 파악 실패와 추론 실패를 분리함으로써, 주의맹(inattentional blindness)과 같은 실패 모드에 대한 세밀한 분석을 가능하게 한다. 최근 최첨단 MLLM 및 시각적 추론 에이전트들은 Pinpoint-Bench에서 상당한 개선 여지를 남겨두며, 이는 벤치마크의 질과 난이도를 입증한다. 코드와 모델은 오픈소스로 공개된다.

English

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.