PixelEyes: 知覚と推論の分離によるピンポイントな視覚的証拠探索

要旨

本論文はマルチターン視覚推論を探究し、MLLMが繰り返し対象の位置特定に失敗し、長く冗長な推論軌跡を生じることを観察する。この失敗の原因は、単一モデル内での推論と知覚の絡み合いにあると考える。すなわち、MLLMは推論と位置特定を同時に行い、不正確な位置特定が追加の推論ターンを引き起こし、軌跡を肥大化させる。この問題を解決するため、我々はPixelEyesを提案する。PixelEyesは推論と知覚を明示的に分離するマルチターン視覚推論エージェントであり、すなわち推論器が「何を探すか」を決定し、専門の知覚ツールが「それはどこにあるか」を回答する。具体的には、PixelEyesは次の二つを導入する。1) マスク誘導型視覚探索: 参照セグメンテーションモデルを呼び出しマスク精度の位置特定を提供することで、推論器が不正確なグラウンディングを補う必要をなくす。2) 意味領域幅優先探索(BFS): 誤った部分領域の繰り返し切り出しによる冗長ループを排除するため、探索を意味領域上の幅優先探索として整理する。これらの能力を内在化させるため、既存データから専門家の軌跡を再合成してPixelEyes-6Kデータセットを構築する。これにより、マスク誘導探索とBFSのロジックをモデルに明示的に埋め込む。さらに、ゼロヒント視覚探索ベンチマークであるPinpoint-Benchを導入する。これは質問内に位置情報の手掛かりが一切なく、インスタンスレベルのマスクとバウンディングボックスにより位置特定の失敗と推論の失敗を分離し、不注意性盲目などの失敗モードの詳細な分析を可能にする。近年の最先端MLLMおよび視覚推論エージェントはPinpoint-Benchにおいて大きな改善の余地を残しており、その品質と難易度を示している。コードとモデルはオープンソース化されている。

English

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.