BrowseComp-V^3：マルチモーダルブラウジングエージェントのための視覚的・垂直的・検証可能なベンチマーク

要旨

マルチモーダル大規模言語モデル（MLLM）は、高度化する計画立案とツール利用能力を備え、オープンワールド環境におけるマルチモーダルなウェブブラウジングと深層検索を実行可能な自律エージェントへと進化しつつある。しかし、既存のマルチモーダルブラウジングのベンチマークは、タスクの複雑さ、証拠へのアクセス性、評価の粒度において限界があり、深層検索能力の包括的かつ再現性のある評価を妨げている。これらの課題に対処するため、我々はBrowseComp-V^3を提案する。これは、多様な領域にわたる300の厳選された難問から構成される新規ベンチマークである。本ベンチマークは、深層的、多段的、かつクロスモーダルなマルチホップ推論を重視しており、決定的な証拠はウェブページ内およびページ間で、テキストと視覚のモダリティに跨って散在している。全ての支持証拠は公開検索可能であることが厳密に要求され、公平性と再現性を保証する。最終回答の正確性に加えて、専門家検証済みのサブゴール駆動型プロセス評価機構を組み込むことで、中間推論行動の細粒度分析と能力限界の体系的な特性評価を可能にする。さらに、多様なウェブ検索および視覚知覚ツールを統合した統一マルチモーダルブラウジングエージェントフレームワークであるOmniSeekerを提案する。包括的実験により、最先端モデルであっても本ベンチマークでの正答率は36%に留まり、マルチモーダル情報統合と細粒度知覚における重大なボトルネックが明らかになった。本結果は、現行モデルの能力と実世界設定における頑健なマルチモーダル深層検索との間に根本的な隔たりがあることを示唆する。

English

Multimodal large language models (MLLMs), equipped with increasingly advanced planning and tool-use capabilities, are evolving into autonomous agents capable of performing multimodal web browsing and deep search in open-world environments. However, existing benchmarks for multimodal browsing remain limited in task complexity, evidence accessibility, and evaluation granularity, hindering comprehensive and reproducible assessments of deep search capabilities. To address these limitations, we introduce BrowseComp-V^3, a novel benchmark consisting of 300 carefully curated and challenging questions spanning diverse domains. The benchmark emphasizes deep, multi-level, and cross-modal multi-hop reasoning, where critical evidence is interleaved across textual and visual modalities within and across web pages. All supporting evidence is strictly required to be publicly searchable, ensuring fairness and reproducibility. Beyond final-answer accuracy, we incorporate an expert-validated, subgoal-driven process evaluation mechanism that enables fine-grained analysis of intermediate reasoning behaviors and systematic characterization of capability boundaries. In addition, we propose OmniSeeker, a unified multimodal browsing agent framework integrating diverse web search and visual perception tools. Comprehensive experiments demonstrate that even state-of-the-art models achieve only 36% accuracy on our benchmark, revealing critical bottlenecks in multimodal information integration and fine-grained perception. Our results highlight a fundamental gap between current model capabilities and robust multimodal deep search in real-world settings.

BrowseComp-V^3：マルチモーダルブラウジングエージェントのための視覚的・垂直的・検証可能なベンチマーク

BrowseComp-V^3: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents

要旨

Support