BrowseComp-V^3: Een visuele, verticale en verifieerbare benchmark voor multimodale browse-agents
BrowseComp-V^3: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents
February 13, 2026
Auteurs: Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Dan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui
cs.AI
Samenvatting
Multimodale grote taalmodellen (MLLM's), uitgerust met steeds geavanceerdere plannings- en gereedschapsgebruikcapaciteiten, evolueren tot autonome agents die in staat zijn tot multimodaal webbrowsen en diepgaande zoekopdrachten in open werelden. Bestaande benchmarks voor multimodaal browsen blijven echter beperkt in taakcomplexiteit, toegankelijkheid van bewijs en evaluatiegranulariteit, wat een uitgebreide en reproduceerbare beoordeling van diepzoekcapaciteiten belemmert. Om deze beperkingen aan te pakken, introduceren wij BrowseComp-V^3, een nieuwe benchmark bestaande uit 300 zorgvuldig samengestelde en uitdagende vragen uit diverse domeinen. De benchmark legt de nadruk op diepe, meerniveau- en cross-modale meerhopsredenering, waarbij cruciaal bewijs verweven is over tekstuele en visuele modaliteiten heen, zowel binnen als tussen webpagina's. Alle ondersteunende bewijsstukken moeten strikt openbaar doorzoekbaar zijn, wat eerlijkheid en reproduceerbaarheid waarborgt. Naast de nauwkeurigheid van het eindantwoord incorporeren we een expertgevalideerd, subdoelgericht procesevalueringsmechanisme dat fijnmazige analyse van tussenliggende redeneergedrag en systematische karakterisering van capaciteitsgrenzen mogelijk maakt. Daarnaast stellen wij OmniSeeker voor, een uniform raamwerk voor een multimodale browse-agent dat diverse zoek- en visuele perceptietools integreert. Uitgebreide experimenten tonen aan dat zelfs state-of-the-art modellen slechts 36% nauwkeurigheid behalen op onze benchmark, wat kritieke knelpunten in multimodale informatie-integratie en fijnmazige perceptie blootlegt. Onze resultaten onderstrepen een fundamentele kloof tussen huidige modelcapaciteiten en robuust multimodaal diepzoeken in realistische settings.
English
Multimodal large language models (MLLMs), equipped with increasingly advanced planning and tool-use capabilities, are evolving into autonomous agents capable of performing multimodal web browsing and deep search in open-world environments. However, existing benchmarks for multimodal browsing remain limited in task complexity, evidence accessibility, and evaluation granularity, hindering comprehensive and reproducible assessments of deep search capabilities. To address these limitations, we introduce BrowseComp-V^3, a novel benchmark consisting of 300 carefully curated and challenging questions spanning diverse domains. The benchmark emphasizes deep, multi-level, and cross-modal multi-hop reasoning, where critical evidence is interleaved across textual and visual modalities within and across web pages. All supporting evidence is strictly required to be publicly searchable, ensuring fairness and reproducibility. Beyond final-answer accuracy, we incorporate an expert-validated, subgoal-driven process evaluation mechanism that enables fine-grained analysis of intermediate reasoning behaviors and systematic characterization of capability boundaries. In addition, we propose OmniSeeker, a unified multimodal browsing agent framework integrating diverse web search and visual perception tools. Comprehensive experiments demonstrate that even state-of-the-art models achieve only 36% accuracy on our benchmark, revealing critical bottlenecks in multimodal information integration and fine-grained perception. Our results highlight a fundamental gap between current model capabilities and robust multimodal deep search in real-world settings.