BrowseComp-V^3: Um Benchmark Visual, Vertical e Verificável para Agentes de Navegação Multimodal
BrowseComp-V^3: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents
February 13, 2026
Autores: Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Dan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui
cs.AI
Resumo
Os modelos de linguagem grandes multimodais (MLLMs), equipados com capacidades de planeamento e uso de ferramentas cada vez mais avançadas, estão a evoluir para agentes autónomos capazes de realizar navegação multimodal na web e pesquisa profunda em ambientes de mundo aberto. No entanto, os benchmarks existentes para navegação multimodal permanecem limitados em complexidade de tarefas, acessibilidade de evidências e granularidade de avaliação, dificultando avaliações abrangentes e reproduzíveis das capacidades de pesquisa profunda. Para superar estas limitações, introduzimos o BrowseComp-V^3, um novo benchmark composto por 300 questões criteriosamente selecionadas e desafiadoras, abrangendo diversos domínios. O benchmark enfatiza um raciocínio profundo, multi-nível e multimodal de múltiplos saltos, onde evidências críticas estão intercaladas entre modalidades textuais e visuais dentro e entre páginas web. Todas as evidências de suporte são estritamente obrigadas a ser publicamente pesquisáveis, garantindo justiça e reprodutibilidade. Para além da precisão da resposta final, incorporamos um mecanismo de avaliação de processo orientado a subobjetivos e validado por especialistas, que permite uma análise refinada dos comportamentos de raciocínio intermédios e uma caracterização sistemática dos limites de capacidade. Adicionalmente, propomos o OmniSeeker, um framework unificado de agente de navegação multimodal que integra diversas ferramentas de pesquisa web e perceção visual. Experiências abrangentes demonstram que mesmo os modelos mais avançados atingem apenas 36% de precisão no nosso benchmark, revelando estrangulamentos críticos na integração de informação multimodal e na perceção de pormenor. Os nossos resultados destacam uma lacuna fundamental entre as capacidades atuais dos modelos e uma pesquisa profunda multimodal robusta em contextos do mundo real.
English
Multimodal large language models (MLLMs), equipped with increasingly advanced planning and tool-use capabilities, are evolving into autonomous agents capable of performing multimodal web browsing and deep search in open-world environments. However, existing benchmarks for multimodal browsing remain limited in task complexity, evidence accessibility, and evaluation granularity, hindering comprehensive and reproducible assessments of deep search capabilities. To address these limitations, we introduce BrowseComp-V^3, a novel benchmark consisting of 300 carefully curated and challenging questions spanning diverse domains. The benchmark emphasizes deep, multi-level, and cross-modal multi-hop reasoning, where critical evidence is interleaved across textual and visual modalities within and across web pages. All supporting evidence is strictly required to be publicly searchable, ensuring fairness and reproducibility. Beyond final-answer accuracy, we incorporate an expert-validated, subgoal-driven process evaluation mechanism that enables fine-grained analysis of intermediate reasoning behaviors and systematic characterization of capability boundaries. In addition, we propose OmniSeeker, a unified multimodal browsing agent framework integrating diverse web search and visual perception tools. Comprehensive experiments demonstrate that even state-of-the-art models achieve only 36% accuracy on our benchmark, revealing critical bottlenecks in multimodal information integration and fine-grained perception. Our results highlight a fundamental gap between current model capabilities and robust multimodal deep search in real-world settings.