BrowseComp-V^3: Un Punto de Referencia Visual, Vertical y Verificable para Agentes de Navegación Multimodal
BrowseComp-V^3: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents
February 13, 2026
Autores: Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Dan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui
cs.AI
Resumen
Los modelos de lenguaje multimodal (MLLM), equipados con capacidades de planificación y uso de herramientas cada vez más avanzadas, están evolucionando hacia agentes autónomos capaces de realizar navegación web multimodal y búsqueda profunda en entornos de mundo abierto. Sin embargo, los puntos de referencia existentes para la navegación multimodal siguen siendo limitados en cuanto a la complejidad de las tareas, la accesibilidad de la evidencia y la granularidad de la evaluación, lo que obstaculiza las valoraciones integrales y reproducibles de las capacidades de búsqueda profunda. Para abordar estas limitaciones, presentamos BrowseComp-V^3, un nuevo punto de referencia que consta de 300 preguntas cuidadosamente seleccionadas y desafiantes que abarcan diversos dominios. El punto de referencia hace hincapié en el razonamiento profundo, multinivel y multimodal de múltiples saltos, donde la evidencia crítica se intercala entre modalidades textuales y visuales dentro y entre páginas web. Toda la evidencia de apoyo debe ser estrictamente de acceso público y buscable, garantizando equidad y reproducibilidad. Más allá de la precisión de la respuesta final, incorporamos un mecanismo de evaluación de procesos validado por expertos y orientado a subobjetivos que permite un análisis detallado de los comportamientos de razonamiento intermedios y una caracterización sistemática de los límites de capacidad. Además, proponemos OmniSeeker, un marco unificado de agente de navegación multimodal que integra diversas herramientas de búsqueda web y percepción visual. Experimentos exhaustivos demuestran que incluso los modelos más avanzados logran solo un 36% de precisión en nuestro punto de referencia, revelando cuellos de botella críticos en la integración de información multimodal y la percepción de detalles finos. Nuestros resultados destacan una brecha fundamental entre las capacidades actuales de los modelos y la búsqueda profunta multimodal robusta en entornos del mundo real.
English
Multimodal large language models (MLLMs), equipped with increasingly advanced planning and tool-use capabilities, are evolving into autonomous agents capable of performing multimodal web browsing and deep search in open-world environments. However, existing benchmarks for multimodal browsing remain limited in task complexity, evidence accessibility, and evaluation granularity, hindering comprehensive and reproducible assessments of deep search capabilities. To address these limitations, we introduce BrowseComp-V^3, a novel benchmark consisting of 300 carefully curated and challenging questions spanning diverse domains. The benchmark emphasizes deep, multi-level, and cross-modal multi-hop reasoning, where critical evidence is interleaved across textual and visual modalities within and across web pages. All supporting evidence is strictly required to be publicly searchable, ensuring fairness and reproducibility. Beyond final-answer accuracy, we incorporate an expert-validated, subgoal-driven process evaluation mechanism that enables fine-grained analysis of intermediate reasoning behaviors and systematic characterization of capability boundaries. In addition, we propose OmniSeeker, a unified multimodal browsing agent framework integrating diverse web search and visual perception tools. Comprehensive experiments demonstrate that even state-of-the-art models achieve only 36% accuracy on our benchmark, revealing critical bottlenecks in multimodal information integration and fine-grained perception. Our results highlight a fundamental gap between current model capabilities and robust multimodal deep search in real-world settings.