BrowseComp-V^3: Визуальный, вертикальный и верифицируемый эталон для мультимодальных браузерных агентов
BrowseComp-V^3: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents
February 13, 2026
Авторы: Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Dan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui
cs.AI
Аннотация
Мультимодальные большие языковые модели (MLLM), оснащенные все более продвинутыми возможностями планирования и использования инструментов, эволюционируют в автономные агенты, способные выполнять мультимодальный веб-поиск и глубокий анализ в условиях открытого мира. Однако существующие бенчмарки для мультимодального веб-сёрфинга остаются ограниченными по сложности задач, доступности доказательств и гранулярности оценки, что препятствует всесторонней и воспроизводимой оценке возможностей глубокого поиска. Для преодоления этих ограничений мы представляем BrowseComp-V^3 — новый бенчмарк, состоящий из 300 тщательно отобранных сложных вопросов, охватывающих различные области. Бенчмарк акцентирует внимание на глубоком, многоуровневом и кросс-модальном многошаговом рассуждении, где ключевые доказательства распределены между текстовой и визуальной модальностями как внутри, так и между веб-страницами. Все поддерживающие доказательства строго требуют публичной доступности через поиск, что обеспечивает справедливость и воспроизводимость. Помимо точности конечного ответа, мы внедряем экспертно-валидированный, подцелеориентированный механизм процессуальной оценки, который позволяет проводить детальный анализ промежуточных рассуждений и систематическую характеристику границ возможностей. Кроме того, мы предлагаем OmniSeeker — унифицированную структуру мультимодального агента для веб-сёрфинга, интегрирующую разнообразные инструменты веб-поиска и визуального восприятия. Комплексные эксперименты показывают, что даже современные передовые модели достигают точности лишь 36% на нашем бенчмарке, выявляя критические узкие места в интеграции мультимодальной информации и тонком восприятии. Наши результаты подчеркивают фундаментальный разрыв между текущими возможностями моделей и надежным мультимодальным глубоким поиском в реальных условиях.
English
Multimodal large language models (MLLMs), equipped with increasingly advanced planning and tool-use capabilities, are evolving into autonomous agents capable of performing multimodal web browsing and deep search in open-world environments. However, existing benchmarks for multimodal browsing remain limited in task complexity, evidence accessibility, and evaluation granularity, hindering comprehensive and reproducible assessments of deep search capabilities. To address these limitations, we introduce BrowseComp-V^3, a novel benchmark consisting of 300 carefully curated and challenging questions spanning diverse domains. The benchmark emphasizes deep, multi-level, and cross-modal multi-hop reasoning, where critical evidence is interleaved across textual and visual modalities within and across web pages. All supporting evidence is strictly required to be publicly searchable, ensuring fairness and reproducibility. Beyond final-answer accuracy, we incorporate an expert-validated, subgoal-driven process evaluation mechanism that enables fine-grained analysis of intermediate reasoning behaviors and systematic characterization of capability boundaries. In addition, we propose OmniSeeker, a unified multimodal browsing agent framework integrating diverse web search and visual perception tools. Comprehensive experiments demonstrate that even state-of-the-art models achieve only 36% accuracy on our benchmark, revealing critical bottlenecks in multimodal information integration and fine-grained perception. Our results highlight a fundamental gap between current model capabilities and robust multimodal deep search in real-world settings.