WebWatcher: Прорыв в новой области агентов глубокого исследования в области зрения и языка

WebWatcher: Breaking New Frontier of Vision-Language Deep Research Agent

August 7, 2025

Авторы: Xinyu Geng, Peng Xia, Zhen Zhang, Xinyu Wang, Qiuchen Wang, Ruixue Ding, Chenxi Wang, Jialong Wu, Yida Zhao, Kuan Li, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

cs.AI

Аннотация

Веб-агенты, такие как Deep Research, продемонстрировали сверхчеловеческие когнитивные способности, способные решать крайне сложные задачи поиска информации. Однако большинство исследований остаются преимущественно текстоцентричными, игнорируя визуальную информацию в реальном мире. Это делает мультимодальный Deep Research чрезвычайно сложным, поскольку такие агенты требуют значительно более развитых способностей в восприятии, логике, знаниях и использовании более сложных инструментов по сравнению с текстовыми агентами. Чтобы устранить это ограничение, мы представляем WebWatcher — мультимодального агента для глубокого исследования, оснащённого расширенными возможностями визуально-языкового рассуждения. Он использует высококачественные синтетические мультимодальные траектории для эффективного обучения с нуля, применяет различные инструменты для глубокого анализа и дополнительно улучшает обобщение с помощью обучения с подкреплением. Для более точной оценки возможностей мультимодальных агентов мы предлагаем BrowseComp-VL — бенчмарк в стиле BrowseComp, который требует сложного поиска информации с использованием как визуальных, так и текстовых данных. Экспериментальные результаты показывают, что WebWatcher значительно превосходит проприетарный базовый уровень, рабочий процесс RAG и открытые агенты в четырёх сложных бенчмарках VQA, что открывает путь к решению сложных мультимодальных задач поиска информации.

English

Web agents such as Deep Research have demonstrated superhuman cognitive abilities, capable of solving highly challenging information-seeking problems. However, most research remains primarily text-centric, overlooking visual information in the real world. This makes multimodal Deep Research highly challenging, as such agents require much stronger reasoning abilities in perception, logic, knowledge, and the use of more sophisticated tools compared to text-based agents. To address this limitation, we introduce WebWatcher, a multi-modal Agent for Deep Research equipped with enhanced visual-language reasoning capabilities. It leverages high-quality synthetic multimodal trajectories for efficient cold start training, utilizes various tools for deep reasoning, and further enhances generalization through reinforcement learning. To better evaluate the capabilities of multimodal agents, we propose BrowseComp-VL, a benchmark with BrowseComp-style that requires complex information retrieval involving both visual and textual information. Experimental results show that WebWatcher significantly outperforms proprietary baseline, RAG workflow and open-source agents in four challenging VQA benchmarks, which paves the way for solving complex multimodal information-seeking tasks.