WebWatcher : Pionnier d'un nouvel horizon pour les agents de recherche approfondie en vision et langage
WebWatcher: Breaking New Frontier of Vision-Language Deep Research Agent
August 7, 2025
papers.authors: Xinyu Geng, Peng Xia, Zhen Zhang, Xinyu Wang, Qiuchen Wang, Ruixue Ding, Chenxi Wang, Jialong Wu, Yida Zhao, Kuan Li, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou
cs.AI
papers.abstract
Les agents web tels que Deep Research ont démontré des capacités cognitives surhumaines, capables de résoudre des problèmes de recherche d'information hautement complexes. Cependant, la plupart des recherches restent principalement centrées sur le texte, négligeant les informations visuelles du monde réel. Cela rend le Deep Research multimodal particulièrement difficile, car ces agents nécessitent des capacités de raisonnement bien plus fortes en perception, logique, connaissance et utilisation d'outils sophistiqués par rapport aux agents basés uniquement sur le texte. Pour pallier cette limitation, nous présentons WebWatcher, un agent multimodal pour le Deep Research doté de capacités de raisonnement visuel-langage améliorées. Il exploite des trajectoires multimodales synthétiques de haute qualité pour un entraînement efficace à froid, utilise divers outils pour un raisonnement approfondi, et améliore encore la généralisation grâce à l'apprentissage par renforcement. Pour mieux évaluer les capacités des agents multimodaux, nous proposons BrowseComp-VL, un benchmark de style BrowseComp qui nécessite une recherche d'information complexe impliquant à la fois des informations visuelles et textuelles. Les résultats expérimentaux montrent que WebWatcher surpasse significativement les bases de référence propriétaires, le workflow RAG et les agents open-source dans quatre benchmarks VQA exigeants, ouvrant ainsi la voie à la résolution de tâches complexes de recherche d'information multimodale.
English
Web agents such as Deep Research have demonstrated superhuman cognitive
abilities, capable of solving highly challenging information-seeking problems.
However, most research remains primarily text-centric, overlooking visual
information in the real world. This makes multimodal Deep Research highly
challenging, as such agents require much stronger reasoning abilities in
perception, logic, knowledge, and the use of more sophisticated tools compared
to text-based agents. To address this limitation, we introduce WebWatcher, a
multi-modal Agent for Deep Research equipped with enhanced visual-language
reasoning capabilities. It leverages high-quality synthetic multimodal
trajectories for efficient cold start training, utilizes various tools for deep
reasoning, and further enhances generalization through reinforcement learning.
To better evaluate the capabilities of multimodal agents, we propose
BrowseComp-VL, a benchmark with BrowseComp-style that requires complex
information retrieval involving both visual and textual information.
Experimental results show that WebWatcher significantly outperforms proprietary
baseline, RAG workflow and open-source agents in four challenging VQA
benchmarks, which paves the way for solving complex multimodal
information-seeking tasks.