WebThinker : Renforcer les grands modèles de raisonnement avec une capacité approfondie de recherche
WebThinker: Empowering Large Reasoning Models with Deep Research Capability
April 30, 2025
papers.authors: Xiaoxi Li, Jiajie Jin, Guanting Dong, Hongjin Qian, Yutao Zhu, Yongkang Wu, Ji-Rong Wen, Zhicheng Dou
cs.AI
papers.abstract
Les grands modèles de raisonnement (Large Reasoning Models, LRMs), tels qu'OpenAI-o1 et DeepSeek-R1, démontrent des capacités impressionnantes de raisonnement à long terme. Cependant, leur dépendance à des connaissances internes statiques limite leurs performances sur des tâches complexes et riches en connaissances, et entrave leur capacité à produire des rapports de recherche complets nécessitant la synthèse d'informations variées provenant du web. Pour remédier à cela, nous proposons WebThinker, un agent de recherche approfondi qui permet aux LRMs de rechercher de manière autonome sur le web, de naviguer sur les pages web et de rédiger des rapports de recherche pendant le processus de raisonnement. WebThinker intègre un module Deep Web Explorer, permettant aux LRMs de rechercher, naviguer et extraire dynamiquement des informations du web lorsqu'ils rencontrent des lacunes de connaissances. Il utilise également une stratégie autonome de réflexion, recherche et rédaction (Autonomous Think-Search-and-Draft), permettant au modèle d'alterner de manière fluide le raisonnement, la collecte d'informations et la rédaction de rapports en temps réel. Pour améliorer davantage l'utilisation des outils de recherche, nous introduisons une stratégie d'entraînement basée sur l'apprentissage par renforcement (RL) via une optimisation directe des préférences (Direct Preference Optimization, DPO) itérative en ligne. Des expériences approfondies sur des benchmarks de raisonnement complexe (GPQA, GAIA, WebWalkerQA, HLE) et des tâches de génération de rapports scientifiques (Glaive) démontrent que WebThinker surpasse significativement les méthodes existantes et les systèmes propriétaires robustes. Notre approche améliore la fiabilité et l'applicabilité des LRMs dans des scénarios complexes, ouvrant la voie à des systèmes de recherche approfondie plus performants et polyvalents. Le code est disponible à l'adresse https://github.com/RUC-NLPIR/WebThinker.
English
Large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, demonstrate
impressive long-horizon reasoning capabilities. However, their reliance on
static internal knowledge limits their performance on complex,
knowledge-intensive tasks and hinders their ability to produce comprehensive
research reports requiring synthesis of diverse web information. To address
this, we propose WebThinker, a deep research agent that empowers LRMs
to autonomously search the web, navigate web pages, and draft research reports
during the reasoning process. WebThinker integrates a Deep Web
Explorer module, enabling LRMs to dynamically search, navigate, and extract
information from the web when encountering knowledge gaps. It also employs an
Autonomous Think-Search-and-Draft strategy, allowing the model to
seamlessly interleave reasoning, information gathering, and report writing in
real time. To further enhance research tool utilization, we introduce an
RL-based training strategy via iterative online Direct Preference
Optimization (DPO). Extensive experiments on complex reasoning benchmarks
(GPQA, GAIA, WebWalkerQA, HLE) and scientific report generation tasks (Glaive)
demonstrate that WebThinker significantly outperforms existing methods and
strong proprietary systems. Our approach enhances LRM reliability and
applicability in complex scenarios, paving the way for more capable and
versatile deep research systems. The code is available at
https://github.com/RUC-NLPIR/WebThinker.