WebThinker: Potenziare i Modelli di Ragionamento su Grande Scala con Capacità di Ricerca Approfondita
WebThinker: Empowering Large Reasoning Models with Deep Research Capability
April 30, 2025
Autori: Xiaoxi Li, Jiajie Jin, Guanting Dong, Hongjin Qian, Yutao Zhu, Yongkang Wu, Ji-Rong Wen, Zhicheng Dou
cs.AI
Abstract
I grandi modelli di ragionamento (LRM), come OpenAI-o1 e DeepSeek-R1, dimostrano capacità impressionanti di ragionamento a lungo termine. Tuttavia, la loro dipendenza da conoscenze interne statiche limita le prestazioni su compiti complessi e ad alta intensità di conoscenza, ostacolando la capacità di produrre rapporti di ricerca completi che richiedono la sintesi di informazioni web diversificate. Per affrontare questo problema, proponiamo WebThinker, un agente di ricerca avanzato che potenzia i LRM per cercare autonomamente sul web, navigare tra le pagine web e redigere rapporti di ricerca durante il processo di ragionamento. WebThinker integra un modulo Deep Web Explorer, consentendo ai LRM di cercare, navigare ed estrarre dinamicamente informazioni dal web quando incontrano lacune di conoscenza. Utilizza inoltre una strategia autonoma Think-Search-and-Draft, che permette al modello di intervallare in modo fluido ragionamento, raccolta di informazioni e scrittura di rapporti in tempo reale. Per migliorare ulteriormente l'utilizzo degli strumenti di ricerca, introduciamo una strategia di addestramento basata su Reinforcement Learning (RL) tramite ottimizzazione iterativa online delle preferenze dirette (DPO). Esperimenti estesi su benchmark di ragionamento complesso (GPQA, GAIA, WebWalkerQA, HLE) e compiti di generazione di rapporti scientifici (Glaive) dimostrano che WebThinker supera significativamente i metodi esistenti e i sistemi proprietari avanzati. Il nostro approccio migliora l'affidabilità e l'applicabilità dei LRM in scenari complessi, aprendo la strada a sistemi di ricerca avanzati più capaci e versatili. Il codice è disponibile all'indirizzo https://github.com/RUC-NLPIR/WebThinker.
English
Large reasoning models (LRMs), such as OpenAI-o1 and DeepSeek-R1, demonstrate
impressive long-horizon reasoning capabilities. However, their reliance on
static internal knowledge limits their performance on complex,
knowledge-intensive tasks and hinders their ability to produce comprehensive
research reports requiring synthesis of diverse web information. To address
this, we propose WebThinker, a deep research agent that empowers LRMs
to autonomously search the web, navigate web pages, and draft research reports
during the reasoning process. WebThinker integrates a Deep Web
Explorer module, enabling LRMs to dynamically search, navigate, and extract
information from the web when encountering knowledge gaps. It also employs an
Autonomous Think-Search-and-Draft strategy, allowing the model to
seamlessly interleave reasoning, information gathering, and report writing in
real time. To further enhance research tool utilization, we introduce an
RL-based training strategy via iterative online Direct Preference
Optimization (DPO). Extensive experiments on complex reasoning benchmarks
(GPQA, GAIA, WebWalkerQA, HLE) and scientific report generation tasks (Glaive)
demonstrate that WebThinker significantly outperforms existing methods and
strong proprietary systems. Our approach enhances LRM reliability and
applicability in complex scenarios, paving the way for more capable and
versatile deep research systems. The code is available at
https://github.com/RUC-NLPIR/WebThinker.