Grondslagen van Reinforcement Learning voor Diepe Onderzoekssystemen: Een Overzicht

Reinforcement Learning Foundations for Deep Research Systems: A Survey

September 8, 2025

Auteurs: Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu

cs.AI

Samenvatting

Diepe onderzoekssystemen, agent-gebaseerde AI die complexe, meerstaps taken oplossen door redenering te coördineren, te zoeken over het open web en gebruikersbestanden, en gereedschappen te gebruiken, bewegen zich richting hiërarchische implementaties met een Planner, Coördinator en Uitvoerders. In de praktijk blijft het trainen van volledige stacks end-to-end onpraktisch, dus de meeste werkzaamheden trainen een enkele planner die is verbonden met kernhulpmiddelen zoals zoeken, browsen en code. Hoewel SFT protocolgetrouwheid biedt, lijdt het onder imitatie- en blootstellingsvooroordelen en maakt het onvoldoende gebruik van omgevingsfeedback. Voorkeursuitlijningsmethoden zoals DPO zijn schema- en proxy-afhankelijk, off-policy, en zwak voor langetermijntoewijzing van credits en multi-objectieve afwegingen. Een verdere beperking van SFT en DPO is hun afhankelijkheid van door mensen gedefinieerde beslissingspunten en subvaardigheden via schemadesign en gelabelde vergelijkingen. Reinforcement learning sluit aan bij gesloten-lus, gereedschapsinteractieonderzoek door trajectniveau-beleid te optimaliseren, waardoor exploratie, herstelgedrag en principiële toewijzing van credits mogelijk worden, en het vermindert de afhankelijkheid van dergelijke menselijke aannames en beoordelaarsvooroordelen. Deze survey is, voor zover wij weten, de eerste die gewijd is aan de RL-fundamenten van diepe onderzoekssystemen. Het systemiseert werk na DeepSeek-R1 langs drie assen: (i) datasynthese en -curatie; (ii) RL-methoden voor agent-gebaseerd onderzoek die stabiliteit, steekproefefficiëntie, lange contextverwerking, belonings- en creditdesign, multi-objectieve optimalisatie en multimodale integratie omvatten; en (iii) agent-gebaseerde RL-trainingssystemen en -frameworks. We behandelen ook agentarchitectuur en -coördinatie, evenals evaluatie en benchmarks, waaronder recente QA, VQA, lange-synthese en domeingebonden, gereedschapsinteractietaken. We destilleren terugkerende patronen, identificeren infrastructuurknelpunten en bieden praktische richtlijnen voor het trainen van robuuste, transparante diepe onderzoeksagenten met RL.

English

Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes work after DeepSeek-R1 along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.