Grundlagen des Reinforcement Learning für tiefgehende Forschungssysteme: Ein Überblick

Reinforcement Learning Foundations for Deep Research Systems: A Survey

September 8, 2025

papers.authors: Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu

cs.AI

papers.abstract

Tiefe Forschungssysteme, agentenbasierte KI, die komplexe, mehrstufige Aufgaben durch die Koordination von Denkprozessen, Suche im offenen Web und in Benutzerdateien sowie Werkzeugnutzung lösen, bewegen sich in Richtung hierarchischer Bereitstellungen mit einem Planer, Koordinator und Ausführern. In der Praxis bleibt das end-to-end-Training ganzer Stacks unpraktikabel, daher trainieren die meisten Arbeiten einen einzelnen Planer, der mit Kernwerkzeugen wie Suche, Browsen und Code verbunden ist. Während SFT (Supervised Fine-Tuning) Protokolltreue vermittelt, leidet es unter Imitations- und Exposur-Bias und nutzt Umweltfeedback unzureichend. Präferenzabgleichmethoden wie DPO sind schema- und proxyabhängig, off-policy und schwach bei langfristiger Kreditzuweisung und multiobjektiven Kompromissen. Eine weitere Einschränkung von SFT und DPO ist ihre Abhängigkeit von menschlich definierten Entscheidungspunkten und Teilfähigkeiten durch Schemadesign und beschriftete Vergleiche. Reinforcement Learning (RL) passt sich der geschlossenen Schleife und der Werkzeuginteraktionsforschung an, indem es trajektorienbasierte Richtlinien optimiert, Exploration, Erholungsverhalten und prinzipielle Kreditzuweisung ermöglicht und die Abhängigkeit von solchen menschlichen Prioritäten und Bewerter-Bias reduziert. Diese Übersicht ist, unseres Wissens, die erste, die sich den RL-Grundlagen tiefer Forschungssysteme widmet. Sie systematisiert Arbeiten nach DeepSeek-R1 entlang drei Achsen: (i) Datensynthese und -kuratierung; (ii) RL-Methoden für agentenbasierte Forschung, die Stabilität, Stichprobeneffizienz, Langkontexthandhabung, Belohnungs- und Kreditdesign, multiobjektive Optimierung und multimodale Integration abdecken; und (iii) agentenbasierte RL-Trainingssysteme und -frameworks. Wir behandeln auch Agentenarchitektur und -koordination sowie Evaluierung und Benchmarks, einschließlich aktueller QA-, VQA-, Langform-Synthese- und domänengebundener Werkzeuginteraktionsaufgaben. Wir destillieren wiederkehrende Muster, identifizieren Infrastruktur-Engpässe und bieten praktische Anleitungen für das Training robuster, transparenter tiefer Forschungsagenten mit RL.

English

Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes work after DeepSeek-R1 along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.