Fondements de l'Apprentissage par Renforcement pour les Systèmes de Recherche Profonde : Une Étude

Reinforcement Learning Foundations for Deep Research Systems: A Survey

September 8, 2025

papers.authors: Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu

cs.AI

papers.abstract

Les systèmes de recherche approfondie, des IA agentiques qui résolvent des tâches complexes et multi-étapes en coordonnant le raisonnement, la recherche sur le web ouvert et les fichiers utilisateurs, ainsi que l’utilisation d’outils, évoluent vers des déploiements hiérarchiques avec un Planificateur, un Coordinateur et des Exécuteurs. En pratique, l’entraînement de piles entières de bout en bout reste impraticable, donc la plupart des travaux se concentrent sur l’entraînement d’un seul planificateur connecté à des outils essentiels tels que la recherche, la navigation et le code. Bien que l’apprentissage supervisé par fine-tuning (SFT) assure la fidélité aux protocoles, il souffre de biais d’imitation et d’exposition et sous-utilise les retours d’environnement. Les méthodes d’alignement des préférences, comme DPO, dépendent de schémas et de proxys, sont hors politique et faibles pour l’attribution de crédit à long terme et les compromis multi-objectifs. Une autre limitation du SFT et du DPO est leur dépendance aux points de décision et sous-compétences définis par l’homme via la conception de schémas et les comparaisons étiquetées. L’apprentissage par renforcement s’aligne avec la recherche en boucle fermée et l’interaction avec les outils en optimisant les politiques au niveau des trajectoires, permettant l’exploration, les comportements de récupération et une attribution de crédit principée, tout en réduisant la dépendance à ces a priori humains et aux biais des évaluateurs. À notre connaissance, cette étude est la première dédiée aux fondements de l’apprentissage par renforcement (RL) pour les systèmes de recherche approfondie. Elle systématise les travaux après DeepSeek-R1 selon trois axes : (i) la synthèse et la curation des données ; (ii) les méthodes de RL pour la recherche agentique, couvrant la stabilité, l’efficacité des échantillons, la gestion de contextes longs, la conception de récompenses et de crédits, l’optimisation multi-objectifs et l’intégration multimodale ; et (iii) les systèmes et frameworks d’entraînement RL pour agents. Nous abordons également l’architecture et la coordination des agents, ainsi que l’évaluation et les benchmarks, incluant les tâches récentes de questions-réponses (QA), de questions-réponses visuelles (VQA), de synthèse de textes longs et d’interaction avec des outils ancrés dans un domaine. Nous distillons les motifs récurrents, identifions les goulots d’étranglement infrastructurels et proposons des conseils pratiques pour entraîner des agents de recherche approfondie robustes et transparents avec le RL.

English

Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes work after DeepSeek-R1 along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.