Основы обучения с подкреплением для систем глубоких исследований: обзор

Reinforcement Learning Foundations for Deep Research Systems: A Survey

September 8, 2025

Авторы: Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu

cs.AI

Аннотация

Глубокие исследовательские системы, агентный ИИ, решающий сложные многошаговые задачи за счет координации рассуждений, поиска в открытой сети и пользовательских файлов, а также использования инструментов, движутся в сторону иерархических архитектур с Планировщиком, Координатором и Исполнителями. На практике обучение всей системы сквозным образом остается непрактичным, поэтому большинство работ сосредоточено на обучении одного планировщика, подключенного к базовым инструментам, таким как поиск, просмотр и код. Хотя обучение с учителем (SFT) обеспечивает точность протоколов, оно страдает от имитационных и экспозиционных предубеждений и недостаточно использует обратную связь от среды. Методы согласования предпочтений, такие как DPO, зависят от схем и прокси, являются внеполитичными и слабыми для долгосрочного распределения заслуг и многокритериальных компромиссов. Дополнительным ограничением SFT и DPO является их зависимость от человечески определенных точек принятия решений и поднавыков через проектирование схем и маркированные сравнения. Обучение с подкреплением (RL) согласуется с исследованиями замкнутого цикла и взаимодействия с инструментами, оптимизируя политики на уровне траекторий, обеспечивая исследование, восстановительные поведения и принципиальное распределение заслуг, а также снижает зависимость от таких человеческих априорных знаний и предубеждений оценщиков. Насколько нам известно, этот обзор является первым, посвященным основам RL для глубоких исследовательских систем. Он систематизирует работы после DeepSeek-R1 по трем направлениям: (i) синтез и курирование данных; (ii) методы RL для агентных исследований, охватывающие стабильность, эффективность выборок, обработку длинных контекстов, проектирование наград и заслуг, многокритериальную оптимизацию и мультимодальную интеграцию; и (iii) системы и фреймворки для обучения агентного RL. Мы также рассматриваем архитектуру и координацию агентов, а также оценку и бенчмарки, включая последние задачи QA, VQA, синтеза длинных текстов и взаимодействия с инструментами в предметных областях. Мы выделяем повторяющиеся паттерны, выявляем инфраструктурные узкие места и предлагаем практические рекомендации для обучения устойчивых и прозрачных глубоких исследовательских агентов с использованием RL.

English

Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes work after DeepSeek-R1 along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.