Fundamentos del Aprendizaje por Refuerzo para Sistemas de Investigación Profunda: Una Revisión

Reinforcement Learning Foundations for Deep Research Systems: A Survey

September 8, 2025

Autores: Wenjun Li, Zhi Chen, Jingru Lin, Hannan Cao, Wei Han, Sheng Liang, Zhi Zhang, Kuicai Dong, Dexun Li, Chen Zhang, Yong Liu

cs.AI

Resumen

Los sistemas de investigación profunda, IA agentiva que resuelve tareas complejas y de múltiples pasos mediante la coordinación de razonamiento, búsqueda en la web abierta y archivos del usuario, y el uso de herramientas, están avanzando hacia implementaciones jerárquicas con un Planificador, Coordinador y Ejecutores. En la práctica, entrenar pilas completas de extremo a extremo sigue siendo poco práctico, por lo que la mayoría del trabajo entrena un único planificador conectado a herramientas centrales como búsqueda, navegación y código. Mientras que el Fine-Tuning Supervisado (SFT) garantiza la fidelidad del protocolo, sufre de sesgos de imitación y exposición y subutiliza la retroalimentación del entorno. Los métodos de alineación de preferencias, como DPO, dependen de esquemas y proxies, son fuera de política y débiles para la asignación de crédito a largo plazo y los equilibrios multiobjetivo. Una limitación adicional de SFT y DPO es su dependencia de puntos de decisión y subhabilidades definidos por humanos a través del diseño de esquemas y comparaciones etiquetadas. El aprendizaje por refuerzo se alinea con la investigación de interacción de herramientas en bucle cerrado al optimizar políticas a nivel de trayectoria, permitiendo exploración, comportamientos de recuperación y asignación de crédito fundamentada, y reduce la dependencia de tales conocimientos previos humanos y sesgos de evaluadores. Este estudio es, hasta donde sabemos, el primero dedicado a los fundamentos de aprendizaje por refuerzo (RL) en sistemas de investigación profunda. Sistematiza el trabajo posterior a DeepSeek-R1 en tres ejes: (i) síntesis y curación de datos; (ii) métodos de RL para investigación agentiva que cubren estabilidad, eficiencia de muestreo, manejo de contextos largos, diseño de recompensas y crédito, optimización multiobjetivo e integración multimodal; y (iii) sistemas y marcos de entrenamiento de RL agentivo. También cubrimos arquitectura y coordinación de agentes, así como evaluación y benchmarks, incluyendo tareas recientes de QA, VQA, síntesis de largo formato y tareas de interacción con herramientas basadas en dominios. Destilamos patrones recurrentes, identificamos cuellos de botella en la infraestructura y ofrecemos orientación práctica para entrenar agentes de investigación profunda robustos y transparentes con RL.

English

Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes work after DeepSeek-R1 along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.