Encadenando la Evidencia: Aprendizaje por Refuerzo Robusto para Agentes de Búsqueda Profunda con Recompensas Basadas en Rúbricas Conscientes de Citas
Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards
January 9, 2026
Autores: Jiajie Zhang, Xin Lv, Ling Feng, Lei Hou, Juanzi Li
cs.AI
Resumen
El aprendizaje por refuerzo (RL) se ha consolidado como una técnica fundamental para mejorar los agentes de búsqueda profunda basados en LLM. Sin embargo, los enfoques existentes se basan principalmente en recompensas de resultado binario, que no logran capturar la exhaustividad y la factualidad del proceso de razonamiento de los agentes, y a menudo conducen a comportamientos indeseables como la explotación de atajos y las alucinaciones. Para abordar estas limitaciones, proponemos Citation-aware Rubric Rewards (CaRR), un marco de recompensas de grano fino para agentes de búsqueda profunda que enfatiza la exhaustividad del razonamiento, el fundamento fáctico y la conectividad de la evidencia. CaRR descompone preguntas complejas en rúbricas verificables de un solo salto y exige a los agentes que satisfagan estas rúbricas identificando explícitamente entidades ocultas, respaldándolas con citas correctas y construyendo cadenas de evidencia completas que enlacen con la respuesta predicha. Además, presentamos Citation-aware Group Relative Policy Optimization (C-GRPO), que combina CaRR y las recompensas de resultado para entrenar agentes de búsqueda profunda robustos. Los experimentos demuestran que C-GRPO supera consistentemente a los baselines estándar de RL basados en resultados en múltiples benchmarks de búsqueda profunda. Nuestro análisis también valida que C-GRPO disuade efectivamente la explotación de atajos, promueve un razonamiento exhaustivo y fundamentado en evidencias, y exhibe una fuerte generalización a tareas de investigación profunda de respuesta abierta. Nuestro código y datos están disponibles en https://github.com/THUDM/CaRR.
English
Reinforcement learning (RL) has emerged as a critical technique for enhancing LLM-based deep search agents. However, existing approaches primarily rely on binary outcome rewards, which fail to capture the comprehensiveness and factuality of agents' reasoning process, and often lead to undesirable behaviors such as shortcut exploitation and hallucinations. To address these limitations, we propose Citation-aware Rubric Rewards (CaRR), a fine-grained reward framework for deep search agents that emphasizes reasoning comprehensiveness, factual grounding, and evidence connectivity. CaRR decomposes complex questions into verifiable single-hop rubrics and requires agents to satisfy these rubrics by explicitly identifying hidden entities, supporting them with correct citations, and constructing complete evidence chains that link to the predicted answer. We further introduce Citation-aware Group Relative Policy Optimization (C-GRPO), which combines CaRR and outcome rewards for training robust deep search agents. Experiments show that C-GRPO consistently outperforms standard outcome-based RL baselines across multiple deep search benchmarks. Our analysis also validates that C-GRPO effectively discourages shortcut exploitation, promotes comprehensive, evidence-grounded reasoning, and exhibits strong generalization to open-ended deep research tasks. Our code and data are available at https://github.com/THUDM/CaRR.