Ketting van Bewijzen: Robuuste Versterkingsleren voor Diepe Zoekagenten met Citeringsbewuste Rubricbeloningen
Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards
January 9, 2026
Auteurs: Jiajie Zhang, Xin Lv, Ling Feng, Lei Hou, Juanzi Li
cs.AI
Samenvatting
Versterkend leren (RL) is naar voren gekomen als een cruciale techniek voor het verbeteren van op LLM gebaseerde deep search agents. Bestaande benaderingen vertrouwen echter voornamelijk op beloningen met binaire uitkomsten, die de volledigheid en feitelijkheid van het redeneerproces van de agents niet vastleggen en vaak leiden tot ongewenst gedrag, zoals het benutten van shortcuts en hallucinaties. Om deze beperkingen aan te pakken, stellen wij Citation-aware Rubric Rewards (CaRR) voor, een fijnmazig beloningsraamwerk voor deep search agents dat de nadruk legt op redeneervolledigheid, feitelijke onderbouwing en verbondenheid van bewijs. CaRR ontleedt complexe vragen in verifieerbare enkelvoudige rubrics en verlangt van agents dat zij aan deze rubrics voldoen door verborgen entiteiten expliciet te identificeren, deze te ondersteunen met correcte citaten, en complete bewijsketens te construeren die naar het voorspelde antwoord leiden. Wij introduceren verder Citation-aware Group Relative Policy Optimization (C-GRPO), dat CaRR combineert met uitkomstbeloningen voor het trainen van robuuste deep search agents. Experimenten tonen aan dat C-GRPO consistent beter presteert dan standaard RL-baselines op basis van uitkomsten over meerdere deep search benchmarks. Onze analyse bevestigt ook dat C-GRPO effectief shortcut-exploitatie ontmoedigt, volledig, op bewijs gebaseerd redeneren bevordert en sterke generalisatie vertoont naar open-ended deep research taken. Onze code en data zijn beschikbaar op https://github.com/THUDM/CaRR.
English
Reinforcement learning (RL) has emerged as a critical technique for enhancing LLM-based deep search agents. However, existing approaches primarily rely on binary outcome rewards, which fail to capture the comprehensiveness and factuality of agents' reasoning process, and often lead to undesirable behaviors such as shortcut exploitation and hallucinations. To address these limitations, we propose Citation-aware Rubric Rewards (CaRR), a fine-grained reward framework for deep search agents that emphasizes reasoning comprehensiveness, factual grounding, and evidence connectivity. CaRR decomposes complex questions into verifiable single-hop rubrics and requires agents to satisfy these rubrics by explicitly identifying hidden entities, supporting them with correct citations, and constructing complete evidence chains that link to the predicted answer. We further introduce Citation-aware Group Relative Policy Optimization (C-GRPO), which combines CaRR and outcome rewards for training robust deep search agents. Experiments show that C-GRPO consistently outperforms standard outcome-based RL baselines across multiple deep search benchmarks. Our analysis also validates that C-GRPO effectively discourages shortcut exploitation, promotes comprehensive, evidence-grounded reasoning, and exhibits strong generalization to open-ended deep research tasks. Our code and data are available at https://github.com/THUDM/CaRR.