Catena di Prove: Apprendimento per Rinforzo Robusto per Agenti di Ricerca Profonda con Ricompense Basate su Rubriche Consapevoli delle Citazioni
Chaining the Evidence: Robust Reinforcement Learning for Deep Search Agents with Citation-Aware Rubric Rewards
January 9, 2026
Autori: Jiajie Zhang, Xin Lv, Ling Feng, Lei Hou, Juanzi Li
cs.AI
Abstract
L’apprendimento per rinforzo (RL) è emerso come una tecnica fondamentale per potenziare gli agenti di deep search basati su LLM. Tuttavia, gli approcci esistenti si basano principalmente su ricompense basate su esiti binari, che non riescono a cogliere la completezza e la factualità del processo di ragionamento degli agenti, e spesso portano a comportamenti indesiderati come lo sfruttamento di scorciatoie e allucinazioni. Per affrontare queste limitazioni, proponiamo Citation-aware Rubric Rewards (CaRR), un framework di ricompensa granulare per agenti di deep search che enfatizza la completezza del ragionamento, il radicamento fattuale e la connettività delle evidenze. CaRR scompone domande complesse in rubriche verificabili a salto singolo e richiede agli agenti di soddisfare queste rubriche identificando esplicitamente entità nascoste, supportandole con citazioni corrette e costruendo catene di evidenze complete che si colleghino alla risposta prevista. Introduciamo inoltre la Citation-aware Group Relative Policy Optimization (C-GRPO), che combina CaRR e le ricompense basate sull'esito per addestrare agenti di deep search robusti. Gli esperimenti mostrano che C-GRPO supera costantemente i baseline RL standard basati sull'esito in molteplici benchmark di deep search. La nostra analisi convalida anche che C-GRPO scoraggia efficacemente lo sfruttamento di scorciatoie, promuove un ragionamento completo e fondato sulle evidenze, e mostra una forte generalizzazione per compiti aperti di deep research. Il nostro codice e i nostri dati sono disponibili all'indirizzo https://github.com/THUDM/CaRR.
English
Reinforcement learning (RL) has emerged as a critical technique for enhancing LLM-based deep search agents. However, existing approaches primarily rely on binary outcome rewards, which fail to capture the comprehensiveness and factuality of agents' reasoning process, and often lead to undesirable behaviors such as shortcut exploitation and hallucinations. To address these limitations, we propose Citation-aware Rubric Rewards (CaRR), a fine-grained reward framework for deep search agents that emphasizes reasoning comprehensiveness, factual grounding, and evidence connectivity. CaRR decomposes complex questions into verifiable single-hop rubrics and requires agents to satisfy these rubrics by explicitly identifying hidden entities, supporting them with correct citations, and constructing complete evidence chains that link to the predicted answer. We further introduce Citation-aware Group Relative Policy Optimization (C-GRPO), which combines CaRR and outcome rewards for training robust deep search agents. Experiments show that C-GRPO consistently outperforms standard outcome-based RL baselines across multiple deep search benchmarks. Our analysis also validates that C-GRPO effectively discourages shortcut exploitation, promotes comprehensive, evidence-grounded reasoning, and exhibits strong generalization to open-ended deep research tasks. Our code and data are available at https://github.com/THUDM/CaRR.