KARL: Agenti della Conoscenza tramite Apprendimento per Rinforzo

Abstract

Presentiamo un sistema per l'addestramento di agenti di ricerca aziendale tramite apprendimento per rinforzo che raggiunge prestazioni allo stato dell'arte su un insieme diversificato di compiti di ricerca agentica difficili da verificare. Il nostro lavoro fornisce quattro contributi fondamentali. Primo, introduciamo KARLBench, una suite di valutazione multi-capacità che abbraccia sei distinti regimi di ricerca, inclusa la ricerca di entità guidata da vincoli, la sintesi di report cross-documento, il ragionamento numerico su tabelle, il recupero esaustivo di entità, il ragionamento procedurale su documentazione tecnica e l'aggregazione di fatti su note interne aziendali. Secondo, dimostriamo che i modelli addestrati su comportamenti di ricerca eterogenei generalizzano sostanzialmente meglio di quelli ottimizzati per un singolo benchmark. Terzo, sviluppiamo una pipeline di sintesi agentica che impiega ragionamento a lungo orizzonte e uso di strumenti per generare dati di addestramento diversificati, fondati e di alta qualità, con bootstrapping iterativo da modelli gradualmente più capaci. Quarto, proponiamo un nuovo paradigma di post-addestramento basato su RL off-policy iterativo a largo batch che è efficiente nel campionamento, robusto alle discrepanze motore addestramento-inferenza, e si estende naturalmente all'addestramento multi-task con generalizzazione out-of-distribution. Rispetto a Claude 4.6 e GPT 5.2, KARL è Pareto-ottimale su KARLBench attraverso i compromessi costo-qualità e latenza-qualità, inclusi compiti che erano out-of-distribution durante l'addestramento. Con sufficiente potenza di calcolo al test, supera i modelli chiusi più potenti. Questi risultati dimostrano che dati sintetici mirati in combinazione con l'apprendimento per rinforzo multi-task abilitano agenti della conoscenza efficienti in termini di costi e ad alte prestazioni per il ragionamento fondato.

English

We present a system for training enterprise search agents via reinforcement learning that achieves state-of-the-art performance across a diverse suite of hard-to-verify agentic search tasks. Our work makes four core contributions. First, we introduce KARLBench, a multi-capability evaluation suite spanning six distinct search regimes, including constraint-driven entity search, cross-document report synthesis, tabular numerical reasoning, exhaustive entity retrieval, procedural reasoning over technical documentation, and fact aggregation over internal enterprise notes. Second, we show that models trained across heterogeneous search behaviors generalize substantially better than those optimized for any single benchmark. Third, we develop an agentic synthesis pipeline that employs long-horizon reasoning and tool use to generate diverse, grounded, and high-quality training data, with iterative bootstrapping from increasingly capable models. Fourth, we propose a new post-training paradigm based on iterative large-batch off-policy RL that is sample efficient, robust to train-inference engine discrepancies, and naturally extends to multi-task training with out-of-distribution generalization. Compared to Claude 4.6 and GPT 5.2, KARL is Pareto-optimal on KARLBench across cost-quality and latency-quality trade-offs, including tasks that were out-of-distribution during training. With sufficient test-time compute, it surpasses the strongest closed models. These results show that tailored synthetic data in combination with multi-task reinforcement learning enables cost-efficient and high-performing knowledge agents for grounded reasoning.

KARL: Agenti della Conoscenza tramite Apprendimento per Rinforzo

KARL: Knowledge Agents via Reinforcement Learning

Abstract

Support