KARL: Wissensagenten durch bestärkendes Lernen

Zusammenfassung

Wir stellen ein System zum Training von Enterprise-Suchagenten mittels Reinforcement Learning vor, das state-of-the-art Leistung über eine vielfältige Suite schwer zu verifizierender agentenbasierter Suchaufgaben erzielt. Unsere Arbeit leistet vier zentrale Beiträge. Erstens führen wir KARLBench ein, eine Bewertungssuite mit multiplen Fähigkeiten, die sechs distincte Suchregime umfasst, einschließlich constraint-gesteuerter Entitätensuche, dokumenübergreifender Reportsynthese, tabellarischem numerischem Reasoning, exhaustiver Entitätenrückgewinnung, prozeduralem Reasoning über technische Dokumentation und Faktenaggregation über interne Unternehmensnotizen. Zweitens zeigen wir, dass Modelle, die über heterogene Suchverhalten trainiert werden, wesentlich besser generalisieren als solche, die für einen einzelnen Benchmark optimiert sind. Drittens entwickeln wir eine agentenbasierte Synthese-Pipeline, die langfristiges Reasoning und Werkzeugnutzung einsetzt, um diverse, fundierte und hochwertige Trainingsdaten zu generieren, mit iterativem Bootstrapping aus zunehmend leistungsfähigeren Modellen. Viertens schlagen wir ein neues Post-Training-Paradigma basierend auf iterativem Off-Policy-Reinforcement-Learning mit großen Batches vor, das probeneffizient, robust gegenüber Trainings-Inferenz-Engine-Diskrepanzen ist und sich natürlich auf Multi-Task-Training mit Out-of-Distribution-Generalisierung erweitern lässt. Im Vergleich zu Claude 4.6 und GPT 5.2 ist KARL auf KARLBench Pareto-optimal über Kosten-Qualitäts- und Latenz-Qualitäts-Abwägungen hinweg, einschließlich Aufgaben, die während des Trainings Out-of-Distribution waren. Mit ausreichender Rechenleistung zur Testzeit übertrifft es die stärksten Closed-Modelle. Diese Ergebnisse zeigen, dass maßgeschneiderte synthetische Daten in Kombination mit Multi-Task-Reinforcement-Learning kosteneffiziente und leistungsstarke Wissensagenten für fundiertes Reasoning ermöglichen.

English

We present a system for training enterprise search agents via reinforcement learning that achieves state-of-the-art performance across a diverse suite of hard-to-verify agentic search tasks. Our work makes four core contributions. First, we introduce KARLBench, a multi-capability evaluation suite spanning six distinct search regimes, including constraint-driven entity search, cross-document report synthesis, tabular numerical reasoning, exhaustive entity retrieval, procedural reasoning over technical documentation, and fact aggregation over internal enterprise notes. Second, we show that models trained across heterogeneous search behaviors generalize substantially better than those optimized for any single benchmark. Third, we develop an agentic synthesis pipeline that employs long-horizon reasoning and tool use to generate diverse, grounded, and high-quality training data, with iterative bootstrapping from increasingly capable models. Fourth, we propose a new post-training paradigm based on iterative large-batch off-policy RL that is sample efficient, robust to train-inference engine discrepancies, and naturally extends to multi-task training with out-of-distribution generalization. Compared to Claude 4.6 and GPT 5.2, KARL is Pareto-optimal on KARLBench across cost-quality and latency-quality trade-offs, including tasks that were out-of-distribution during training. With sufficient test-time compute, it surpasses the strongest closed models. These results show that tailored synthetic data in combination with multi-task reinforcement learning enables cost-efficient and high-performing knowledge agents for grounded reasoning.

KARL: Wissensagenten durch bestärkendes Lernen

KARL: Knowledge Agents via Reinforcement Learning

Zusammenfassung

Support