KARL: Агенты знаний с использованием обучения с подкреплением

Аннотация

Мы представляем систему обучения поисковых агентов для предприятий с помощью обучения с подкреплением, которая достигает наилучших показателей на разнообразном наборе сложно проверяемых задач агентского поиска. Наша работа вносит четыре ключевых вклада. Во-первых, мы представляем KARLBench — оценочный комплекс с множественными возможностями, охватывающий шесть различных режимов поиска, включая поиск сущностей с ограничениями, синтез отчетов на основе нескольких документов, табличные численные рассуждения, исчерпывающий поиск сущностей, процедурные рассуждения над технической документацией и агрегацию фактов из внутренних заметок предприятия. Во-вторых, мы показываем, что модели, обученные на разнородном поисковом поведении, обобщаются существенно лучше, чем модели, оптимизированные для какого-либо одного теста. В-третьих, мы разрабатываем конвейер агентского синтеза, который использует рассуждения на длинных горизонтах и применение инструментов для генерации разнообразных, обоснованных и качественных обучающих данных с итеративной самозагрузкой от все более способных моделей. В-четвертых, мы предлагаем новую парадигму пост-обучения на основе итеративного off-policy RL с большими пакетами, которая эффективна по выборкам, устойчива к расхождениям между механизмами обучения и вывода и естественным образом расширяется до многозадачного обучения с обобщением на распределения, не представленные при обучении. По сравнению с Claude 4.6 и GPT 5.2, KARL является Парето-оптимальной на KARLBench с точки зрения компромиссов между стоимостью-качеством и задержкой-качеством, включая задачи, которые не входили в распределение обучающих данных. При достаточных вычислительных ресурсах на этапе тестирования она превосходит самые мощные закрытые модели. Эти результаты показывают, что специализированные синтетические данные в сочетании с многозадачным обучением с подкреплением позволяют создавать экономически эффективные и высокопроизводительные агенты знаний для обоснованных рассуждений.

English

We present a system for training enterprise search agents via reinforcement learning that achieves state-of-the-art performance across a diverse suite of hard-to-verify agentic search tasks. Our work makes four core contributions. First, we introduce KARLBench, a multi-capability evaluation suite spanning six distinct search regimes, including constraint-driven entity search, cross-document report synthesis, tabular numerical reasoning, exhaustive entity retrieval, procedural reasoning over technical documentation, and fact aggregation over internal enterprise notes. Second, we show that models trained across heterogeneous search behaviors generalize substantially better than those optimized for any single benchmark. Third, we develop an agentic synthesis pipeline that employs long-horizon reasoning and tool use to generate diverse, grounded, and high-quality training data, with iterative bootstrapping from increasingly capable models. Fourth, we propose a new post-training paradigm based on iterative large-batch off-policy RL that is sample efficient, robust to train-inference engine discrepancies, and naturally extends to multi-task training with out-of-distribution generalization. Compared to Claude 4.6 and GPT 5.2, KARL is Pareto-optimal on KARLBench across cost-quality and latency-quality trade-offs, including tasks that were out-of-distribution during training. With sufficient test-time compute, it surpasses the strongest closed models. These results show that tailored synthetic data in combination with multi-task reinforcement learning enables cost-efficient and high-performing knowledge agents for grounded reasoning.

KARL: Агенты знаний с использованием обучения с подкреплением

KARL: Knowledge Agents via Reinforcement Learning

Аннотация

Support