KARL: Agentes de Conhecimento via Aprendizagem por Reforço

Resumo

Apresentamos um sistema para treinar agentes de busca empresarial via aprendizagem por reforço que atinge desempenho de última geração em um conjunto diversificado de tarefas de busca agentiva difíceis de verificar. Nosso trabalho faz quatro contribuições centrais. Primeiro, introduzimos o KARLBench, um conjunto de avaliação de múltiplas capacidades abrangendo seis regimes distintos de busca, incluindo busca de entidades com restrições, síntese de relatórios cross-documento, raciocínio numérico tabular, recuperação exaustiva de entidades, raciocínio procedural sobre documentação técnica e agregação de fatos sobre notas internas da empresa. Segundo, mostramos que modelos treinados em comportamentos heterogêneos de busca generalizam substancialmente melhor do que aqueles otimizados para qualquer benchmark único. Terceiro, desenvolvemos um pipeline de síntese agentiva que emprega raciocínio de longo horizonte e uso de ferramentas para gerar dados de treinamento diversificados, fundamentados e de alta qualidade, com bootstrapping iterativo a partir de modelos progressivamente mais capazes. Quarto, propomos um novo paradigma de pós-treinamento baseado em RL iterativa *off-policy* com grandes lotes que é eficiente em amostras, robusto a discrepâncias entre motor de treinamento e inferência, e naturalmente se estende ao treinamento multitarefa com generalização fora da distribuição. Comparado ao Claude 4.6 e GPT 5.2, o KARL é Pareto-ótimo no KARLBench em termos de compensações custo-qualidade e latência-qualidade, incluindo tarefas que estavam fora da distribuição durante o treinamento. Com poder computacional suficiente no tempo de teste, ele supera os modelos fechados mais fortes. Esses resultados mostram que dados sintéticos personalizados em combinação com aprendizagem por reforço multitarefa permitem agentes de conhecimento de alto desempenho e custo-eficientes para raciocínio fundamentado.

English

We present a system for training enterprise search agents via reinforcement learning that achieves state-of-the-art performance across a diverse suite of hard-to-verify agentic search tasks. Our work makes four core contributions. First, we introduce KARLBench, a multi-capability evaluation suite spanning six distinct search regimes, including constraint-driven entity search, cross-document report synthesis, tabular numerical reasoning, exhaustive entity retrieval, procedural reasoning over technical documentation, and fact aggregation over internal enterprise notes. Second, we show that models trained across heterogeneous search behaviors generalize substantially better than those optimized for any single benchmark. Third, we develop an agentic synthesis pipeline that employs long-horizon reasoning and tool use to generate diverse, grounded, and high-quality training data, with iterative bootstrapping from increasingly capable models. Fourth, we propose a new post-training paradigm based on iterative large-batch off-policy RL that is sample efficient, robust to train-inference engine discrepancies, and naturally extends to multi-task training with out-of-distribution generalization. Compared to Claude 4.6 and GPT 5.2, KARL is Pareto-optimal on KARLBench across cost-quality and latency-quality trade-offs, including tasks that were out-of-distribution during training. With sufficient test-time compute, it surpasses the strongest closed models. These results show that tailored synthetic data in combination with multi-task reinforcement learning enables cost-efficient and high-performing knowledge agents for grounded reasoning.

KARL: Agentes de Conhecimento via Aprendizagem por Reforço

KARL: Knowledge Agents via Reinforcement Learning

Resumo

Support