Ampliando Capacidades Agentes, Não o Contexto: Ajuste Fino por Reforço Eficiente para Grandes Espaços de Ferramentas

Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces

March 5, 2026

Autores: Karan Gupta, Pranav Vajreshwari, Yash Pandya, Raghav Magazine, Akshay Nambi, Ahmed Awadallah

cs.AI

Resumo

Sistemas agentes que operam sobre grandes ecossistemas de ferramentas devem planejar e executar fluxos de trabalho de longo prazo sob supervisão fraca ou não verificável. Embora modelos de fronteira mitiguem esses desafios por meio de escala e grandes orçamentos de contexto, os modelos de linguagem pequenos (SLMs) permanecem frágeis: o carregamento ansioso de ferramentas satura o contexto, os erros de execução se acumulam ao longo do tempo e as recompensas esparsas limitam o aprendizado. Apresentamos o ATLAS, uma estrutura de ajuste fino por reforço que permite aos SLMs operar eficazmente em ambientes de grande espaço de ferramentas, aprendendo como adquirir contexto e como executar ações. Nossa abordagem traz duas contribuições principais. Primeiro, tratamos o controle de contexto e a estrutura de execução como decisões aprendíveis, combinando o carregamento iterativo de ferramentas com a orquestração programática de ferramentas para limitar o crescimento do contexto e estabilizar trajetórias de longo prazo. Segundo, propomos o ajuste fino por reforço baseado em rubricas, que decompõe o sucesso da tarefa em critérios estruturados e alinhados com a tarefa, permitindo um treinamento escalável usando pequenos modelos avaliadores. Nos benchmarks MCP, essas escolhas de projeto resultam em ganhos grandes e consistentes em relação a linhas de base genéricas de RL, permitindo que um SLM de 4B se aproxime do desempenho de agentes de fronteira com orçamentos de parâmetros e contexto muito mais restritos.

English

Agentic systems operating over large tool ecosystems must plan and execute long-horizon workflows under weak or non-verifiable supervision. While frontier models mitigate these challenges through scale and large context budgets, small language models (SLMs) remain brittle: eager tool loading saturates context, execution errors compound over time, and sparse rewards limit learning. We introduce ATLAS, a reinforcement finetuning framework that enables SLMs to operate effectively in large-scale toolspace environments by learning how to acquire context and how to execute actions. Our approach makes two key contributions. First, we treat context control and execution structure as learnable decisions, combining iterative tool loading with programmatic tool orchestration to bound context growth and stabilize long-horizon trajectories. Second, we propose rubric-based reinforcement finetuning, which decomposes task success into structured, task-aligned criteria and enables scalable training using small judge models. Across MCP benchmarks, these design choices yield large and consistent gains over generic RL baselines, allowing a 4B SLM to approach frontier-agent performance under far tighter parameter and context budgets.