Potenziare le Capacità Agenti, Non il Contesto: Raffinamento Efficiente tramite Rinforzo per Ampi Spazi di Strumenti

Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces

March 5, 2026

Autori: Karan Gupta, Pranav Vajreshwari, Yash Pandya, Raghav Magazine, Akshay Nambi, Ahmed Awadallah

cs.AI

Abstract

I sistemi agentici che operano su ecosistemi di strumenti di grandi dimensioni devono pianificare ed eseguire flussi di lavoro a lungo orizzonte sotto una supervisione debole o non verificabile. Sebbene i modelli all'avanguardia mitigano queste sfide attraverso la scala e ampi budget di contesto, i modelli linguistici piccoli (SLM) rimangono fragili: il caricamento aggressivo degli strumenti satura il contesto, gli errori di esecuzione si cumulano nel tempo e le ricompense sparse limitano l'apprendimento. Introduciamo ATLAS, un framework di fine-tuning per rinforzo che consente agli SLM di operare efficacemente in ambienti con spazi di strumenti su larga scala, apprendendo come acquisire contesto e come eseguire azioni. Il nostro approccio fornisce due contributi chiave. Primo, trattiamo il controllo del contesto e la struttura di esecuzione come decisioni apprendibili, combinando il caricamento iterativo degli strumenti con l'orchestrazione programmatica degli stessi per delimitare la crescita del contesto e stabilizzare le traiettorie a lungo orizzonte. Secondo, proponiamo il fine-tuning per rinforzo basato su rubriche, che scompone il successo del compito in criteri strutturati e allineati al compito, consentendo un addestramento scalabile utilizzando piccoli modelli giudicanti. Sui benchmark MCP, queste scelte progettuali producono miglioramenti ampi e consistenti rispetto ai metodi generici di RL, permettendo a un SLM da 4B di avvicinarsi alle prestazioni degli agenti all'avanguardia con budget di parametri e contesto molto più ridotti.

English

Agentic systems operating over large tool ecosystems must plan and execute long-horizon workflows under weak or non-verifiable supervision. While frontier models mitigate these challenges through scale and large context budgets, small language models (SLMs) remain brittle: eager tool loading saturates context, execution errors compound over time, and sparse rewards limit learning. We introduce ATLAS, a reinforcement finetuning framework that enables SLMs to operate effectively in large-scale toolspace environments by learning how to acquire context and how to execute actions. Our approach makes two key contributions. First, we treat context control and execution structure as learnable decisions, combining iterative tool loading with programmatic tool orchestration to bound context growth and stabilize long-horizon trajectories. Second, we propose rubric-based reinforcement finetuning, which decomposes task success into structured, task-aligned criteria and enables scalable training using small judge models. Across MCP benchmarks, these design choices yield large and consistent gains over generic RL baselines, allowing a 4B SLM to approach frontier-agent performance under far tighter parameter and context budgets.