Amélioration des capacités agentiques, non du contexte : réglage fin par renforcement efficace pour de vastes espaces d'outils
Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces
March 5, 2026
Auteurs: Karan Gupta, Pranav Vajreshwari, Yash Pandya, Raghav Magazine, Akshay Nambi, Ahmed Awadallah
cs.AI
Résumé
Les systèmes agentiques opérant sur de vastes écosystèmes d'outils doivent planifier et exécuter des workflows à long horizon sous une supervision faible ou non vérifiable. Si les modèles de pointe atténuent ces défis par leur échelle et leurs grands contextes, les petits modèles de langage (SLM) restent fragiles : le chargement intensif d'outils sature le contexte, les erreurs d'exécution s'accumulent et les récompenses éparses limitent l'apprentissage. Nous présentons ATLAS, un cadre de réglage fin par renforcement permettant aux SLM d'opérer efficacement dans des environnements à grande échelle d'outils en apprenant comment acquérir du contexte et comment exécuter des actions. Notre approche apporte deux contributions clés. Premièrement, nous traitons le contrôle du contexte et la structure d'exécution comme des décisions apprenables, combinant un chargement itératif d'outils avec une orchestration programmatique pour limiter la croissance du contexte et stabiliser les trajectoires à long horizon. Deuxièmement, nous proposons un réglage fin par renforcement basé sur des rubriques, qui décompose la réussite des tâches en critères structurés et alignés, permettant un entraînement scalable avec de petits modèles évaluateurs. Sur les benchmarks MCP, ces choix conceptionnels produisent des gains importants et constants par rapport aux méthodes de RL génériques, permettant à un SLM de 4B d'approcher les performances des agents de pointe avec des budgets de paramètres et de contexte bien plus contraints.
English
Agentic systems operating over large tool ecosystems must plan and execute long-horizon workflows under weak or non-verifiable supervision. While frontier models mitigate these challenges through scale and large context budgets, small language models (SLMs) remain brittle: eager tool loading saturates context, execution errors compound over time, and sparse rewards limit learning. We introduce ATLAS, a reinforcement finetuning framework that enables SLMs to operate effectively in large-scale toolspace environments by learning how to acquire context and how to execute actions. Our approach makes two key contributions. First, we treat context control and execution structure as learnable decisions, combining iterative tool loading with programmatic tool orchestration to bound context growth and stabilize long-horizon trajectories. Second, we propose rubric-based reinforcement finetuning, which decomposes task success into structured, task-aligned criteria and enables scalable training using small judge models. Across MCP benchmarks, these design choices yield large and consistent gains over generic RL baselines, allowing a 4B SLM to approach frontier-agent performance under far tighter parameter and context budgets.