Масштабирование агентских возможностей, а не контекста: эффективная донастройка методом обучения с подкреплением для больших пространств инструментов

Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces

March 5, 2026

Авторы: Karan Gupta, Pranav Vajreshwari, Yash Pandya, Raghav Magazine, Akshay Nambi, Ahmed Awadallah

cs.AI

Аннотация

Агентные системы, работающие в больших экосистемах инструментов, должны планировать и выполнять долгосрочные рабочие процессы в условиях слабого или непроверяемого контроля. Хотя фронтирные модели смягчают эти проблемы за счет масштаба и больших бюджетов контекста, малые языковые модели (SLM) остаются хрупкими: активная загрузка инструментов насыщает контекст, ошибки выполнения накапливаются со временем, а разреженные вознаграждения ограничивают обучение. Мы представляем ATLAS — фреймворк тонкой настройки с подкреплением, который позволяет SLM эффективно работать в средах с крупномасштабным пространством инструментов, обучаясь тому, как приобретать контекст и как выполнять действия. Наш подход вносит два ключевых вклада. Во-первых, мы рассматриваем управление контекстом и структуру выполнения как обучаемые решения, сочетая итеративную загрузку инструментов с программной оркестрацией инструментов для ограничения роста контекста и стабилизации долгосрочных траекторий. Во-вторых, мы предлагаем рубричную тонкую настройку с подкреплением, которая декомпозирует успешность задачи на структурированные, согласованные с задачей критерии и позволяет масштабируемое обучение с использованием небольших моделей-судей. На бенчмарках MCP эти проектные решения демонстрируют значительный и стабильный прогресс по сравнению с базовыми методами общего RL, позволяя SLM объемом 4B приближаться к производительности фронтирных агентов при значительно более жестких ограничениях по параметрам и контексту.

English

Agentic systems operating over large tool ecosystems must plan and execute long-horizon workflows under weak or non-verifiable supervision. While frontier models mitigate these challenges through scale and large context budgets, small language models (SLMs) remain brittle: eager tool loading saturates context, execution errors compound over time, and sparse rewards limit learning. We introduce ATLAS, a reinforcement finetuning framework that enables SLMs to operate effectively in large-scale toolspace environments by learning how to acquire context and how to execute actions. Our approach makes two key contributions. First, we treat context control and execution structure as learnable decisions, combining iterative tool loading with programmatic tool orchestration to bound context growth and stabilize long-horizon trajectories. Second, we propose rubric-based reinforcement finetuning, which decomposes task success into structured, task-aligned criteria and enables scalable training using small judge models. Across MCP benchmarks, these design choices yield large and consistent gains over generic RL baselines, allowing a 4B SLM to approach frontier-agent performance under far tighter parameter and context budgets.