EnvScaler: Масштабирование инструментально-интерактивных сред для агентов LLM с помощью программного синтеза

EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis

January 9, 2026

Авторы: Xiaoshuai Song, Haofei Chang, Guanting Dong, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

Аннотация

Крупные языковые модели (LLM) предполагается обучать для работы в качестве агентов в различных реальных средах, но этот процесс требует наличия богатых и разнообразных песочниц для взаимодействия с инструментами. Однако доступ к реальным системам часто ограничен; симулированные LLM среды склонны к галлюцинациям и противоречиям; а создаваемые вручную песочницы сложно масштабировать. В данной статье мы предлагаем EnvScaler — автоматизированную платформу для создания масштабируемых сред взаимодействия с инструментами посредством программного синтеза. EnvScaler состоит из двух компонентов. Во-первых, SkelBuilder строит разнообразные каркасы сред через тематический анализ, логическое моделирование и оценку качества. Затем ScenGenerator генерирует множественные сценарии задач и функции валидации траекторий на основе правил для каждой среды. С помощью EnvScaler мы синтезировали 191 среду и около 7 тысяч сценариев, применив их для контролируемого тонкого обучения (SFT) и обучения с подкреплением (RL) для моделей серии Qwen3. Результаты на трех тестовых наборах данных показывают, что EnvScaler значительно улучшает способность LLM решать задачи в сложных средах, включающих многоходовые взаимодействия с несколькими инструментами. Мы публикуем наш код и данные по адресу https://github.com/RUC-NLPIR/EnvScaler.

English

Large language models (LLMs) are expected to be trained to act as agents in various real-world environments, but this process relies on rich and varied tool-interaction sandboxes. However, access to real systems is often restricted; LLM-simulated environments are prone to hallucinations and inconsistencies; and manually built sandboxes are hard to scale. In this paper, we propose EnvScaler, an automated framework for scalable tool-interaction environments via programmatic synthesis. EnvScaler comprises two components. First, SkelBuilder constructs diverse environment skeletons through topic mining, logic modeling, and quality evaluation. Then, ScenGenerator generates multiple task scenarios and rule-based trajectory validation functions for each environment. With EnvScaler, we synthesize 191 environments and about 7K scenarios, and apply them to Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) for Qwen3 series models. Results on three benchmarks show that EnvScaler significantly improves LLMs' ability to solve tasks in complex environments involving multi-turn, multi-tool interactions. We release our code and data at https://github.com/RUC-NLPIR/EnvScaler.