EnvScaler : Mise à l'échelle des environnements interactifs d'outils pour les agents LLM via la synthèse programmatique
EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis
January 9, 2026
papers.authors: Xiaoshuai Song, Haofei Chang, Guanting Dong, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen
cs.AI
papers.abstract
On s'attend à ce que les grands modèles de langage (LLM) soient entraînés à agir comme agents dans divers environnements réels, mais ce processus repose sur des bacs à sable d'interaction avec des outils riches et variés. Cependant, l'accès aux systèmes réels est souvent restreint ; les environnements simulés par LLM sont sujets aux hallucinations et aux incohérences ; et les bacs à sable construits manuellement sont difficiles à mettre à l'échelle. Dans cet article, nous proposons EnvScaler, un cadre automatisé pour des environnements d'interaction avec des outils évolutifs via la synthèse programmatique. EnvScaler comprend deux composants. Premièrement, SkelBuilder construit des squelettes d'environnement diversifiés par le biais de l'extraction de thèmes, de la modélisation logique et de l'évaluation de la qualité. Ensuite, ScenGenerator génère de multiples scénarios de tâches et des fonctions de validation de trajectoire basées sur des règles pour chaque environnement. Avec EnvScaler, nous synthétisons 191 environnements et environ 7 000 scénarios, et nous les appliquons au Fine-Tuning Supervisé (SFT) et à l'Apprentissage par Renforcement (RL) pour les modèles de la série Qwen3. Les résultats sur trois benchmarks montrent qu'EnvScaler améliore significativement la capacité des LLM à résoudre des tâches dans des environnements complexes impliquant des interactions multi-tours et multi-outils. Nous publions notre code et nos données à l'adresse https://github.com/RUC-NLPIR/EnvScaler.
English
Large language models (LLMs) are expected to be trained to act as agents in various real-world environments, but this process relies on rich and varied tool-interaction sandboxes. However, access to real systems is often restricted; LLM-simulated environments are prone to hallucinations and inconsistencies; and manually built sandboxes are hard to scale. In this paper, we propose EnvScaler, an automated framework for scalable tool-interaction environments via programmatic synthesis. EnvScaler comprises two components. First, SkelBuilder constructs diverse environment skeletons through topic mining, logic modeling, and quality evaluation. Then, ScenGenerator generates multiple task scenarios and rule-based trajectory validation functions for each environment. With EnvScaler, we synthesize 191 environments and about 7K scenarios, and apply them to Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) for Qwen3 series models. Results on three benchmarks show that EnvScaler significantly improves LLMs' ability to solve tasks in complex environments involving multi-turn, multi-tool interactions. We release our code and data at https://github.com/RUC-NLPIR/EnvScaler.