EnvScaler: Skalierung von werkzeuginteraktiven Umgebungen für LLM-Agenten durch programmatische Synthese

EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis

January 9, 2026

papers.authors: Xiaoshuai Song, Haofei Chang, Guanting Dong, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) sollen darauf trainiert werden, als Agenten in verschiedenen realen Umgebungen zu agieren, aber dieser Prozess ist auf reichhaltige und vielfältige Tool-Interaktions-Sandboxes angewiesen. Der Zugang zu realen Systemen ist jedoch oft eingeschränkt; LLM-simulierte Umgebungen neigen zu Halluzinationen und Inkonsistenzen; und manuell erstellte Sandboxes sind schwer zu skalieren. In diesem Artikel stellen wir EnvScaler vor, einen automatisierten Framework für skalierbare Tool-Interaktionsumgebungen durch programmatische Synthese. EnvScaler besteht aus zwei Komponenten. Zuerst konstruiert SkelBuilder diverse Umgebungsgerüste durch Topic Mining, Logikmodellierung und Qualitätsbewertung. Anschließend generiert ScenGenerator für jede Umgebung mehrere Aufgaben-Szenarien und regelbasierte Trajektorien-Validierungsfunktionen. Mit EnvScaler synthetisieren wir 191 Umgebungen und etwa 7.000 Szenarien und wenden diese auf Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) für die Qwen3-Serienmodelle an. Ergebnisse auf drei Benchmarks zeigen, dass EnvScaler die Fähigkeit von LLMs, Aufgaben in komplexen Umgebungen mit mehrstufigen, multi-tool Interaktionen zu lösen, signifikant verbessert. Wir veröffentlichen unseren Code und unsere Daten unter https://github.com/RUC-NLPIR/EnvScaler.

English

Large language models (LLMs) are expected to be trained to act as agents in various real-world environments, but this process relies on rich and varied tool-interaction sandboxes. However, access to real systems is often restricted; LLM-simulated environments are prone to hallucinations and inconsistencies; and manually built sandboxes are hard to scale. In this paper, we propose EnvScaler, an automated framework for scalable tool-interaction environments via programmatic synthesis. EnvScaler comprises two components. First, SkelBuilder constructs diverse environment skeletons through topic mining, logic modeling, and quality evaluation. Then, ScenGenerator generates multiple task scenarios and rule-based trajectory validation functions for each environment. With EnvScaler, we synthesize 191 environments and about 7K scenarios, and apply them to Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) for Qwen3 series models. Results on three benchmarks show that EnvScaler significantly improves LLMs' ability to solve tasks in complex environments involving multi-turn, multi-tool interactions. We release our code and data at https://github.com/RUC-NLPIR/EnvScaler.