EnvScaler: Escalonamento de Ambientes Interativos de Ferramentas para Agentes de LLM via Síntese Programática
EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis
January 9, 2026
Autores: Xiaoshuai Song, Haofei Chang, Guanting Dong, Yutao Zhu, Zhicheng Dou, Ji-Rong Wen
cs.AI
Resumo
Espera-se que os grandes modelos de linguagem (LLMs) sejam treinados para atuar como agentes em diversos ambientes do mundo real, mas esse processo depende de ambientes de simulação (sandboxes) de interação com ferramentas ricos e variados. No entanto, o acesso a sistemas reais é frequentemente restrito; ambientes simulados por LLMs são propensos a alucinações e inconsistências; e sandboxes construídos manualmente são difíceis de escalar. Neste artigo, propomos o EnvScaler, uma estrutura automatizada para ambientes escaláveis de interação com ferramentas via síntese programática. O EnvScaler compreende dois componentes. Primeiro, o SkelBuilder constrói esqueletos de ambiente diversos através de mineração de tópicos, modelagem lógica e avaliação de qualidade. Em seguida, o ScenGenerator gera múltiplos cenários de tarefas e funções de validação de trajetória baseadas em regras para cada ambiente. Com o EnvScaler, sintetizamos 191 ambientes e cerca de 7 mil cenários, e aplicamo-los ao Ajuste Fino Supervisionado (SFT) e ao Aprendizado por Reforço (RL) para os modelos da série Qwen3. Os resultados em três benchmarks mostram que o EnvScaler melhora significativamente a capacidade dos LLMs de resolver tarefas em ambientes complexos envolvendo interações multi-turno e multi-ferramenta. Disponibilizamos nosso código e dados em https://github.com/RUC-NLPIR/EnvScaler.
English
Large language models (LLMs) are expected to be trained to act as agents in various real-world environments, but this process relies on rich and varied tool-interaction sandboxes. However, access to real systems is often restricted; LLM-simulated environments are prone to hallucinations and inconsistencies; and manually built sandboxes are hard to scale. In this paper, we propose EnvScaler, an automated framework for scalable tool-interaction environments via programmatic synthesis. EnvScaler comprises two components. First, SkelBuilder constructs diverse environment skeletons through topic mining, logic modeling, and quality evaluation. Then, ScenGenerator generates multiple task scenarios and rule-based trajectory validation functions for each environment. With EnvScaler, we synthesize 191 environments and about 7K scenarios, and apply them to Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) for Qwen3 series models. Results on three benchmarks show that EnvScaler significantly improves LLMs' ability to solve tasks in complex environments involving multi-turn, multi-tool interactions. We release our code and data at https://github.com/RUC-NLPIR/EnvScaler.