Grootschalige Generatie van Agentische Trajecten vanuit Gedoockeriseerde Omgevingen
Large-Scale Terminal Agentic Trajectory Generation from Dockerized Environments
February 1, 2026
Auteurs: Siwei Wu, Yizhi Li, Yuyang Song, Wei Zhang, Yang Wang, Riza Batista-Navarro, Xian Yang, Mingjie Tang, Bryan Dai, Jian Yang, Chenghua Lin
cs.AI
Samenvatting
Het trainen van agentische modellen voor terminalgebaseerde taken is sterk afhankelijk van hoogwaardige terminaltrajecten die realistische, langetermijninteracties in diverse domeinen vastleggen. Het op schaal construeren van dergelijke data blijft echter uitdagend vanwege twee kernvereisten: \emph{Uitvoerbaarheid}, omdat elke instantie een geschikte en vaak unieke Docker-omgeving vereist; en \emph{Verifieerbaarheid}, omdat heterogene taakuitvoeringen een uniforme, gestandaardiseerde verificatie in de weg staan. Om deze uitdagingen aan te pakken, stellen wij TerminalTraj voor, een schaalbare pijplijn die (i) hoogwaardige repositories filtert om Docker-uitvoeringsomgevingen te construeren, (ii) Docker-afgestemde taakinstanties genereert, en (iii) agenttrajecten synthetiseert met uitvoerbare validatiecode. Met TerminalTraj hebben wij 32K Docker-images samengesteld en 50.733 geverifieerde terminaltrajecten gegenereerd verspreid over acht domeinen. Modellen die op deze data zijn getraind met de Qwen2.5-Coder-backbone behalen consistente prestatieverbeteringen op TerminalBench (TB), met winsten tot 20\% op TB~1.0 en 10\% op TB~2.0 ten opzichte van hun respectievelijke backbones. Opmerkelijk is dat TerminalTraj-32B sterke prestaties levert onder modellen met minder dan 100B parameters, met 35.30\% op TB~1.0 en 22.00\% op TB~2.0, en verbeterd schaalgedrag tijdens testtijd demonstreert. Alle code en data zijn beschikbaar op https://github.com/Wusiwei0410/TerminalTraj.
English
Training agentic models for terminal-based tasks critically depends on high-quality terminal trajectories that capture realistic long-horizon interactions across diverse domains. However, constructing such data at scale remains challenging due to two key requirements: \emph{Executability}, since each instance requires a suitable and often distinct Docker environment; and \emph{Verifiability}, because heterogeneous task outputs preclude unified, standardized verification. To address these challenges, we propose TerminalTraj, a scalable pipeline that (i) filters high-quality repositories to construct Dockerized execution environments, (ii) generates Docker-aligned task instances, and (iii) synthesizes agent trajectories with executable validation code. Using TerminalTraj, we curate 32K Docker images and generate 50,733 verified terminal trajectories across eight domains. Models trained on this data with the Qwen2.5-Coder backbone achieve consistent performance improvements on TerminalBench (TB), with gains of up to 20\% on TB~1.0 and 10\% on TB~2.0 over their respective backbones. Notably, TerminalTraj-32B achieves strong performance among models with fewer than 100B parameters, reaching 35.30\% on TB~1.0 and 22.00\% on TB~2.0, and demonstrates improved test-time scaling behavior. All code and data are available at https://github.com/Wusiwei0410/TerminalTraj.