Taalmodelagenten trainen om kwetsbaarheden te vinden met CTF-Dojo

Training Language Model Agents to Find Vulnerabilities with CTF-Dojo

August 25, 2025

Auteurs: Terry Yue Zhuo, Dingmin Wang, Hantian Ding, Varun Kumar, Zijian Wang

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben uitzonderlijke capaciteiten getoond wanneer ze worden getraind binnen uitvoerbare runtime-omgevingen, met name uitblinkend bij software-engineeringtaken door middel van geverifieerde feedbackloops. Toch blijven schaalbare en generaliseerbare uitvoeringsgebaseerde omgevingen schaars, wat de vooruitgang in het trainen van capabelere ML-agents beperkt. Wij introduceren CTF-Dojo, de eerste grootschalige uitvoerbare runtime die specifiek is ontworpen voor het trainen van LLMs met verifieerbare feedback, met 658 volledig functionele Capture-The-Flag (CTF)-achtige uitdagingen die zijn gecontaineriseerd in Docker met gegarandeerde reproduceerbaarheid. Om snelle schaalbaarheid mogelijk te maken zonder handmatige interventie, ontwikkelen we CTF-Forge, een geautomatiseerde pijplijn die publiekelijk beschikbare artefacten omzet in direct bruikbare uitvoeringsomgevingen in slechts enkele minuten, waardoor wekenlange expertconfiguratie die traditioneel vereist is, worden geëlimineerd. We hebben LLM-gebaseerde agents getraind op slechts 486 hoogwaardige, uitvoeringsgeverifieerde trajecten van CTF-Dojo, waarbij absolute winsten tot 11,6% werden behaald ten opzichte van sterke basislijnen over drie competitieve benchmarks: InterCode-CTF, NYU CTF Bench en Cybench. Ons best presterende 32B-model bereikt 31,9% Pass@1, waarmee een nieuwe open-weight state-of-the-art wordt gevestigd die kan concurreren met frontiermodellen zoals DeepSeek-V3-0324 en Gemini-2.5-Flash. Door CTF-achtige taken te framen als een benchmark voor uitvoeringsgebaseerd leren, toont CTF-Dojo aan dat uitvoeringsgebaseerde trainingssignalen niet alleen effectief zijn, maar ook cruciaal zijn voor het bevorderen van hoogpresterende ML-agents zonder afhankelijkheid van kostbare propriëtaire systemen.

English

Large language models (LLMs) have demonstrated exceptional capabilities when trained within executable runtime environments, notably excelling at software engineering tasks through verified feedback loops. Yet, scalable and generalizable execution-grounded environments remain scarce, limiting progress in training more capable ML agents. We introduce CTF-Dojo, the first large-scale executable runtime tailored for training LLMs with verifiable feedback, featuring 658 fully functional Capture-The-Flag (CTF)-style challenges containerized in Docker with guaranteed reproducibility. To enable rapid scaling without manual intervention, we develop CTF-Forge, an automated pipeline that transforms publicly available artifacts into ready-to-use execution environments in minutes, eliminating weeks of expert configuration traditionally required. We trained LLM-based agents on just 486 high-quality, execution-verified trajectories from CTF-Dojo, achieving up to 11.6% absolute gains over strong baselines across three competitive benchmarks: InterCode-CTF, NYU CTF Bench, and Cybench. Our best-performing 32B model reaches 31.9% Pass@1, establishing a new open-weight state-of-the-art that rivals frontier models like DeepSeek-V3-0324 and Gemini-2.5-Flash. By framing CTF-style tasks as a benchmark for executable-agent learning, CTF-Dojo demonstrates that execution-grounded training signals are not only effective but pivotal in advancing high-performance ML agents without dependence on costly proprietary systems.