Entraîner des agents de modèles de langage à détecter des vulnérabilités avec CTF-Dojo

Training Language Model Agents to Find Vulnerabilities with CTF-Dojo

August 25, 2025

papers.authors: Terry Yue Zhuo, Dingmin Wang, Hantian Ding, Varun Kumar, Zijian Wang

cs.AI

papers.abstract

Les grands modèles de langage (LLM) ont démontré des capacités exceptionnelles lorsqu'ils sont entraînés dans des environnements d'exécution exécutables, excellant notamment dans les tâches d'ingénierie logicielle grâce à des boucles de rétroaction vérifiées. Cependant, les environnements d'exécution ancrés dans l'exécution, scalables et généralisables, restent rares, limitant les progrès dans l'entraînement d'agents d'apprentissage automatique plus performants. Nous présentons CTF-Dojo, le premier environnement d'exécution à grande échelle conçu pour entraîner des LLM avec une rétroaction vérifiable, comprenant 658 défis de type Capture-The-Flag (CTF) entièrement fonctionnels, conteneurisés dans Docker avec une reproductibilité garantie. Pour permettre une mise à l'échelle rapide sans intervention manuelle, nous avons développé CTF-Forge, un pipeline automatisé qui transforme des artefacts publics en environnements d'exécution prêts à l'emploi en quelques minutes, éliminant ainsi les semaines de configuration experte traditionnellement requises. Nous avons entraîné des agents basés sur LLM avec seulement 486 trajectoires de haute qualité et vérifiées par exécution provenant de CTF-Dojo, obtenant des gains absolus allant jusqu'à 11,6 % par rapport à des bases de référence solides sur trois benchmarks compétitifs : InterCode-CTF, NYU CTF Bench et Cybench. Notre modèle de 32B le plus performant atteint un taux de réussite de 31,9 % pour Pass@1, établissant un nouvel état de l'art en poids ouvert qui rivalise avec des modèles de pointe comme DeepSeek-V3-0324 et Gemini-2.5-Flash. En présentant les tâches de type CTF comme un benchmark pour l'apprentissage d'agents exécutables, CTF-Dojo démontre que les signaux d'entraînement ancrés dans l'exécution sont non seulement efficaces mais également essentiels pour faire progresser les agents d'apprentissage automatique performants sans dépendre de systèmes propriétaires coûteux.

English

Large language models (LLMs) have demonstrated exceptional capabilities when trained within executable runtime environments, notably excelling at software engineering tasks through verified feedback loops. Yet, scalable and generalizable execution-grounded environments remain scarce, limiting progress in training more capable ML agents. We introduce CTF-Dojo, the first large-scale executable runtime tailored for training LLMs with verifiable feedback, featuring 658 fully functional Capture-The-Flag (CTF)-style challenges containerized in Docker with guaranteed reproducibility. To enable rapid scaling without manual intervention, we develop CTF-Forge, an automated pipeline that transforms publicly available artifacts into ready-to-use execution environments in minutes, eliminating weeks of expert configuration traditionally required. We trained LLM-based agents on just 486 high-quality, execution-verified trajectories from CTF-Dojo, achieving up to 11.6% absolute gains over strong baselines across three competitive benchmarks: InterCode-CTF, NYU CTF Bench, and Cybench. Our best-performing 32B model reaches 31.9% Pass@1, establishing a new open-weight state-of-the-art that rivals frontier models like DeepSeek-V3-0324 and Gemini-2.5-Flash. By framing CTF-style tasks as a benchmark for executable-agent learning, CTF-Dojo demonstrates that execution-grounded training signals are not only effective but pivotal in advancing high-performance ML agents without dependence on costly proprietary systems.