Addestramento di Agenti Modello Linguistico per Individuare Vulnerabilità con CTF-Dojo

Training Language Model Agents to Find Vulnerabilities with CTF-Dojo

August 25, 2025

Autori: Terry Yue Zhuo, Dingmin Wang, Hantian Ding, Varun Kumar, Zijian Wang

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato capacità eccezionali quando addestrati all'interno di ambienti di runtime eseguibili, eccellendo in particolare nei compiti di ingegneria del software attraverso cicli di feedback verificati. Tuttavia, ambienti eseguibili scalabili e generalizzabili rimangono scarsi, limitando i progressi nell'addestramento di agenti di machine learning più capaci. Introduciamo CTF-Dojo, il primo runtime eseguibile su larga scala progettato specificamente per l'addestramento di LLM con feedback verificabile, caratterizzato da 658 sfide Capture-The-Flag (CTF) completamente funzionali containerizzate in Docker con riproducibilità garantita. Per consentire una rapida scalabilità senza intervento manuale, abbiamo sviluppato CTF-Forge, una pipeline automatizzata che trasforma artefatti pubblicamente disponibili in ambienti eseguibili pronti all'uso in pochi minuti, eliminando le settimane di configurazione esperta tradizionalmente richieste. Abbiamo addestrato agenti basati su LLM utilizzando solo 486 traiettorie di alta qualità verificate esecutivamente da CTF-Dojo, ottenendo miglioramenti assoluti fino all'11,6% rispetto a baseline solide su tre benchmark competitivi: InterCode-CTF, NYU CTF Bench e Cybench. Il nostro modello da 32B con le migliori prestazioni raggiunge un Pass@1 del 31,9%, stabilendo un nuovo stato dell'arte open-weight che rivaleggia con modelli all'avanguardia come DeepSeek-V3-0324 e Gemini-2.5-Flash. Inquadrando le attività in stile CTF come benchmark per l'apprendimento di agenti eseguibili, CTF-Dojo dimostra che i segnali di addestramento basati sull'esecuzione non sono solo efficaci ma cruciali per il progresso di agenti ML ad alte prestazioni senza dipendere da costosi sistemi proprietari.

English

Large language models (LLMs) have demonstrated exceptional capabilities when trained within executable runtime environments, notably excelling at software engineering tasks through verified feedback loops. Yet, scalable and generalizable execution-grounded environments remain scarce, limiting progress in training more capable ML agents. We introduce CTF-Dojo, the first large-scale executable runtime tailored for training LLMs with verifiable feedback, featuring 658 fully functional Capture-The-Flag (CTF)-style challenges containerized in Docker with guaranteed reproducibility. To enable rapid scaling without manual intervention, we develop CTF-Forge, an automated pipeline that transforms publicly available artifacts into ready-to-use execution environments in minutes, eliminating weeks of expert configuration traditionally required. We trained LLM-based agents on just 486 high-quality, execution-verified trajectories from CTF-Dojo, achieving up to 11.6% absolute gains over strong baselines across three competitive benchmarks: InterCode-CTF, NYU CTF Bench, and Cybench. Our best-performing 32B model reaches 31.9% Pass@1, establishing a new open-weight state-of-the-art that rivals frontier models like DeepSeek-V3-0324 and Gemini-2.5-Flash. By framing CTF-style tasks as a benchmark for executable-agent learning, CTF-Dojo demonstrates that execution-grounded training signals are not only effective but pivotal in advancing high-performance ML agents without dependence on costly proprietary systems.