Обучение агентов языковых моделей для поиска уязвимостей с использованием CTF-Dojo

Training Language Model Agents to Find Vulnerabilities with CTF-Dojo

August 25, 2025

Авторы: Terry Yue Zhuo, Dingmin Wang, Hantian Ding, Varun Kumar, Zijian Wang

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют исключительные способности при обучении в исполняемых средах выполнения, особенно преуспевая в задачах программной инженерии благодаря проверенным циклам обратной связи. Однако масштабируемые и обобщаемые среды, основанные на исполнении, остаются редкими, что ограничивает прогресс в обучении более мощных ML-агентов. Мы представляем CTF-Dojo, первую крупномасштабную исполняемую среду, специально разработанную для обучения LLM с проверяемой обратной связью, включающую 658 полностью функциональных задач в стиле Capture-The-Flag (CTF), контейнеризованных в Docker с гарантированной воспроизводимостью. Для обеспечения быстрого масштабирования без ручного вмешательства мы разработали CTF-Forge — автоматизированный конвейер, который преобразует общедоступные артефакты в готовые к использованию среды выполнения за считанные минуты, устраняя необходимость в неделях экспертной настройки, традиционно требуемой для таких задач. Мы обучили LLM-агентов на основе всего 486 высококачественных, проверенных на исполнении траекторий из CTF-Dojo, достигнув абсолютного прироста до 11,6% по сравнению с сильными базовыми моделями на трех конкурентных бенчмарках: InterCode-CTF, NYU CTF Bench и Cybench. Наша лучшая 32B-модель достигает показателя 31,9% Pass@1, устанавливая новый открытый рекорд, который конкурирует с передовыми моделями, такими как DeepSeek-V3-0324 и Gemini-2.5-Flash. Представляя задачи в стиле CTF как бенчмарк для обучения исполняемых агентов, CTF-Dojo демонстрирует, что сигналы обучения, основанные на исполнении, не только эффективны, но и играют ключевую роль в развитии высокопроизводительных ML-агентов без зависимости от дорогостоящих проприетарных систем.

English

Large language models (LLMs) have demonstrated exceptional capabilities when trained within executable runtime environments, notably excelling at software engineering tasks through verified feedback loops. Yet, scalable and generalizable execution-grounded environments remain scarce, limiting progress in training more capable ML agents. We introduce CTF-Dojo, the first large-scale executable runtime tailored for training LLMs with verifiable feedback, featuring 658 fully functional Capture-The-Flag (CTF)-style challenges containerized in Docker with guaranteed reproducibility. To enable rapid scaling without manual intervention, we develop CTF-Forge, an automated pipeline that transforms publicly available artifacts into ready-to-use execution environments in minutes, eliminating weeks of expert configuration traditionally required. We trained LLM-based agents on just 486 high-quality, execution-verified trajectories from CTF-Dojo, achieving up to 11.6% absolute gains over strong baselines across three competitive benchmarks: InterCode-CTF, NYU CTF Bench, and Cybench. Our best-performing 32B model reaches 31.9% Pass@1, establishing a new open-weight state-of-the-art that rivals frontier models like DeepSeek-V3-0324 and Gemini-2.5-Flash. By framing CTF-style tasks as a benchmark for executable-agent learning, CTF-Dojo demonstrates that execution-grounded training signals are not only effective but pivotal in advancing high-performance ML agents without dependence on costly proprietary systems.