Mastermind: Strategiegestütztes Lernen für die Repository-weite Reproduktion von Sicherheitslücken

Zusammenfassung

Die Reproduktion von Schwachstellen auf Repository-Ebene ist eine anspruchsvolle Aufgabe im Software-Engineering (SE): Ein Agent muss eine Codebasis inspizieren, die Eingabegrammatik ableiten, die zu einem verwundbaren Pfad führt, einen Proof-of-Concept (PoC) konstruieren und verifizieren, dass der Absturz bei der gepatchten Version verschwindet. Aktuelle LLM-Agenten können diese Schritte oft ausführen, wenn der Ansatz korrekt ist, scheitern jedoch häufig an der Wahl der falschen Strategie. Dieses Papier argumentiert, dass die Strategie – und nicht die vollständige Aktionssequenz – die richtige Lerneinheit für solche SE-Agenten ist: Sie ist kompakt genug, um optimiert zu werden, konkret genug, um die Ausführung zu leiten, und stabil genug, um gespeichert und wiederverwendet zu werden. Wir stellen Mastermind vor, ein Dual-Loop-Framework, das übertragbares Strategielernen von aufgabenspezifischer Erfahrung trennt. Ein trainierbarer Planer lernt wiederverwendbare Strategien zur Schwachstellenreproduktion mittels überwachtem Feintuning (SFT) und meilensteinbasiertem GRPO, während eine Erfahrungsschleife aufgabenlokale Strategieaufzeichnungen verwaltet, die nachfolgende Versuche leiten. Der Planer wird unabhängig vom Ausführenden (Executor) trainiert, sodass das Strategielernen mehrere eingefrorene Executoren verbessern kann, ohne deren Aktionsgenerierungsfähigkeit zu verändern. Wir evaluieren Mastermind auf CyberGym mit 260 Trainingsaufgaben und 200 zurückgehaltenen Evaluationsaufgaben. Mit GPT-5.5 als eingefrorenem Executor erreicht Mastermind eine Bestehensrate von 84,5 % und übertrifft damit den Open-Book-PoC-Kontext (60,0 %), das Best-of-8-Sampling (63,0 %) und die iterative Verbesserung (77,0 %). Derselbe Planer verbessert zudem GPT-5.4 mini und GLM~5.1 von 45,0 % bzw. 58,5 % auf 60,0 % bzw. 71,0 %. Diese Ergebnisse zeigen, dass das Erlernen von Strategien auf hoher Ebene ein effektiver und übertragbarer Mechanismus zur Verbesserung von SE-Agenten auf Repository-Ebene ist.

English

Repository-level vulnerability reproduction is a demanding software engineering (SE) task: an agent must inspect a codebase, infer the input grammar that reaches a vulnerable path, construct a proof-of-conceptv(PoC), and verify that the crash disappears on the patched build. Recent LLM agents can often execute these steps when the approach is correct, yet they still fail by choosing the wrong strategy. This paper argues that strategy, rather than the full action trajectory, is the right learning unit for such SE agents: it is compact enough to optimize, concrete enough to guide execution, and stable enough to store and reuse across attempts. We present Mastermind, a dual-loop framework that separates transferable strategy learning from task-specific experience. A trainable planner learns reusable vulnerability-reproduction strategies through SFT and milestone-based GRPO, while an experience loop maintains task-local strategy records that guide subsequent attempts. The planner is trained independently of the executor, allowing strategy learning to improve multiple frozen executors without modifying their action-generation capability. We evaluate Mastermind on CyberGym using 260 training tasks and 200 held-out evaluation tasks. With GPT-5.5 as the frozen executor, Mastermind achieves an 84.5% pass rate, outperforming open-book PoC context (60.0%), Best-of-8 sampling (63.0%), and iterative improvement (77.0%). The same planner also improves GPT-5.4 mini and GLM~5.1 from 45.0% and 58.5% to 60.0% and 71.0%. These results demonstrate that learning high-level strategies is an effective and transferable mechanism for improving repository-scale SE agents.