Socratic-SWE: Selbst-evolvierende Code-Agenten mittels Trace-abgeleiteter Agentenfähigkeiten

Zusammenfassung

LLM-gestützte Softwareentwicklungs-Agenten haben sich zu einer zentralen Testumgebung für reale Sprachmodellfähigkeiten entwickelt, dennoch bleibt ihr Training durch die Verfügbarkeit hochwertiger SWE-Aufgaben eingeschränkt. Bestehende Methoden zur synthetischen Datenerzeugung erstellen Aufgaben typischerweise durch festgelegte Mutations- oder Fehlereinspritzungsverfahren, wodurch die resultierenden Verteilungen weitgehend unabhängig von den eigenen Schwächen des Agenten und seinem Trainingsfortschritt sind. Wir stellen Socratic-SWE vor, ein geschlossenes Selbstentwicklungs-Framework, das die historischen Lösungsspuren des Agenten als Quelle für Trainingssignale wiederverwendet. Anstatt Spuren lediglich als Belege für die Belohnungsberechnung zu behandeln, destilliert Socratic-SWE sie in strukturierte Agentenfähigkeiten, die wiederkehrende Fehler und effektive Reparaturmuster zusammenfassen. Diese Fähigkeiten leiten dann die Erzeugung gezielter Reparaturaufgaben in echten Repositorys an. Kandidatenaufgaben werden durch ausführungsbasierte Validierung geprüft und mit einer Solver-Gradienten-Ausrichtungs-Belohnung bewertet, sodass die beibehaltenen Aufgaben sowohl überprüfbar als auch zur Verbesserung des Solvers nützlich sind. Der aktualisierte Solver erzeugt neue Spuren, sodass sich das Aufgabencurriculum über aufeinanderfolgende Runden anpassen kann. Bei SWE-bench Verified, SWE-bench Lite, SWE-bench Pro und Terminal-Bench 2.0 verbessert Socratic-SWE konsequent die selbstentwickelnden Basislinien bei gleichem Rechenbudget und erreicht nach drei Iterationen 50,40 % auf SWE-bench Verified. Diese Ergebnisse legen nahe, dass Lösungsspuren als skalierbares Substrat für selbstentwickelnde SWE-Agenten dienen können.

English

LLM-driven software engineering agents have become a central testbed for real-world language-model capability, yet their training remains limited by the availability of high-quality SWE tasks. Existing synthetic data methods typically create tasks through fixed mutation or bug-injection procedures, making the resulting distributions largely independent of the agent's own weaknesses and training progress. We introduce Socratic-SWE, a closed-loop self-evolution framework that reuses the agent's historical solving traces as a source of training signal. Rather than treating traces only as evidence for reward computation, Socratic-SWE distills them into structured agent skills that summarize recurring failures and effective repair patterns. These skills then guide the generation of targeted repair tasks in real repositories. Candidate tasks are checked through execution-based validation and scored with a solver-gradient alignment reward, so that the retained tasks are both verifiable and useful for improving the Solver. The updated Solver produces new traces, enabling the task curriculum to adapt over successive rounds. Across SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, and Terminal-Bench 2.0, Socratic-SWE consistently improves over self-evolving baselines under the same compute budget, reaching 50.40% on SWE-bench Verified after three iterations. These results suggest that solving traces can serve as a scalable substrate for self-evolving SWE agents.