SERA: Soft-verifizierte effiziente Repository-Agenten

papers.abstract

Open-Weight-Coding-Agents sollten einen grundlegenden Vorteil gegenüber Closed-Source-Systemen haben: Sie können auf private Codebasen spezialisiert werden, indem repositoriumspezifische Informationen direkt in ihren Gewichten kodiert werden. Bislang blieb dieser Vorteil jedoch aufgrund der Kosten und Komplexität des Trainings theoretisch. Wir zeigen, dass er nun praktisch realisierbar ist. Wir präsentieren Soft-Verified Efficient Repository Agents (SERA), eine effiziente Methode zum Training von Coding-Agents, die die schnelle und kostengünstige Erstellung auf private Codebasen spezialisierter Agenten ermöglicht. SERA erzielt allein durch Supervised Finetuning (SFT) state-of-the-art Ergebnisse unter vollständig quelloffenen Modellen (offene Daten, Methode, Code) und erreicht dabei die Leistung führender Open-Weight-Modelle wie Devstral-Small-2. Die Erstellung von SERA-Modellen ist 26-mal günstiger als Reinforcement Learning und 57-mal günstiger als bisherige Synthetic-Data-Methoden, um eine gleichwertige Leistung zu erreichen. Unsere Methode, Soft Verified Generation (SVG), generiert Tausende von Trajektorien aus einem einzelnen Code-Repository. Kombiniert mit der Kosteneffizienz ermöglicht dies die Spezialisierung auf private Codebasen. Über die Repository-Spezialisierung hinaus wenden wir SVG auf einen größeren Korpus von Codebasen an und generieren über 200.000 synthetische Trajektorien. Wir nutzen diesen Datensatz für eine detaillierte Analyse von Skalierungsgesetzen, Ablationen und Störfaktoren beim Training von Coding-Agents. Insgesamt sind wir überzeugt, dass unsere Arbeit die Forschung an quelloffenen Coding-Agents erheblich beschleunigen und den Vorteil von Open-Source-Modellen, die sich auf private Codebasen spezialisieren können, demonstrieren wird. Wir veröffentlichen SERA als erstes Modell in Ai2s Open Coding Agents-Serie und stellen der Forschungsgemeinschaft zusätzlich unseren gesamten Code, unsere Daten und eine Claude-Code-Integration zur Verfügung.

English

Open-weight coding agents should hold a fundamental advantage over closed-source systems: they can be specialized to private codebases, encoding repository-specific information directly in their weights. Yet the cost and complexity of training has kept this advantage theoretical. We show it is now practical. We present Soft-Verified Efficient Repository Agents (SERA), an efficient method for training coding agents that enables the rapid and cheap creation of agents specialized to private codebases. Using only supervised finetuning (SFT), SERA achieves state-of-the-art results among fully open-source (open data, method, code) models while matching the performance of frontier open-weight models like Devstral-Small-2. Creating SERA models is 26x cheaper than reinforcement learning and 57x cheaper than previous synthetic data methods to reach equivalent performance. Our method, Soft Verified Generation (SVG), generates thousands of trajectories from a single code repository. Combined with cost-efficiency, this enables specialization to private codebases. Beyond repository specialization, we apply SVG to a larger corpus of codebases, generating over 200,000 synthetic trajectories. We use this dataset to provide detailed analysis of scaling laws, ablations, and confounding factors for training coding agents. Overall, we believe our work will greatly accelerate research on open coding agents and showcase the advantage of open-source models that can specialize to private codebases. We release SERA as the first model in Ai2's Open Coding Agents series, along with all our code, data, and Claude Code integration to support the research community.

SERA: Soft-verifizierte effiziente Repository-Agenten

SERA: Soft-Verified Efficient Repository Agents

papers.abstract

Support