SERA: 소프트 검증 효율적 저장소 에이전트

초록

오픈 웨이트 코딩 에이전트는 폐쇄형 시스템에 비해 근본적인 이점을 가져야 합니다: 바로 프라이빗 코드베이스에 특화될 수 있으며, 저장소별 정보를 가중치에 직접 인코딩할 수 있다는 점입니다. 그러나 훈련의 비용과 복잡성으로 인해 이 이점은 이론적으로만 남아 있었습니다. 우리는 이제 이것이 실용적임을 보여줍니다. 우리는 비공개 코드베이스에 특화된 에이전트를 빠르고 저렴하게 생성할 수 있는 효율적인 코딩 에이전트 훈련 방법인 SERA(Soft-Verified Efficient Repository Agents)를 제시합니다. 지도 미세 조정(SFT)만을 사용하는 SERA는 완전 오픈소스(오픈 데이터, 방법론, 코드) 모델 중에서 최첨단 성능을 달성하면서도 Devstral-Small-2와 같은 최신 오픈 웨이트 모델의 성능에 맞섭니다. SERA 모델 생성 비용은 동등한 성능에 도달하기 위해 강화 학습보다 26배, 기존 합성 데이터 방법보다 57배 저렴합니다. 우리의 방법론인 SVG(Soft Verified Generation)는 단일 코드 저장소에서 수천 개의 트라젝토리를 생성합니다. 이는 비용 효율성과 결합되어 프라이빗 코드베이스로의 특화를 가능하게 합니다. 저장소 특화를 넘어, 우리는 SVG를 더 큰 규모의 코드베이스 집합에 적용하여 20만 개 이상의 합성 트라젝토리를 생성했습니다. 우리는 이 데이터셋을 사용하여 코딩 에이전트 훈련을 위한 스케일링 법칙, 애블레이션 및 교란 요인에 대한 상세한 분석을 제공합니다. 전반적으로, 우리의 연구가 오픈 코딩 에이전트 연구를 크게 가속화하고 프라이빗 코드베이스에 특화될 수 있는 오픈소스 모델의 장점을 보여줄 것이라고 믿습니다. 우리는 연구 커뮤니티를 지원하기 위해 SERA를 Ai2의 Open Coding Agents 시리즈의 첫 번째 모델로, 모든 코드, 데이터 및 Claude Code 통합과 함께 공개합니다.

English

Open-weight coding agents should hold a fundamental advantage over closed-source systems: they can be specialized to private codebases, encoding repository-specific information directly in their weights. Yet the cost and complexity of training has kept this advantage theoretical. We show it is now practical. We present Soft-Verified Efficient Repository Agents (SERA), an efficient method for training coding agents that enables the rapid and cheap creation of agents specialized to private codebases. Using only supervised finetuning (SFT), SERA achieves state-of-the-art results among fully open-source (open data, method, code) models while matching the performance of frontier open-weight models like Devstral-Small-2. Creating SERA models is 26x cheaper than reinforcement learning and 57x cheaper than previous synthetic data methods to reach equivalent performance. Our method, Soft Verified Generation (SVG), generates thousands of trajectories from a single code repository. Combined with cost-efficiency, this enables specialization to private codebases. Beyond repository specialization, we apply SVG to a larger corpus of codebases, generating over 200,000 synthetic trajectories. We use this dataset to provide detailed analysis of scaling laws, ablations, and confounding factors for training coding agents. Overall, we believe our work will greatly accelerate research on open coding agents and showcase the advantage of open-source models that can specialize to private codebases. We release SERA as the first model in Ai2's Open Coding Agents series, along with all our code, data, and Claude Code integration to support the research community.

SERA: 소프트 검증 효율적 저장소 에이전트

SERA: Soft-Verified Efficient Repository Agents

초록

Support