SERA: ソフト検証型効率的リポジトリエージェント

要旨

オープンウェイトのコーディングエージェントは、クローズドソースシステムに対して根本的な利点を持つはずです。つまり、非公開のコードベースに特化させ、リポジトリ固有の情報を直接重みにエンコードできるからです。しかし、これまで訓練のコストと複雑さにより、この利点は理論上のものでした。私たちはこれが実用的になったことを示します。私たちはSoft-Verified Efficient Repository Agents（SERA）を提案します。これは、非公開コードベースに特化したエージェントを迅速かつ安価に作成することを可能にする、効率的なコーディングエージェント訓練手法です。教師ありファインチューニング（SFT）のみを使用して、SERAは完全なオープンソース（オープンデータ、手法、コード）モデルの中で最高の結果を達成し、Devstral-Small-2のような最先端のオープンウェイトモデルの性能に匹敵します。SERAモデルの作成コストは、同等の性能に達するための強化学習と比べて26倍、従来の合成データ手法と比べて57倍安価です。私たちの手法であるSoft Verified Generation（SVG）は、単一のコードリポジトリから数千の軌跡を生成します。このコスト効率の良さと相まって、非公開コードベースへの特化を可能にします。リポジトリ特化を超えて、私たちはSVGをより大規模なコードベースのコーパスに適用し、20万を超える合成軌跡を生成しました。このデータセットを使用して、コーディングエージェント訓練におけるスケーリング則、アブレーション研究、交絡因子に関する詳細な分析を提供します。全体として、私たちの研究がオープンなコーディングエージェントに関する研究を大幅に加速し、非公開コードベースに特化できるオープンソースモデルの利点を実証すると信じています。私たちはSERAをAi2のOpen Coding Agentsシリーズの最初のモデルとして、研究コミュニティを支援するための全コード、データ、Claude Code連携機能とともに公開します。

English

Open-weight coding agents should hold a fundamental advantage over closed-source systems: they can be specialized to private codebases, encoding repository-specific information directly in their weights. Yet the cost and complexity of training has kept this advantage theoretical. We show it is now practical. We present Soft-Verified Efficient Repository Agents (SERA), an efficient method for training coding agents that enables the rapid and cheap creation of agents specialized to private codebases. Using only supervised finetuning (SFT), SERA achieves state-of-the-art results among fully open-source (open data, method, code) models while matching the performance of frontier open-weight models like Devstral-Small-2. Creating SERA models is 26x cheaper than reinforcement learning and 57x cheaper than previous synthetic data methods to reach equivalent performance. Our method, Soft Verified Generation (SVG), generates thousands of trajectories from a single code repository. Combined with cost-efficiency, this enables specialization to private codebases. Beyond repository specialization, we apply SVG to a larger corpus of codebases, generating over 200,000 synthetic trajectories. We use this dataset to provide detailed analysis of scaling laws, ablations, and confounding factors for training coding agents. Overall, we believe our work will greatly accelerate research on open coding agents and showcase the advantage of open-source models that can specialize to private codebases. We release SERA as the first model in Ai2's Open Coding Agents series, along with all our code, data, and Claude Code integration to support the research community.

SERA: ソフト検証型効率的リポジトリエージェント

SERA: Soft-Verified Efficient Repository Agents

要旨

Support