MindForge: ソースフリープログラム合成による小規模言語モデルへの全ライフサイクルソフトウェア工学の教育

要旨

以下が日本語訳です。コーディングエージェントは、既存のコードベースを修正するソフトウェアエンジニアリングタスク（バグ修正や機能実装など）において大きな進歩を遂げてきた。しかし、スクラッチから完全なプログラムを構築することは依然として主要な課題であり、ProgramBenchで評価された最先端モデルでも、タスクの1%未満しか完全に解決できていない。その障害の一つは、ソフトウェアエンジニアリングのライフサイクル全体をカバーする、このスクラッチからの開発設定に対応したスケーラブルなトレーニング環境が不足していることである。既存の環境構築フレームワークは、ソフトウェア開発の単一フェーズのみに焦点を当てている。このギャップに対処するため、我々はMindForgeを導入する。これは、オープンソースのコマンドラインプログラムを、コンパイル済みのリファレンス実行ファイルとそのドキュメントのみを公開するソースフリー環境に変換する自動パイプラインである。MindForgeを用いて、ProgramBenchとは異なるリポジトリからトレーニング環境を構築し、教師エージェントとしてGLM-5.2を用いたプログラム合成軌跡からなる高品質なデータレシピをキュレートする。Qwen3.6-27Bをこれらの軌跡でファインチューニングした結果、ProgramBenchの平均テストパス率が37.98%から49.51%に向上し、大幅に大規模な最先端モデルに匹敵する性能を達成した。さらに、ファインチューニングされたモデルは、長期的なリポジトリ生成と翻訳、バグ修正、機能実装、クロス言語問題解決にわたる、未見の7つのソフトウェアエンジニアリングベンチマークすべてにおいて、ベースモデルを一貫して上回り、RepoZero-C2Rustで31.00ポイント、DeepSWEで14.16、NL2Repo-Bench（テスト有り/無し）で10.70/4.56、SWE-bench Verifiedで5.04、SWE-bench Proで5.93、SWE-bench Multilingualで5.22、FeatBenchで4.94の絶対的な向上を示した。

English

Coding agents have made substantial progress on software engineering tasks that modify existing codebases, including bug fixing and feature implementation. However, constructing a complete program from scratch remains a major challenge: even the frontier models evaluated on ProgramBench fully resolve fewer than 1% of tasks. One obstacle is the lack of scalable training environments for this from-scratch setting, spanning the whole software engineering life cycle, as existing environment-construction frameworks focus only on a single phase in software development. To address this gap, we introduce MindForge, an automated pipeline that converts open-source command-line programs into source-free environments that expose only a compiled reference executable and its documentation. Using MindForge, we construct training environments from repositories disjoint from those in ProgramBench, and curate a high-quality data recipe consisting of program synthesis trajectories using GLM-5.2 as the teacher agent. Fine-tuning Qwen3.6-27B on these trajectories increases its ProgramBench average test pass rate from 37.98% to 49.51%, achieving performance comparable to substantially larger frontier models. Moreover, the fine-tuned model consistently improves over the base model across all seven unseen software engineering benchmarks, spanning long-horizon repository generation and translation, bug fixing, feature implementation, and cross-language issue resolution, with absolute gains of 31.00 points on RepoZero-C2Rust, 14.16 on DeepSWE, 10.70/4.56 on NL2Repo-Bench (with/without tests), 5.04 on SWE-bench Verified, 5.93 on SWE-bench Pro, 5.22 on SWE-bench Multilingual, and 4.94 on FeatBench.