MindForge: 소스 없는 프로그램 합성을 통한 소형 언어 모델의 전 생애 주기 소프트웨어 공학 교육

초록

코딩 에이전트는 버그 수정 및 기능 구현을 포함하여 기존 코드베이스를 수정하는 소프트웨어 엔지니어링 작업에서 상당한 진전을 이루었습니다. 그러나 처음부터 완전한 프로그램을 구축하는 것은 여전히 주요 과제로 남아 있습니다. ProgramBench에서 평가된 최첨단 모델조차도 1% 미만의 작업만 완전히 해결합니다. 한 가지 장애물은 소프트웨어 개발의 단일 단계에만 초점을 맞춘 기존 환경 구축 프레임워크와 달리, 전체 소프트웨어 엔지니어링 수명 주기를 포괄하는 처음부터 구축 환경을 위한 확장 가능한 훈련 환경이 부족하다는 점입니다. 이러한 격차를 해소하기 위해, 우리는 오픈소스 명령줄 프로그램을 컴파일된 참조 실행 파일과 해당 문서만 제공하는 소스 코드 없는 환경으로 변환하는 자동화 파이프라인인 MindForge를 소개합니다. MindForge를 사용하여 ProgramBench의 저장소와 중복되지 않는 저장소에서 훈련 환경을 구축하고, GLM-5.2를 교사 에이전트로 사용한 프로그램 합성 궤적으로 구성된 고품질 데이터 레시피를 큐레이션합니다. 이러한 궤적으로 Qwen3.6-27B를 미세 조정하면 ProgramBench 평균 테스트 통과율이 37.98%에서 49.51%로 증가하여, 훨씬 더 큰 최첨단 모델과 견줄 만한 성능을 달성합니다. 또한 미세 조정된 모델은 장기 저장소 생성 및 번역, 버그 수정, 기능 구현, 교차 언어 문제 해결을 포괄하는 7개의 모든 미처리 소프트웨어 엔지니어링 벤치마크에서 기본 모델보다 일관되게 개선되었으며, RepoZero-C2Rust에서 31.00점, DeepSWE에서 14.16점, NL2Repo-Bench(테스트 포함/미포함)에서 10.70/4.56점, SWE-bench Verified에서 5.04점, SWE-bench Pro에서 5.93점, SWE-bench Multilingual에서 5.22점, FeatBench에서 4.94점의 절대적 향상을 보였습니다.

English

Coding agents have made substantial progress on software engineering tasks that modify existing codebases, including bug fixing and feature implementation. However, constructing a complete program from scratch remains a major challenge: even the frontier models evaluated on ProgramBench fully resolve fewer than 1% of tasks. One obstacle is the lack of scalable training environments for this from-scratch setting, spanning the whole software engineering life cycle, as existing environment-construction frameworks focus only on a single phase in software development. To address this gap, we introduce MindForge, an automated pipeline that converts open-source command-line programs into source-free environments that expose only a compiled reference executable and its documentation. Using MindForge, we construct training environments from repositories disjoint from those in ProgramBench, and curate a high-quality data recipe consisting of program synthesis trajectories using GLM-5.2 as the teacher agent. Fine-tuning Qwen3.6-27B on these trajectories increases its ProgramBench average test pass rate from 37.98% to 49.51%, achieving performance comparable to substantially larger frontier models. Moreover, the fine-tuned model consistently improves over the base model across all seven unseen software engineering benchmarks, spanning long-horizon repository generation and translation, bug fixing, feature implementation, and cross-language issue resolution, with absolute gains of 31.00 points on RepoZero-C2Rust, 14.16 on DeepSWE, 10.70/4.56 on NL2Repo-Bench (with/without tests), 5.04 on SWE-bench Verified, 5.93 on SWE-bench Pro, 5.22 on SWE-bench Multilingual, and 4.94 on FeatBench.