AutoTrainess: 언어 모델이 언어 모델을 자율적으로 향상시키도록 가르치기

초록

언어 모델(LM)을 훈련하는 과정은, 최첨단 언어 모델 에이전트가 소프트웨어 공학 및 기타 장기적 과제에서 점점 더 뛰어난 성능을 보임에도 불구하고, 여전히 높은 수준의 인간 개입이 필요한 과정이다. 핵심 과제는 자율적 사후 훈련이 단순한 코딩 문제가 아니라는 점이다. 즉, 에이전트가 반복적으로 작업 계획을 수립하고, 벤치마크에 부합하는 데이터를 구성하며, 안정적인 훈련 작업을 실행하고, 체크포인트를 평가하며, 수 시간에 걸친 상호작용 동안 실험 상태를 유지해야 한다. 본 논문에서는 이러한 작업들을 계획, 데이터 준비, 훈련, 평가, 로깅을 위한 에이전트-컴퓨터 인터페이스 저장소로 제공하는 LM 에이전트인 AutoTrainess를 제안한다. AutoTrainess는 에이전트가 불완전하게 정의된 행동 공간을 가진 원시 CLI 환경에서 작동하게 두는 대신, 사전 인간 경험을 명시적 워크플로, 규칙, 실행 제약 조건으로 외부화하여 에이전트가 효과적이고 신뢰할 수 있는 훈련 행동을 수행하도록 안내한다. PostTrainBench에서 AutoTrainess는 CLI 전용 기준선을 지속적으로 능가하여, GPT-5.4(Codex)에서 평균 26.94점을 기록한 반면, CLI 전용 기준선은 23.21점을 기록했다. 또한, 모델과 활용 도구 전반에 걸쳐 일반화되어 DeepSeek-V4-Flash(OpenCode)의 성능을 12.13점에서 19.58점으로 향상시켰다.

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.