AutoTrainess: 言語モデルに自律的に言語モデルを改善させる学習手法

要旨

言語モデル（LM）の訓練は、最先端の言語モデルエージェントがソフトウェア工学やその他の長期的タスクでますます高い能力を発揮するようになっても、依然として非常に人手のかかるプロセスである。中心的課題は、自律的な事後訓練が単なるコーディング問題ではないことにある。エージェントは、反復的に計画を立案し、ベンチマークに沿ったデータを構築し、安定した訓練ジョブを実行し、チェックポイントを評価し、数時間にわたるインタラクションで実験状態を保持する必要がある。本稿では、AutoTrainessを提案する。これは、計画、データ準備、訓練、評価、ログ記録のためのエージェント・コンピュータインターフェースのリポジトリとしてこれらの操作を公開するLMエージェントである。エージェントを不完全に指定された行動空間を持つ生のCLI環境で動作させるのではなく、AutoTrainessは事前の人間の経験を明示的なワークフロー、ルール、実行制約として外在化し、エージェントを効果的かつ信頼性の高い訓練行動へと導く。PostTrainBenchにおいて、AutoTrainessはCLIのみのベースラインを一貫して上回り、GPT-5.4（Codex）では平均スコア26.94に対しCLIのみでは23.21を達成した。また、モデルやハーネスをまたいで汎化し、DeepSeek-V4-Flash（OpenCode）を12.13から19.58に改善している。

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.