AutoTrainess: обучение языковых моделей автономному улучшению языковых моделей

Аннотация

Обучение языковых моделей (ЯМ) остается крайне трудоемким процессом, даже по мере того, как передовые агенты на основе языковых моделей становятся все более способными в области разработки программного обеспечения и других долгосрочных задачах. Ключевая проблема заключается в том, что автономное пост-обучение — это не просто задача кодирования: оно требует от агента многократного планирования итераций, создания данных, соответствующих бенчмаркам, запуска стабильных учебных заданий, оценки контрольных точек и сохранения состояния эксперимента в течение многих часов взаимодействия. Мы представляем AutoTrainess — агента на основе ЯМ, который предоставляет эти операции в виде репозитория интерфейсов «агент-компьютер» для планирования, подготовки данных, обучения, оценки и ведения журналов. Вместо того чтобы оставлять агенту возможность действовать в необработанной среде командной строки с недостаточно определенным пространством действий, AutoTrainess экстернализует предшествующий человеческий опыт в виде явных рабочих процессов, правил и ограничений выполнения, которые направляют агента к эффективному и надежному поведению при обучении. На PostTrainBench AutoTrainess стабильно превосходит базовые решения, использующие только CLI, достигая среднего балла 26,94 при использовании GPT-5.4 (Codex) против 23,21 для CLI-only. Он также обобщается на разные модели и инструментальные средства, улучшая результат DeepSeek-V4-Flash (OpenCode) с 12,13 до 19,58.

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.