AutoTrainess: Ensinando Modelos de Linguagem a Melhorar Modelos de Linguagem Autonomamente

Resumo

Treinar modelos de linguagem (MLs) continua sendo um processo altamente intensivo em recursos humanos, mesmo à medida que agentes de modelos de linguagem de ponta se tornam cada vez mais capazes em engenharia de software e outras tarefas de longo horizonte. Um desafio central é que o pós-treinamento autônomo não é apenas um problema de codificação: ele exige que o agente planeje iterações repetidamente, construa dados alinhados a benchmarks, execute tarefas de treinamento estáveis, avalie checkpoints e preserve o estado do experimento ao longo de muitas horas de interação. Apresentamos o AutoTrainess, um agente ML que expõe essas operações como um repositório de interfaces agente-computador para planejamento, preparação de dados, treinamento, avaliação e registro. Em vez de deixar o agente operar em um ambiente CLI bruto com um espaço de ação subespecificado, o AutoTrainess externaliza a experiência humana prévia como fluxos de trabalho, regras e restrições de execução explícitos que guiam o agente para um comportamento de treinamento eficaz e confiável. No PostTrainBench, o AutoTrainess supera consistentemente as linhas de base baseadas apenas em CLI, alcançando uma pontuação média de 26,94 com GPT-5.4 (Codex) contra 23,21 para a abordagem apenas CLI. Ele também generaliza entre modelos e plataformas, melhorando o DeepSeek-V4-Flash (OpenCode) de 12,13 para 19,58.

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.