AutoTrainess: Enseñando a Modelos de Lenguaje a Mejorar Modelos de Lenguaje de Manera Autónoma

Resumen

Entrenar modelos de lenguaje (LM) sigue siendo un proceso altamente intensivo en mano de obra, incluso cuando los agentes de modelos de lenguaje de frontera se vuelven cada vez más capaces en ingeniería de software y otras tareas de largo horizonte. Un desafío central es que el post-entrenamiento autónomo no es solo un problema de codificación: requiere que el agente planifique iteraciones repetidamente, construya datos alineados con el punto de referencia, ejecute trabajos de entrenamiento estables, evalúe puntos de control y preserve el estado del experimento a lo largo de muchas horas de interacción. Presentamos AutoTrainess, un agente LM que expone estas operaciones como un repositorio de interfaces agente-computadora para planificación, preparación de datos, entrenamiento, evaluación y registro. En lugar de dejar que el agente opere en un entorno CLI en bruto con un espacio de acciones subespecificado, AutoTrainess externaliza la experiencia humana previa como flujos de trabajo, reglas y restricciones de ejecución explícitas que guían al agente hacia un comportamiento de entrenamiento eficaz y fiable. En PostTrainBench, AutoTrainess supera consistentemente a las líneas base solo CLI, logrando una puntuación media de 26,94 con GPT-5.4 (Codex) frente a 23,21 para solo CLI. También se generaliza a través de modelos y entornos, mejorando DeepSeek-V4-Flash (OpenCode) de 12,13 a 19,58.

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.