AutoTrainess : Apprendre aux modèles de langage à améliorer les modèles de langage de manière autonome

Résumé

L’entraînement des modèles de langage (LM) reste un processus très exigeant en main-d’œuvre humaine, même si les agents modèles de langage de pointe deviennent de plus en plus performants dans le génie logiciel et d’autres tâches à long horizon. Un défi central est que le post-entraînement autonome n’est pas simplement un problème de programmation : il nécessite que l’agent planifie itérativement des cycles, construise des données alignées sur les benchmarks, exécute des tâches d’entraînement stables, évalue les points de contrôle et préserve l’état de l’expérimentation sur de nombreuses heures d’interaction. Nous présentons AutoTrainess, un agent LM qui expose ces opérations sous forme d’un répertoire d’interfaces agent-ordinateur pour la planification, la préparation des données, l’entraînement, l’évaluation et la journalisation. Plutôt que de laisser l’agent opérer dans un environnement CLI brut avec un espace d’actions sous-spécifié, AutoTrainess externalise l’expérience humaine antérieure sous forme de flux de travail, de règles et de contraintes d’exécution explicites qui guident l’agent vers un comportement d’entraînement efficace et fiable. Sur PostTrainBench, AutoTrainess surpasse systématiquement les solutions de base CLI uniquement, obtenant un score moyen de 26,94 avec GPT-5.4 (Codex) contre 23,21 pour CLI uniquement. Il se généralise également à différents modèles et infrastructures, améliorant DeepSeek-V4-Flash (OpenCode) de 12,13 à 19,58.

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.