AutoTrainess: Sprachmodelle lehren, Sprachmodelle autonom zu verbessern

Zusammenfassung

Das Trainieren von Sprachmodellen (SM) bleibt ein äußerst menschenintensiver Prozess, selbst wenn fortschrittliche Sprachmodell-Agenten zunehmend leistungsfähiger in der Softwareentwicklung und anderen langfristigen Aufgaben werden. Eine zentrale Herausforderung besteht darin, dass autonomes Nachtraining nicht nur ein Programmierproblem ist: Es erfordert vom Agenten, wiederholt Iterationen zu planen, Benchmark-konforme Daten zu erstellen, stabile Trainingsjobs auszuführen, Zwischenstände zu evaluieren und den Experimentzustand über viele Stunden Interaktion hinweg zu bewahren. Wir stellen AutoTrainess vor, einen SM-Agenten, der diese Operationen als ein Repository von Agenten-Computer-Schnittstellen für Planung, Datenvorbereitung, Training, Evaluierung und Protokollierung bereitstellt. Anstatt den Agenten in einer rohen CLI-Umgebung mit einem unterbestimmten Aktionsraum agieren zu lassen, externalisiert AutoTrainess bisherige menschliche Erfahrung als explizite Arbeitsabläufe, Regeln und Ausführungsbeschränkungen, die den Agenten zu effektivem und zuverlässigem Trainingsverhalten führen. Auf PostTrainBench übertrifft AutoTrainess durchgängig reine CLI-Baselines und erreicht einen Durchschnittswert von 26,94 mit GPT-5.4 (Codex) gegenüber 23,21 für reine CLI. Es generalisiert zudem über Modelle und Rahmenwerke hinweg und verbessert DeepSeek-V4-Flash (OpenCode) von 12,13 auf 19,58.

English

Training language models (LMs) remains a highly human-intensive process, even as frontier language model agents become increasingly capable at software engineering and other long-horizon tasks. A central challenge is that autonomous post-training is not just a coding problem: it requires the agent to repeatedly plan iterations, construct benchmark-aligned data, run stable training jobs, evaluate checkpoints, and preserve experiment state across many hours of interaction. We present AutoTrainess, a LM agent that exposes these operations as a repository of agent-computer interfaces for planning, data preparation, training, evaluation, and logging. Rather than leaving the agent to operate in a raw CLI environment with an underspecified action space, AutoTrainess externalizes prior human experience as explicit workflows, rules, and execution constraints that guide the agent toward effective and reliable training behavior. On PostTrainBench, AutoTrainess consistently outperforms CLI-only baselines, achieving 26.94 average score with GPT-5.4 (Codex) versus 23.21 for CLI-only. It also generalizes across models and harnesses, improving DeepSeek-V4-Flash (OpenCode) from 12.13 to 19.58.