Vom Trainee zum Trainer: LLM-entworfene Trainingsumgebung für RL mit Multi-Agenten-Reasoning

Zusammenfassung

Reinforcement-Learning-Pipelines für das Training von Large Language Models (LLMs) basieren oft auf manuell umgestalteten Umgebungen zwischen den Phasen, was Praktiker dazu zwingt, heuristisch abzuleiten, welche Konfiguration die aktuelle Policy am besten verbessert. Um diesen Prozess zu automatisieren, schlagen wir das LLM-as-Environment-Engineer-Framework vor, bei dem das aktuelle Policy-Modell Fehlerverläufe zusammen mit kontextuellen Informationen analysiert und Änderungen an der Konfiguration der Trainingsumgebung der nächsten Phase vorschlägt. Wir stellen außerdem MAPF-FrozenLake vor, eine kontrollierbare Testumgebung, deren Generator mehrdimensionale Umgebungskonfigurationen bereitstellt, was sie für die Untersuchung und das Benchmarking von Umgebungsneugestaltungen geeignet macht. In dieser Testumgebung konditionieren wir den Environment Engineer auf strukturierte Zusammenfassungen des Policy-Verhaltens, von Fehlerfällen und Umgebungsstatistiken, aus denen er die Konfiguration für die nächste Trainingsphase erzeugt. Mit Qwen3-4B als Rückgrat erzielt unser Framework die stärkste Gesamtleistung in unseren Benchmarks, wobei es größere proprietäre LLMs (z. B. GPT, Gemini) und Trainingsbaselines mit festen Umgebungen übertrifft. Wir analysieren weiter, welche Formen von Kontext am effektivsten sind, und stellen fest, dass erfolgreiche Umgebungsaktualisierungen auf Fehlernachweisen beruhen und Konfigurationen beibehalten, die bereits funktionieren. Interessanterweise dient der aktuelle RL-Checkpoint als besserer Environment Engineer als das ursprüngliche Basismodell, was darauf hindeutet, dass das Policy-Lernen die Fähigkeit des Modells verbessert, seine verbleibenden Schwächen zu diagnostizieren.

English

Reinforcement learning pipelines for Large Language Model (LLM) training often rely on manually redesigned environments between stages, requiring practitioners to heuristically infer which configuration will best improve the current policy. To automate this process, we propose the LLM-as-Environment-Engineer framework in which the current policy model analyzes failure trajectories together with contextual information and proposes modifications to the next-stage training environment configuration. We also introduce MAPF-FrozenLake, a controllable testbed whose generator exposes multi-dimensional environment configurations, making it suitable for studying and benchmarking environment redesign. On this testbed, we condition the environment engineer on structured summaries of policy behavior, failure cases, and environment statistics, from which it produces the configuration for the next training stage. With Qwen3-4B as the backbone, our framework achieves the strongest aggregate performance on our benchmarks, outperforming larger proprietary LLMs (e.g., GPT, Gemini) and fixed-environment training baselines. We further analyze which forms of context are most effective, finding that successful environment updates rely on failure evidence and preserve configurations that already work. Interestingly, the current RL checkpoint serves as a better environment engineer than the original base model, suggesting that policy learning improves the model's ability to diagnose its remaining weaknesses.