Van Leerling tot Trainer: LLM-ontworpen Trainingsomgeving voor RL met Multi-Agent Redeneren

Samenvatting

Reinforcement learning-pijplijnen voor het trainen van grote taalmodellen (LLM's) steunen vaak op handmatig herontworpen omgevingen tussen stadia, waardoor beoefenaars heuristisch moeten afleiden welke configuratie het huidige beleid het beste zal verbeteren. Om dit proces te automatiseren, stellen wij het LLM-as-Environment-Engineer-framework voor, waarin het huidige beleidsmodel faaltrajecten samen met contextuele informatie analyseert en aanpassingen voorstelt aan de omgevingsconfiguratie van het volgende trainingsstadium. We introduceren ook MAPF-FrozenLake, een beheersbaar testbed waarvan de generator multidimensionale omgevingsconfiguraties blootlegt, waardoor het geschikt is voor het bestuderen en benchmarken van omgevingsherontwerp. Op dit testbed conditioneren we de environment engineer op gestructureerde samenvattingen van beleidsgedrag, faalgevallen en omgevingsstatistieken, op basis waarvan het de configuratie voor het volgende trainingsstadium produceert. Met Qwen3-4B als backbone behaalt ons framework de sterkste geaggregeerde prestaties op onze benchmarks, en overtreft het grotere propriëtaire LLM's (bv. GPT, Gemini) en baselines met training in vaste omgevingen. We analyseren verder welke vormen van context het meest effectief zijn, en vinden dat succesvolle omgevingsupdates afhankelijk zijn van faalbewijs en configuraties behouden die al werken. Interessant is dat de huidige RL-checkpoint een betere environment engineer blijkt dan het oorspronkelijke basismodel, wat erop wijst dat het leren van beleid het vermogen van het model om zijn resterende zwaktes te diagnosticeren, verbetert.

English

Reinforcement learning pipelines for Large Language Model (LLM) training often rely on manually redesigned environments between stages, requiring practitioners to heuristically infer which configuration will best improve the current policy. To automate this process, we propose the LLM-as-Environment-Engineer framework in which the current policy model analyzes failure trajectories together with contextual information and proposes modifications to the next-stage training environment configuration. We also introduce MAPF-FrozenLake, a controllable testbed whose generator exposes multi-dimensional environment configurations, making it suitable for studying and benchmarking environment redesign. On this testbed, we condition the environment engineer on structured summaries of policy behavior, failure cases, and environment statistics, from which it produces the configuration for the next training stage. With Qwen3-4B as the backbone, our framework achieves the strongest aggregate performance on our benchmarks, outperforming larger proprietary LLMs (e.g., GPT, Gemini) and fixed-environment training baselines. We further analyze which forms of context are most effective, finding that successful environment updates rely on failure evidence and preserve configurations that already work. Interestingly, the current RL checkpoint serves as a better environment engineer than the original base model, suggesting that policy learning improves the model's ability to diagnose its remaining weaknesses.