De aprendiz a entrenador: entorno de entrenamiento diseñado por LLM para RL con razonamiento multiagente

Resumen

Los pipelines de aprendizaje por refuerzo para el entrenamiento de modelos de lenguaje grande (LLM) a menudo dependen de entornos rediseñados manualmente entre etapas, lo que obliga a los profesionales a inferir heurísticamente qué configuración mejorará la política actual. Para automatizar este proceso, proponemos el marco LLM-as-Environment-Engineer, en el cual el modelo de política actual analiza trayectorias de fallo junto con información contextual y propone modificaciones a la configuración del entorno de entrenamiento de la siguiente etapa. También introducimos MAPF-FrozenLake, un banco de pruebas controlable cuyo generador expone configuraciones del entorno multidimensionales, lo que lo hace adecuado para estudiar y evaluar el rediseño de entornos. En este banco de pruebas, condicionamos al ingeniero de entorno a resúmenes estructurados del comportamiento de la política, casos de fallo y estadísticas del entorno, a partir de los cuales produce la configuración para la siguiente etapa de entrenamiento. Con Qwen3-4B como modelo base, nuestro marco logra el rendimiento agregado más sólido en nuestros benchmarks, superando a modelos LLM propietarios más grandes (p. ej., GPT, Gemini) y a las líneas base de entrenamiento con entorno fijo. Además, analizamos qué formas de contexto son más efectivas, descubriendo que las actualizaciones exitosas del entorno dependen de evidencia de fallos y preservan configuraciones que ya funcionan. Curiosamente, el punto de control actual de RL funciona mejor como ingeniero de entorno que el modelo base original, lo que sugiere que el aprendizaje de la política mejora la capacidad del modelo para diagnosticar sus debilidades restantes.

English

Reinforcement learning pipelines for Large Language Model (LLM) training often rely on manually redesigned environments between stages, requiring practitioners to heuristically infer which configuration will best improve the current policy. To automate this process, we propose the LLM-as-Environment-Engineer framework in which the current policy model analyzes failure trajectories together with contextual information and proposes modifications to the next-stage training environment configuration. We also introduce MAPF-FrozenLake, a controllable testbed whose generator exposes multi-dimensional environment configurations, making it suitable for studying and benchmarking environment redesign. On this testbed, we condition the environment engineer on structured summaries of policy behavior, failure cases, and environment statistics, from which it produces the configuration for the next training stage. With Qwen3-4B as the backbone, our framework achieves the strongest aggregate performance on our benchmarks, outperforming larger proprietary LLMs (e.g., GPT, Gemini) and fixed-environment training baselines. We further analyze which forms of context are most effective, finding that successful environment updates rely on failure evidence and preserve configurations that already work. Interestingly, the current RL checkpoint serves as a better environment engineer than the original base model, suggesting that policy learning improves the model's ability to diagnose its remaining weaknesses.