SEAL: Coevolución Sinérgica de Agentes y Entornos de Aprendizaje

Resumen

Los agentes basados en Grandes Modelos de Lenguaje (LLM) mejoran cada vez más mediante la interacción; sin embargo, la mayoría de los métodos de autoevolución adaptan la política o el entorno de aprendizaje de forma aislada. Identificamos esta brecha estructural como Desalineación Agente-Entorno: la frontera de capacidades del agente cambia durante el entrenamiento, mientras que el entorno que proporciona supervisión permanece estático o solo está débilmente acoplado a los fallos revelados por el agente. Proponemos SEAL, un marco de coevolución en bucle cerrado para agentes interactivos de uso de herramientas. SEAL recolecta trayectorias on-policy bajo verificación ejecutable, diagnostica ejecuciones fallidas en etiquetas de fallo a nivel de turno, y utiliza estos diagnósticos como una señal compartida tanto para la adaptación del lado del entorno como para la optimización de la política del modelo. El entorno evoluciona su interfaz de aprendizaje durante el entrenamiento exponiendo señales más claras de utilidad de herramientas, información de restricciones y retroalimentación orientada a la recuperación, mientras que la política se actualiza con reponderación de ventaja guiada por diagnósticos. Experimentos exhaustivos en evaluaciones de uso de herramientas multiturno dentro y fuera de la distribución muestran que SEAL mejora el aprendizaje del agente con pocos recursos: con solo 400 muestras de entrenamiento, produce ganancias de +8.25 a +26.25 puntos promedio en tres arquitecturas base y exhibe transferencia positiva fuera de la distribución. Estos resultados demuestran el valor de adaptar conjuntamente al aprendiz y su sustrato de aprendizaje en tiempo de entrenamiento para agentes LLM robustos y automejorables.

English

Large Language Model (LLM) agents are increasingly improved through interaction, yet most self-evolution methods adapt either the policy or the learning environment in isolation. We identify this structural gap as Agent-Environment Misalignment: the agent's capability frontier changes during training, while the environment that provides supervision remains static or only weakly coupled to the agent's revealed failures. We propose SEAL, a closed-loop co-evolution framework for interactive tool-use agents. SEAL collects on-policy trajectories under executable verification, diagnoses failed rollouts into turn-level failure labels, and uses these diagnoses as a shared signal for both environment-side adaptation and model-side policy optimization. The environment evolves its training-time learning interface by exposing clearer tool affordance cues, constraint information, and recovery-oriented feedback, while the policy is updated with diagnosis-guided advantage reweighting. Extensive experiments across in-distribution and out-of-distribution multi-turn tool-use evaluations show that SEAL improves low-resource agent learning: with only 400 training samples, it yields +8.25 to +26.25 average-point gains across three backbones and exhibits positive out-of-distribution transfer. These results demonstrate the value of jointly adapting the learner and its training-time learning substrate for robust self-improving LLM agents.