SEAL: Synergistische Koevolution von Agenten und Lernumgebungen

Zusammenfassung

Große Sprachmodelle (LLM) werden zunehmend durch Interaktion verbessert, doch die meisten Selbstevolutionsmethoden passen entweder die Policy oder die Lernumgebung isoliert an. Wir identifizieren diese strukturelle Lücke als Agent-Umgebungs-Fehlanpassung: Die Fähigkeitsgrenze des Agenten verändert sich während des Trainings, während die Umgebung, die die Aufsicht bereitstellt, statisch bleibt oder nur schwach an die offenbarten Fehler des Agenten gekoppelt ist. Wir schlagen SEAL vor, ein geschlossenes Koevolutionsrahmenwerk für interaktive werkzeugnutzende Agenten. SEAL sammelt On-Policy-Trajektorien unter ausführbarer Verifikation, diagnostiziert fehlgeschlagene Rollouts in feingranulare Fehlerlabels auf Gesprächsrunde-Ebene und nutzt diese Diagnosen als gemeinsames Signal sowohl für die umgebungsseitige Anpassung als auch für die modellseitige Policy-Optimierung. Die Umgebung entwickelt ihre trainierbare Lernschnittstelle weiter, indem sie klarere Werkzeugaffordanz-Hinweise, Einschränkungsinformationen und wiederherstellungsorientiertes Feedback bereitstellt, während die Policy mit diagnosegesteuerter Vorteilsneugewichtung aktualisiert wird. Umfangreiche Experimente mit mehrschrittigen Bewertungen der Werkzeugnutzung innerhalb und außerhalb der Verteilung zeigen, dass SEAL das ressourcenarme Agentenlernen verbessert: Mit nur 400 Trainingsbeispielen erzielt es durchschnittliche Punktsteigerungen von +8,25 bis +26,25 über drei Backbones und zeigt positiven Out-of-Distribution-Transfer. Diese Ergebnisse belegen den Wert der gemeinsamen Anpassung des Lernenden und seines trainierbaren Lernsubstrats für robuste selbstverbessernde LLM-Agenten.

English

Large Language Model (LLM) agents are increasingly improved through interaction, yet most self-evolution methods adapt either the policy or the learning environment in isolation. We identify this structural gap as Agent-Environment Misalignment: the agent's capability frontier changes during training, while the environment that provides supervision remains static or only weakly coupled to the agent's revealed failures. We propose SEAL, a closed-loop co-evolution framework for interactive tool-use agents. SEAL collects on-policy trajectories under executable verification, diagnoses failed rollouts into turn-level failure labels, and uses these diagnoses as a shared signal for both environment-side adaptation and model-side policy optimization. The environment evolves its training-time learning interface by exposing clearer tool affordance cues, constraint information, and recovery-oriented feedback, while the policy is updated with diagnosis-guided advantage reweighting. Extensive experiments across in-distribution and out-of-distribution multi-turn tool-use evaluations show that SEAL improves low-resource agent learning: with only 400 training samples, it yields +8.25 to +26.25 average-point gains across three backbones and exhibits positive out-of-distribution transfer. These results demonstrate the value of jointly adapting the learner and its training-time learning substrate for robust self-improving LLM agents.