SEAL: Синергетическая коэволюция агентов и обучающих сред

Аннотация

Агенты на основе больших языковых моделей (БЯМ) всё чаще совершенствуются за счёт взаимодействия, однако большинство методов самоэволюции адаптируют либо политику, либо среду обучения по отдельности. Мы выявляем этот структурный пробел как рассогласование агента и среды: граница возможностей агента изменяется в ходе обучения, в то время как среда, обеспечивающая контроль, остаётся статичной или лишь слабо связана с выявленными ошибками агента. Мы предлагаем SEAL — замкнутую рамочную структуру совместной эволюции для интерактивных агентов, использующих инструменты. SEAL собирает траектории, следующие текущей политике, в условиях исполнимой верификации, диагностирует неудачные прогоны, присваивая маркеры ошибок на уровне хода, и использует эти диагнозы как общий сигнал как для адаптации со стороны среды, так и для оптимизации политики со стороны модели. Среда эволюционирует, модифицируя свой интерфейс обучения во время тренировки за счёт более чётких подсказок о возможностях инструментов, информации об ограничениях и обратной связи, ориентированной на восстановление, в то время как политика обновляется с помощью перевзвешивания преимуществ на основе диагностики. Обширные эксперименты в рамках многократных оценок использования инструментов как внутри распределения, так и вне его показывают, что SEAL улучшает обучение агента с малым количеством ресурсов: при использовании всего 400 обучающих примеров он обеспечивает прирост среднего балла от +8,25 до +26,25 по трём базовым моделям и демонстрирует положительный перенос на данные вне распределения. Эти результаты подтверждают ценность совместной адаптации обучаемого и его обучающей среды во время тренировки для создания устойчиво самосовершенствующихся агентов на основе БЯМ.

English

Large Language Model (LLM) agents are increasingly improved through interaction, yet most self-evolution methods adapt either the policy or the learning environment in isolation. We identify this structural gap as Agent-Environment Misalignment: the agent's capability frontier changes during training, while the environment that provides supervision remains static or only weakly coupled to the agent's revealed failures. We propose SEAL, a closed-loop co-evolution framework for interactive tool-use agents. SEAL collects on-policy trajectories under executable verification, diagnoses failed rollouts into turn-level failure labels, and uses these diagnoses as a shared signal for both environment-side adaptation and model-side policy optimization. The environment evolves its training-time learning interface by exposing clearer tool affordance cues, constraint information, and recovery-oriented feedback, while the policy is updated with diagnosis-guided advantage reweighting. Extensive experiments across in-distribution and out-of-distribution multi-turn tool-use evaluations show that SEAL improves low-resource agent learning: with only 400 training samples, it yields +8.25 to +26.25 average-point gains across three backbones and exhibits positive out-of-distribution transfer. These results demonstrate the value of jointly adapting the learner and its training-time learning substrate for robust self-improving LLM agents.