Переосмысление непрерывной интернализации опыта для самоэволюционирующих LLM-агентов

Аннотация

Интернализация опыта преобразует контекстный опыт из прошлых взаимодействий в многократно используемые параметрические способности, открывая многообещающий путь к непрерывному обучению в больших языковых моделях (LLM). В то время как предыдущие работы были преимущественно сосредоточены на переносе за одну итерацию, мы обнаруживаем, что в условиях многоитерационного обучения на опыте существующие методы страдают от прогрессирующего коллапса способностей, а не от нарастающего улучшения. Мы систематически исследуем этот сбой через три ключевых измерения интернализации опыта: (1) Гранулярность опыта: Мы обнаруживаем, что опыт на уровне принципов более устойчив, чем опыт на уровне примеров, поскольку он эффективно абстрагирует переносимые стратегии от деталей, специфичных для траекторий. (2) Схема внедрения опыта: Наш анализ показывает, что пошаговое внедрение значительно превосходит глобальное внедрение, согласуя опыт с промежуточными состояниями принятия решений — свойство, критически важное для использования инструментов в задачах с длинным горизонтом. (3) Режим интернализации: Мы демонстрируем, что дистилляция контекста вне политики на высококачественных траекториях учителя обеспечивает значительно более стабильный обучающий сигнал, чем дистилляция контекста на политике, которая по своей сути ограничена локальными корректировками на ошибочных состояниях, вызванных студентом. В совокупности эти идеи дают простой, но надежный рецепт для стабильной и устойчивой интернализации опыта, предоставляя конкретные рекомендации для разработки саморазвивающихся и непрерывно обучающихся LLM.

English

Experience internalization converts contextual experience from past interactions into reusable parametric capability, offering a promising path toward continual learning in large language models (LLMs). While prior work has predominantly focused on single-iteration transfer, we discover that under multi-iteration experience learning, existing methods suffer from a progressive capability collapse rather than compounding improvement. We systematically examine this failure through three vital dimensions of experience internalization: (1) Experience Granularity: We find that principle-level experience is more durable than instance-level experience, as it effectively abstracts transferable strategies away from trajectory-specific details. (2) Experience Injection Pattern: Our analysis reveals that step-wise injection significantly outperforms global injection by aligning experience with intermediate decision states, a property that is critical for long-horizon tool use. (3) Internalization Regime: We demonstrate that off-policy context-distillation on high-quality teacher trajectories provides a substantially more stable training signal than on-policy context-distillation, which is inherently limited by local corrections on student-induced flawed states. Together, these insights yield a simple yet robust recipe for stable and sustainable experience internalization, providing concrete guidance for engineering self-evolving and continually learning LLMs.