Управление процедурной памятью в LLM-агентах: контроль, адаптация и оценка

Аннотация

Процедурная память все чаще используется для улучшения LLM-агентов в повторяющихся рабочих задачах, однако ее способность формировать многократно используемые навыки остается слабо изученной. Мы представляем AFTER — бенчмарк из 382 реалистичных корпоративных задач, охватывающих шесть профессиональных ролей и 22 процедурных навыка, разработанный для оценки переноса навыков между задачами, ролями и базовыми моделями. Бенчмарк включает контролируемые сценарии оценки: локальное улучшение, перенос между задачами, перенос между ролями и кросс-модельное обобщение. Эксперименты показывают, что процедурная память обеспечивает стабильный прирост в промышленных рабочих процессах: один раунд уточнения повышает совокупную производительность на 3,7–6,7 пункта, а навыки, выработанные на основе разнородных следов выполнения на нескольких моделях, достигают 73,1% точности кросс-модельного тестирования, превосходя все источники следов от одной модели. Кроме того, мы обнаружили, что одни навыки хорошо обобщаются на различные задачи и модели, тогда как другие специализируются под ролевые рабочие процессы и теряют эффективность при переносе. Эти результаты дают практические рекомендации по созданию, оценке и развертыванию систем процедурной памяти в производственных платформах для агентов.

English

Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood. We introduce AFTER, a benchmark of 382 realistic enterprise tasks spanning six professional roles and 22 procedural skills, designed to evaluate how skills transfer across tasks, roles, and model backbones. The benchmark includes controlled evaluation settings for local improvement, cross-task transfer, cross-role transfer, and cross-model generalization. Experiments show that procedural memory delivers consistent gains in industrial workflows: a single refinement round improves aggregate performance by 3.7-6.7 points, while skills evolved from diverse multi-model execution traces achieve 73.1% cross-model test accuracy, outperforming all single-model trace sources. We further find that some skills generalize broadly across tasks and models, whereas others become specialized to role-specific workflows and lose effectiveness under transfer. These results provide practical guidance for building, evaluating, and deploying procedural memory systems in production agent platforms.