Gestión de la memoria procedimental en agentes de LLM: Control, Adaptación y Evaluación

Resumen

La memoria procedural se utiliza cada vez más para mejorar los agentes de LLM en tareas laborales recurrentes, pero su capacidad para producir habilidades reutilizables sigue siendo poco comprendida. Presentamos AFTER, un benchmark de 382 tareas empresariales realistas que abarcan seis roles profesionales y 22 habilidades procedurales, diseñado para evaluar cómo las habilidades se transfieren entre tareas, roles y modelos base. El benchmark incluye entornos de evaluación controlados para mejora local, transferencia entre tareas, transferencia entre roles y generalización entre modelos. Los experimentos muestran que la memoria procedural proporciona ganancias consistentes en flujos de trabajo industriales: una sola ronda de refinamiento mejora el rendimiento agregado en 3.7-6.7 puntos, mientras que las habilidades evolucionadas a partir de rastros de ejecución diversos de múltiples modelos alcanzan un 73.1% de precisión de prueba entre modelos, superando todas las fuentes de rastros de un solo modelo. Además, encontramos que algunas habilidades se generalizan ampliamente entre tareas y modelos, mientras que otras se especializan en flujos de trabajo específicos de roles y pierden efectividad bajo transferencia. Estos resultados proporcionan orientación práctica para construir, evaluar e implementar sistemas de memoria procedural en plataformas de agentes en producción.

English

Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood. We introduce AFTER, a benchmark of 382 realistic enterprise tasks spanning six professional roles and 22 procedural skills, designed to evaluate how skills transfer across tasks, roles, and model backbones. The benchmark includes controlled evaluation settings for local improvement, cross-task transfer, cross-role transfer, and cross-model generalization. Experiments show that procedural memory delivers consistent gains in industrial workflows: a single refinement round improves aggregate performance by 3.7-6.7 points, while skills evolved from diverse multi-model execution traces achieve 73.1% cross-model test accuracy, outperforming all single-model trace sources. We further find that some skills generalize broadly across tasks and models, whereas others become specialized to role-specific workflows and lose effectiveness under transfer. These results provide practical guidance for building, evaluating, and deploying procedural memory systems in production agent platforms.