Gestion de la mémoire procédurale dans les agents LLM : Contrôle, adaptation et évaluation

Résumé

La mémoire procédurale est de plus en plus utilisée pour améliorer les agents LLM dans les tâches récurrentes en milieu professionnel, mais sa capacité à produire des compétences réutilisables reste mal comprise. Nous présentons AFTER, un benchmark composé de 382 tâches réalistes en entreprise couvrant six rôles professionnels et 22 compétences procédurales, conçu pour évaluer comment les compétences se transfèrent entre tâches, rôles et architectures de modèles. Le benchmark inclut des contextes d'évaluation contrôlés pour l'amélioration locale, le transfert inter-tâches, le transfert inter-rôles et la généralisation inter-modèles. Les expériences montrent que la mémoire procédérale apporte des gains constants dans les workflows industriels : un seul cycle d'affinage améliore la performance globale de 3,7 à 6,7 points, tandis que les compétences issues de traces d'exécution multi-modèles diversifiées atteignent une précision de test inter-modèle de 73,1 %, surpassant toutes les sources de traces issues d'un seul modèle. Nous constatons en outre que certaines compétences se généralisent largement à travers tâches et modèles, tandis que d'autres se spécialisent dans des flux de travail propres à un rôle et perdent en efficacité lors du transfert. Ces résultats fournissent des orientations pratiques pour construire, évaluer et déployer des systèmes de mémoire procédurale dans les plateformes agentiques de production.

English

Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood. We introduce AFTER, a benchmark of 382 realistic enterprise tasks spanning six professional roles and 22 procedural skills, designed to evaluate how skills transfer across tasks, roles, and model backbones. The benchmark includes controlled evaluation settings for local improvement, cross-task transfer, cross-role transfer, and cross-model generalization. Experiments show that procedural memory delivers consistent gains in industrial workflows: a single refinement round improves aggregate performance by 3.7-6.7 points, while skills evolved from diverse multi-model execution traces achieve 73.1% cross-model test accuracy, outperforming all single-model trace sources. We further find that some skills generalize broadly across tasks and models, whereas others become specialized to role-specific workflows and lose effectiveness under transfer. These results provide practical guidance for building, evaluating, and deploying procedural memory systems in production agent platforms.