Verwaltung des prozeduralen Gedächtnisses in LLM-Agenten: Steuerung, Adaptation und Evaluation

Zusammenfassung

Prozedurales Gedächtnis wird zunehmend genutzt, um LLM-Agenten bei wiederkehrenden Arbeitsaufgaben zu verbessern, doch seine Fähigkeit, wiederverwendbare Fähigkeiten zu erzeugen, ist noch wenig verstanden. Wir stellen AFTER vor, einen Benchmark mit 382 realistischen Unternehmensaufgaben aus sechs beruflichen Rollen und 22 prozeduralen Fähigkeiten, der darauf ausgelegt ist, zu evaluieren, wie Fähigkeiten über Aufgaben, Rollen und Modell-Backbones hinweg transferiert werden. Der Benchmark umfasst kontrollierte Evaluierungseinstellungen für lokale Verbesserung, aufgabenübergreifenden Transfer, rollenübergreifenden Transfer und modellübergreifende Generalisierung. Experimente zeigen, dass prozedurales Gedächtnis konsistente Gewinne in industriellen Arbeitsabläufen erzielt: Eine einzelne Verfeinerungsrunde verbessert die Gesamtleistung um 3,7–6,7 Punkte, während aus diversen Multi-Modell-Ausführungsspuren entwickelte Fähigkeiten eine modellübergreifende Testgenauigkeit von 73,1 % erreichen und damit alle Einzel-Modell-Spurenquellen übertreffen. Wir stellen ferner fest, dass einige Fähigkeiten breit über Aufgaben und Modelle generalisieren, während andere auf rollenspezifische Arbeitsabläufe spezialisiert sind und unter Transfer an Wirksamkeit verlieren. Diese Ergebnisse bieten praktische Leitlinien für die Entwicklung, Evaluierung und Bereitstellung von Systemen mit prozeduralem Gedächtnis in Produktionsagentenplattformen.

English

Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood. We introduce AFTER, a benchmark of 382 realistic enterprise tasks spanning six professional roles and 22 procedural skills, designed to evaluate how skills transfer across tasks, roles, and model backbones. The benchmark includes controlled evaluation settings for local improvement, cross-task transfer, cross-role transfer, and cross-model generalization. Experiments show that procedural memory delivers consistent gains in industrial workflows: a single refinement round improves aggregate performance by 3.7-6.7 points, while skills evolved from diverse multi-model execution traces achieve 73.1% cross-model test accuracy, outperforming all single-model trace sources. We further find that some skills generalize broadly across tasks and models, whereas others become specialized to role-specific workflows and lose effectiveness under transfer. These results provide practical guidance for building, evaluating, and deploying procedural memory systems in production agent platforms.