LLM 에이전트에서 절차적 기억 관리: 제어, 적응 및 평가

초록

절차적 메모리는 반복적인 업무 작업에서 LLM 에이전트를 개선하는 데 점점 더 많이 사용되고 있지만, 재사용 가능한 기술을 생성하는 능력은 여전히 잘 이해되지 않고 있다. 우리는 6개의 전문 직무 역할과 22개의 절차적 기술에 걸친 382개의 현실적인 엔터프라이즈 작업으로 구성된 벤치마크인 AFTER를 소개하며, 이는 작업, 역할, 모델 백본 간의 기술 전이 방식을 평가하도록 설계되었다. 이 벤치마크는 로컬 개선, 교차 작업 전이, 교차 역할 전이, 교차 모델 일반화를 위한 통제된 평가 설정을 포함한다. 실험 결과 절차적 메모리가 산업 워크플로에서 일관된 성능 향상을 제공한다는 것을 보여준다: 단일 정제 라운드는 종합 성능을 3.7~6.7포인트 향상시키며, 다양한 다중 모델 실행 추적에서 진화된 기술은 73.1%의 교차 모델 테스트 정확도를 달성하여 모든 단일 모델 추적 소스를 능가한다. 또한 일부 기술은 작업과 모델 전반에 걸쳐 광범위하게 일반화되는 반면, 다른 기술은 역할별 워크플로에 특화되어 전이 시 효과를 잃는다는 사실을 발견했다. 이러한 결과는 프로덕션 에이전트 플랫폼에서 절차적 메모리 시스템을 구축, 평가 및 배포하기 위한 실용적인 지침을 제공한다.

English

Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood. We introduce AFTER, a benchmark of 382 realistic enterprise tasks spanning six professional roles and 22 procedural skills, designed to evaluate how skills transfer across tasks, roles, and model backbones. The benchmark includes controlled evaluation settings for local improvement, cross-task transfer, cross-role transfer, and cross-model generalization. Experiments show that procedural memory delivers consistent gains in industrial workflows: a single refinement round improves aggregate performance by 3.7-6.7 points, while skills evolved from diverse multi-model execution traces achieve 73.1% cross-model test accuracy, outperforming all single-model trace sources. We further find that some skills generalize broadly across tasks and models, whereas others become specialized to role-specific workflows and lose effectiveness under transfer. These results provide practical guidance for building, evaluating, and deploying procedural memory systems in production agent platforms.