메모리의 활용: 메모리 에이전트의 메모리 기반 구조에 대한 종합적 평가

초록

메모리는 장기 지평(long-horizon) LLM 에이전트의 핵심 인프라가 되고 있지만, 기존 평가들은 서로 다른 운영 조건에서 어떤 메모리 저장 매체(substrate), 즉 메모리가 표현되고 저장되는 기반 매체를 사용해야 하는지에 대한 지침을 제한적으로만 제공한다. 우리는 메모리 증강 에이전트를 위한 메모리 저장 매체에 대한 통제된 하네스 평가를 제시한다. 이 평가는 밀집 및 희소 인덱스, 텍스트 기록, 구조적 저장소, 계층적 저장소, 정제 기반 메모리, 파라미터 업데이트, 활성화 호환 컨텍스트 메커니즘을 포함한다. 세 개의 백본 모델과 사용자 중심 질의응답 및 에이전트 중심 의사결정을 포괄하는 네 개의 벤치마크 제품군에 걸쳐, 우리는 통합 하네스에서 26가지 성능 및 효율성 지표를 계측한다. 우리의 결과는 어떤 단일 저장 매체도 일관되게 우세하지 않음을 보여준다. 광범위한 검색은 긴 컨텍스트 사실 기반 QA에 이점을 주지만, 과도한 검색은 행동에 중요한 컨텍스트에서 주의를 돌려 순차적 의사결정을 해칠 수 있다. 확장성은 추가적인 라우팅 축을 도입한다. 중간 길이의 이력에서 좋은 성능을 보이는 저장 매체는 더 긴 지평에서 비용이 많이 들거나 취약해질 수 있기 때문이다. 이러한 발견은 적응형 에이전트 메모리 시스템의 필수 구성 요소로서 저장 매체 라우팅의 필요성을 뒷받침하며, LLM 에이전트를 위한 효율적이고 신뢰할 수 있으며 운영 조건을 인식하는 장기 메모리 설계에 대한 경험적 지침을 제공한다. 코드는 게재 승인 시 공개될 예정이다.

English

Memory is becoming core infrastructure for long-horizon LLM agents, yet existing evaluations offer limited guidance on which memory substrate, namely the underlying medium in which memory is represented and stored, should be used under different operating regimes. We present a controlled harness evaluation of memory substrates for memory-augmented agents, covering dense and sparse indices, text records, structural stores, hierarchical stores, refinement-based memories, parametric updates, and activation-compatible context mechanisms. Across three backbone models and four benchmark suites spanning user-centric question answering and agent-centric decision-making, we instrument 26 performance and efficiency metrics under a unified harness. Our results show that no single substrate consistently dominates: broad retrieval benefits long-context factual QA, while excessive retrieval can harm sequential decision-making by shifting attention away from action-critical context. Scalability introduces a further routing axis, as substrates that perform well at moderate history lengths can become costly or brittle at longer horizons. These findings motivate substrate routing as a necessary component of adaptive agent memory systems and provide empirical guidance for designing efficient, reliable, and regime-aware long-term memory for LLM agents. Code will be made available upon acceptance.