RoMeRL: 축소 차수 효용 상태 기반 자기 진화 에이전트 메모리에서 피드백 커버리지와 메모리-보상 함정의 균형

초록

자기 진화하는 LLM 에이전트를 위한 학습 기반 메모리 시스템은 긴밀하게 결합된 두 가지 과제에 직면한다. 첫째, 궤적 인덱스 유틸리티는 상호작용 이력에 따라 증가하므로 제한된 피드백을 끊임없이 확장되는 상태 공간에 분산시킨다. 둘째, 궤적 수준의 보상은 함께 검색된 메모리에 공동으로 할당되기 때문에 무관한 경험이 오도하는 유틸리티 업데이트를 받아 결과적으로 메모리-보상 함정에 빠질 수 있다. 이러한 과제를 해결하기 위해 우리는 결과 극성과 메모리 동역학으로 분해된 고정 차원의 작업별 메모리 상태로 증가하는 궤적 인덱스 유틸리티 공간을 표현하는 차수 축소 메모리 강화 학습(Reduced-Order Memory Reinforcement Learning, RoMeRL)을 도입한다. RoMeRL은 내용이 시간에 따라 업데이트되거나 대체되는 고정된 의미 좌표 집합을 통해 새로운 경험을 통합함으로써 피드백을 유계 유틸리티 지지 집합에 집중시킨다. 이론적으로, 우리는 이러한 차수 축소 파라미터화가 각 유틸리티 좌표가 받는 평균 피드백을 증가시킨다는 것을 보이고, 일반적인 좌표 전이 모델 하에서 오류 좌표의 정상 상태 점유율을 특성화한다. 실험적으로, ALFWorld와 LifelongAgentBench에서 RoMeRL은 작업 성능을 향상시키고, Cold-Q 비율을 80.0% 감소시키며, 피드백 밀도를 약 6.0배 증가시키고, 유지 메모리 크기를 84.4% 줄이며, LLM 호출을 21.1% 절감한다. 이러한 결과는 차수 축소 유틸리티 상태가 지속적인 보상 오염을 제한하면서 효율적인 자기 진화 에이전트 메모리를 지원한다는 것을 보여준다. 코드는 https://github.com/YOUNG-fnxm/RoMeRL 에서 확인할 수 있다.

English

Learning-based memory systems for self-evolving LLM agents face two tightly coupled challenges. First, trajectory-indexed utilities grow with the interaction history, thereby dispersing limited feedback over an ever-expanding state space. Second, because trajectory-level rewards are jointly assigned to co-retrieved memories, irrelevant experiences may receive misleading utility updates and consequently enter the memory-reward trap. To address these challenges, we introduce Reduced-Order Memory Reinforcement Learning (RoMeRL), which represents the growing trajectory-indexed utility space using a fixed-dimensional per-task memory state factorized by outcome polarity and memory dynamics. RoMeRL incorporates new experiences through a fixed set of semantic coordinates whose contents are updated or replaced over time, thereby concentrating feedback over a bounded utility support. Theoretically, we show that this reduced-order parameterization increases the average feedback received by each utility coordinate and characterize the steady-state occupancy of erroneous coordinates under a generic coordinate-transition model. Empirically, across ALFWorld and LifelongAgentBench, RoMeRL improves task performance, reduces the Cold-Q ratio by 80.0%, increases feedback density by approximately 6.0 times, reduces the maintained memory size by 84.4%, and cuts LLM calls by 21.1%. These results show that reduced-order utility states support efficient self-evolving agent memory while limiting persistent reward contamination. Code is available at: https://github.com/YOUNG-fnxm/RoMeRL