LycheeMemory V2: 의미론적 세그먼트 수준 통합을 통한 LLM 에이전트의 효율적인 장기 기억

초록

Long-horizon LLM 에이전트는 향후 작업을 지원하기 위해 과거 상호작용의 정보를 보존해야 한다. 기존 메모리 시스템은 일반적으로 즉시 통합(eager consolidation) 방식에 의존하여, 각 상호작용 후 LLM을 호출해 메모리를 추출·요약·업데이트한다. 이러한 설계는 대화가 길어질수록 메모리 구축 비용을 증가시킨다. 조잡한 요약은 구축 비용을 줄일 수 있지만 세밀한 맥락 증거를 폐기할 위험이 있으며, 더 큰 검색 컨텍스트나 다단계 LLM 추론은 오버헤드를 쿼리 시간으로 전가한다. 본 논문에서는 턴 수준 통합을 의미 세그먼트 수준 통합으로 대체하는 효율적인 장기 메모리 프레임워크인 LycheeMemory V2를 제시한다. LycheeMemory는 모든 상호작용을 통합하는 대신 여러 교환을 세그먼트로 배치하고, 각 확정된 세그먼트를 맥락 독립적인 유형화된 메모리 레코드로 인코딩한다. 세그먼트 수준 배칭은 LLM 인코딩 빈도를 낮추며, 의미 경계 탐지는 고정 창 배칭과 비교하여 일관된 이벤트 수준 및 시간적 증거를 보존하는 데 도움을 준다. 생성된 레코드는 쿼리 계획 기반 증거 검색을 위한 경량 구조화 인덱스로 구성된다. GPT-4.1-Mini를 사용한 실험에서 LycheeMemory는 최첨단 성능을 달성하여 LoCoMo에서 89.22%, LongMemEval-S에서 92.20%를 기록했다. A-Mem과 비교하여 LoCoMo에서는 구축 토큰을 86.0%, LongMemEval-S에서는 75.9% 절감하면서도 쿼리 시간 토큰 사용량은 증가시키지 않았다. 더 넓게는, 본 연구 결과는 장기 에이전트 메모리의 정확도-비용 트레이드오프가 어떤 정보가 유지되는지에만 의존하는 것이 아니라, 정보가 통합되는 세분성(granularity)에 따라 달라진다는 것을 시사한다.

English

Long-horizon LLM agents must preserve information from past interactions to support future tasks. Existing memory systems typically rely on eager consolidation, invoking LLMs after each interaction to extract, summarize, or update memories. This design makes memory construction increasingly costly as conversations grow. Coarse summarization can reduce construction cost but risks discarding fine-grained contextual evidence, whereas larger retrieval contexts or multi-hop LLM reasoning shift the overhead to query time. We present LycheeMemory V2, an efficient long-term memory framework that replaces turn-level consolidation with semantic segment-level consolidation. Instead of consolidating every interaction, LycheeMemory batches multiple exchanges into segments and encodes each finalized segment into context-independent typed memory records. Segment-level batching lowers LLM encoding frequency, while semantic boundary detection helps preserve coherent event-level and temporal evidence compared with fixed-window batching. The resulting records are organized with lightweight structured indexes for query-planned evidence retrieval. Experiments using GPT-4.1-Mini show that LycheeMemory achieves state-of-the-art performance, reaching 89.22% on LoCoMo and 92.20% on LongMemEval-S. Compared with A-Mem, it reduces construction tokens by 86.0% on LoCoMo and 75.9% on LongMemEval-S without increasing query-time token usage. More broadly, our results suggest that the accuracy--cost trade-off of long-term agent memory depends not only on what information is retained, but also on the granularity at which it is consolidated.