Zero-Mem: LLM 에이전트를 위한 제로-토큰 메모리 연산

초록

LLM 에이전트는 긴 상호작용 동안 일관되게 행동하기 위해 메모리가 필요하지만, 많은 시스템은 해당 메모리를 운영하기 위해 추가적인 LLM 호출을 사용한다. 중간 기록을 생성하고 그 검색을 중재하는 것은 반복적인 토큰 및 시간 비용을 발생시키며, 누락되거나 병합된 세부 정보는 원래 증거를 모호하게 만들 수 있다. 우리는 구조화된 메모리 접근에 생성이 정말로 필요한지 질문한다. Zero-Mem은 제로-토큰 메모리 연산을 도입한다. 최종 질문 응답 외의 어떤 단계도 LLM을 호출하거나 LLM 입력·출력 토큰을 소비하지 않으며, 인코더 계산은 별도로 처리된다. Zero-Mem은 원본 상호작용 추적 기록을 기록의 원천으로 보존한다. 추적 기록을 두 가지 상호 보완적인 방식으로 구성한다. 엔티티-컨텍스트 그래프는 상호작용 간의 연결을 드러내고, 시간적 계층 구조는 대화의 지역성과 세션 상태를 보존한다. 각 질의에 대해 Zero-Mem은 두 관점에 가중치를 부여하고, 둘 모두에서 검색한 다음, 그 구조를 따라 지지 관계나 주변 맥락을 복구한다. 결정적 보정은 먼저 상충하는 증거를 폐기한 다음, 리더의 답변이 검색된 추적 기록에 근거하도록 유지한다. 오직 최종 QA 리더만이 LLM을 호출한다. 장기 메모리 및 장기 컨텍스트 질문 응답 벤치마크 전반에 걸쳐 Zero-Mem은 메모리 연산에서 LLM 호출과 LLM 토큰 소비를 제거하면서도 경쟁력 있는 성능을 달성한다. 동일한 최종 QA 리더와 컨텍스트 예산을 사용할 때, 비교 대상 중 가장 빠른 기준선 대비 메모리 연산 시간 비용을 57.6% 절감한다. 절제 연구는 두 관점의 기여와 질의 의존적 조정을 뒷받침한다. 전반적으로, 이 결과는 구조화된 에이전트 메모리가 과거의 중간 표현을 생성할 필요가 없음을 보여준다. 동료 검토 후, 코드와 구현 세부 사항은 https://github.com/TheMoon0815/Zero-mem 에서 확인할 수 있다.

English

LLM agents need memory to act consistently over long interactions, yet many systems use additional LLM calls to operate that memory. Generating intermediate records and mediating their retrieval adds recurring token and time costs, while omitted or merged details can obscure the original evidence. We ask whether structured memory access requires generation at all. Zero-Mem introduces zero-token memory operations: no step outside final question answering invokes an LLM or consumes LLM input or output tokens; encoder computation is accounted for separately. Zero-Mem preserves original interaction traces as its source of record. It organizes the traces in two complementary ways. An entity--context graph exposes connections across interactions, while a temporal hierarchy preserves conversational locality and session state. For each query, Zero-Mem weighs the two views, retrieves from both, and follows their structure to recover supporting relations or surrounding context. Deterministic calibration first discards conflicting evidence and then keeps the reader's answer grounded in the retrieved traces. Only the final-QA reader invokes an LLM. Across long-memory and long-context question-answering benchmarks, Zero-Mem achieves competitive performance while eliminating LLM calls and LLM-token consumption from memory operations. With the same final-QA reader and context budget, it reduces memory-operation time cost by 57.6\% relative to the fastest compared baseline. Ablations support the contribution of the two views and their query-dependent coordination. Overall, the results show that structured agent memory need not generate an intermediate representation of the past. After peer review, the code and implementation details will be available at blue{https://github.com/TheMoon0815/Zero-mem}.