파일시스템 기반 LLM 에이전트 메모리: 조직화, 진화, 지속가능성

초록

배포된 LLM 에이전트들은 점점 더 장기 메모리를 파일시스템으로 유지하고 있다. 즉, 에이전트 자신이 일반 파일 도구를 통해 읽고, 쓰고, 재구성하는 마크다운 파일들의 디렉터리 트리 형태다. 그러나 연구는 이 매체를 대체로 지나쳐 왔다. 기존 시스템들은 맞춤형 메모리 표현을 설계하고 그에 대한 검색을 연구했으며, 기본 설정의 두 가지 작동 가정을 검증되지 않은 채 남겨두었다. 첫째, 에이전트가 기억이 축적되고 충돌하며 쓸모없어짐에 따라 성장하는 저장소를 조직적으로 유지할 수 있다는 가정, 둘째, 이러한 조직화가 실질적 이득을 가져온다는 가정이다. 우리는 LLM 에이전트를 위한 파일시스템 기반 메모리에 대한 최초의 체계적 탐구를 제시한다. 본 설정을 하나의 메모리 파일시스템을 중심으로 한 세 가지 역할로 정식화한다. 관리 에이전트는 들어오는 콘텐츠를 통합하고 조직화하며, 검색 에이전트는 인용 출처와 함께 질의에 응답하고, 실행 에이전트는 스킬로 증류되는 작업 궤적을 제공하여 선언적 메모리와 스킬을 단일 저장소로 통합한다. 장기 대화 벤치마크와 임바디드 작업에 걸쳐 우리는 메모리 형태(에이전트 조직형 계층 구조, 축어적 덤프, 청크 검색), 스트림 규모, 도구 하네스(샌드박스 셸, 메모리-도구 스타일 함수, 다양한 검색 도구), 그리고 관리 및 검색 에이전트의 성능 수준을 변화시키면서, 메모리가 성장함에 따라 답변 품질, 비용, 저장소 상태를 추적한다. 조직화가 확실히 제공하는 것은 검색 경제성이다. 조직화된 저장소는 자료가 방대한 경우 검색 비용을 대략 절반으로 줄인다. 그러나 오늘날의 에이전트들은 기본 설정의 약속에 미치지 못한다. 우리의 성장 연구에서 조직화는 가장 강력한 관리 에이전트를 제외한 모든 경우에서 약화되며, 측정한 어떤 에이전트도 조직화 자체를 더 나은 답변으로 전환하지 못한다. 그리고 모델이 저장소의 형태를 결정하는 유일한 레버는 아니다. 도구 세트만 변경해도 모델 교체만큼 강하게 저장소의 형태를 바꾼다. 본 연구는 파일시스템 기본 설정을 가정에서 에이전트 메모리의 설계 공간으로 전환한다.

English

Deployed LLM agents increasingly keep their long-term memory as a filesystem: a directory tree of markdown files that the agent itself reads, writes, and reorganizes through generic file tools. Yet research has largely passed over this medium: prior systems design bespoke memory representations and study retrieval over them, leaving the default's two working assumptions untested: that an agent can keep a growing store organized as memories accumulate, conflict, and go stale, and that this organization pays. We present the first systematic exploration of filesystem-based memory for LLM agents. We formalize the setting as three roles around one memory filesystem: a management agent integrates and organizes incoming content, a search agent answers queries with cited sources, and an execution agent supplies task trajectories that are distilled into skills, unifying declarative memory and skills in a single store. Across long-conversation benchmarks and embodied tasks, we vary memory shape (agent-organized hierarchy, verbatim dump, chunk retrieval), stream scale, tool harness (sandboxed shell, memory-tool-style functions, varied search tooling), and the strengths of the management and search agents, tracking answer quality, cost, and store health as memory grows. What organization reliably buys is search economy: organized stores roughly halve retrieval cost where material is large. Today's agents, however, fall short of the default's promise: in our growth study, organization erodes for all but the strongest management agent, and no agent we measure converts organization itself into better answers. And the model is not the only lever over a store's shape: changing the tool set alone reshapes the store as strongly as swapping the model. The study turns the filesystem default from an assumption into a design space for agent memory.