MemFly: 정보 병목을 통한 실시간 메모리 최적화

초록

장기 기억은 대규모 언어 모델 에이전트가 과거 상호작용을 통해 복잡한 작업을 처리할 수 있게 합니다. 그러나 기존 프레임워크는 중복 정보를 효율적으로 압축하는 것과 하위 작업을 위한 정확한 검색을 유지하는 것 사이의 근본적인 딜레마에 직면해 있습니다. 이러한 격차를 해소하기 위해 우리는 정보 병목 현상 원리에 기반하여 LLM의 실시간 메모리 진화를 용이하게 하는 MemFly 프레임워크를 제안합니다. 우리의 접근 방식은 경사하강법 없는 최적화기를 통해 관련성 엔트로피를 최대화하면서 압축 엔트로피를 최소화하여 효율적인 저장을 위한 계층화된 메모리 구조를 구축합니다. MemFly의 잠재력을 최대한 활용하기 위해 의미론적, 상징적, 위상적 경로를 원활하게 통합하고 복잡한 다중 홉 쿼리를 처리하기 위한 반복적 정제를 포함하는 하이브리드 검색 메커니즘을 개발했습니다. 포괄적인 실험을 통해 MemFly가 메모리 일관성, 응답 정확도 및 정밀도 측면에서 최첨단 베이스라인을 크게 능가함을 입증했습니다.

English

Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.

MemFly: 정보 병목을 통한 실시간 메모리 최적화

MemFly: On-the-Fly Memory Optimization via Information Bottleneck

초록

Support