MemFly: Оптимизация памяти на лету с помощью информационного узкого места
MemFly: On-the-Fly Memory Optimization via Information Bottleneck
February 8, 2026
Авторы: Zhenyuan Zhang, Xianzhang Jia, Zhiqin Yang, Zhenbo Song, Wei Xue, Sirui Han, Yike Guo
cs.AI
Аннотация
Долговременная память позволяет агентам на основе больших языковых моделей решать сложные задачи благодаря анализу истории взаимодействий. Однако существующие框架 сталкиваются с фундаментальной дилеммой: эффективное сжатие избыточной информации против сохранения точности извлечения данных для последующих задач. Для преодоления этого разрыва мы предлагаем MemFly —框架, основанный на принципах информационного бутылочного горлышка, который обеспечивает динамическую эволюцию памяти для языковых моделей. Наш подход минимизирует энтропию сжатия и максимизирует релевантную энтропию с помощью бесградиентного оптимизатора, формируя стратифицированную структуру памяти для эффективного хранения. Для полного раскрытия потенциала MemFly мы разработали гибридный механизм извлечения, который органично объединяет семантические, символьные и топологические пути с итеративным уточнением для обработки сложных многошаговых запросов. Комплексные эксперименты демонстрируют, что MemFly существенно превосходит современные базовые методы по согласованности памяти, достоверности ответов и точности.
English
Long-term memory enables large language model agents to tackle complex tasks through historical interactions. However, existing frameworks encounter a fundamental dilemma between compressing redundant information efficiently and maintaining precise retrieval for downstream tasks. To bridge this gap, we propose MemFly, a framework grounded in information bottleneck principles that facilitates on-the-fly memory evolution for LLMs. Our approach minimizes compression entropy while maximizing relevance entropy via a gradient-free optimizer, constructing a stratified memory structure for efficient storage. To fully leverage MemFly, we develop a hybrid retrieval mechanism that seamlessly integrates semantic, symbolic, and topological pathways, incorporating iterative refinement to handle complex multi-hop queries. Comprehensive experiments demonstrate that MemFly substantially outperforms state-of-the-art baselines in memory coherence, response fidelity, and accuracy.